Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

Cuando una persona llama para pedir ayuda de emergencia, la primera decisión suele ser tomada por una voz al otro lado de la línea. Este despachador debe decidir rápidamente si el llamante necesita una ambulancia, una visita domiciliaria de un médico o simplemente el consejo de esperar. En años recientes, los hospitales y los servicios de emergencia han comenzado a utilizar la inteligencia artificial para asistir en esta difícil tarea. Estos programas informáticos escuchan la conversación, leen las palabras pronunciadas y calculan qué tan urgente es la situación. La esperanza es que las máquinas puedan procesar la información de manera más rápida y constante que los humanos, especialmente cuando el llamante siente dolor o angustia. Sin embargo, un problema persistente en la medicina es que las mujeres a menudo reciben una atención diferente a la de los hombres, a veces en su detrimento. Pueden esperar más tiempo por el alivio del dolor o ser tomadas menos en serio al describir sus síntomas. La pregunta crítica para la nueva era de la tecnología médica es si estos programas informáticos simplemente repetirán esos viejos errores humanos o si pueden ser construidos para tratar a todos con equidad.

Un equipo de investigadores en Francia se propuso investigar exactamente este problema dentro del contexto del despacho médico de emergencias. Trabajaron con una gran organización llamada SOS Médecins Grand Paris, que gestiona miles de llamadas diarias de personas que necesitan ayuda médica el mismo día. Los investigadores se centraron en un tipo específico de llamada: aquellas en las que un médico finalmente visitó al paciente en su hogar. Al final de cada visita, el médico registraba si el paciente era enviado a un departamento de urgencias de un hospital o si era enviado de regreso a casa. Este registro sirvió como la verdad de referencia para el estudio, permitiendo a los investigadores ver qué llamadas requerían realmente atención hospitalaria urgente. Recopilaron datos de casi dos millones de llamadas realizadas entre 2018 y 2023, emparejando las grabaciones de audio de las llamadas iniciales con los registros médicos finales de los pacientes. Tras limpiar y emparejar los datos, contaron con una colección masiva de más de un millón de llamadas y resultados emparejados con los que trabajar.

Los investigadores construyeron entonces tres modelos informáticos diferentes para ver cómo la mezcla de hombres y mujeres en los datos de entrenamiento afectaba los resultados. No se limitaron a construir un solo modelo y probarlo; crearon tres versiones distintas para aislar el efecto del equilibrio de género. El primer modelo fue entrenado únicamente con datos de hombres. El segundo fue entrenado únicamente con datos de mujeres. El tercero fue entrenado con una mezcla perfectamente equilibrada de hombres y mujeres, pero con la mitad del número total de ejemplos en comparación con los otros dos. Luego probaron cada modelo con nuevas llamadas no vistas para ver qué tan bien predecía quién necesitaba ir al hospital. El objetivo era ver si un modelo entrenado con un grupo equilibrado funcionaría igual de bien para ambos sexos, o si la composición de los datos de entrenamiento cambiaría la forma en que la máquina "ve" a hombres y mujeres.

Los resultados revelaron una imagen sorprendente y compleja de cómo aprenden estas máquinas. El modelo entrenado exclusivamente en hombres funcionó bien para los hombres, pero tuvo dificultades significativas cuando se aplicó a las mujeres. Falló al identificar a muchas mujeres que realmente necesitaban atención de emergencia, mostrando una clara brecha de rendimiento. En contraste, el modelo entrenado exclusivamente en mujeres funcionó bien para las mujeres y, quizás de manera sorprendente, funcionó igual de bien para los hombres. No pareció perder precisión cuando se aplicó a la población masculina. El tercer modelo, que fue entrenado con una mezcla equilibrada de hombres y mujeres, quedó en un punto intermedio. Funcionó mejor para los hombres que para las mujeres, pero la brecha era menor que en el modelo exclusivo de hombres. Crucialmente, los investigadores descubrieron que el simple hecho de equilibrar los números de hombres y mujeres en los datos de entrenamiento no era suficiente para garantizar la equidad. Incluso el modelo equilibrado mostró una ligera preferencia por los hombres, lo que sugiere que el problema no es solo tener un número igual de ejemplos, sino algo más profundo en cómo se relacionan los síntomas y los resultados para los diferentes sexos.

Para entender por qué estaba sucediendo esto, los investigadores analizaron de cerca las palabras que los modelos consideraban más importantes al tomar sus decisiones. Descubrieron que el lenguaje utilizado para describir una emergencia tenía diferentes pesos dependiendo del modelo. Por ejemplo, las palabras relacionadas con caídas o falta de aire eran importantes para ambos grupos, pero otros términos como "dolor" y "abdomen" fueron altamente influyentes para el modelo femenino, mientras que "sangre" y "mareo" impulsaron las decisiones del modelo masculino. Esto indica que la relación entre lo que un paciente dice y si necesita un hospital no es idéntica para hombres y mujeres. Los modelos informáticos no solo estaban fallando al no ver suficientes ejemplos de mujeres; estaban aprendiendo que los signos de una emergencia lucen diferentes dependiendo del sexo del llamante. Un solo modelo que intenta aprender de ambos grupos a la vez termina haciendo un compromiso que favorece los patrones del grupo mayoritario, que en este caso se inclinaba hacia los hombres.

El estudio concluye que solucionar el sesgo de género en la inteligencia artificial no es tan simple como asegurar que los datos de entrenamiento tengan un número igual de hombres y mujeres. Si bien equilibrar los datos ayuda, no resuelve automáticamente el problema. Los investigadores sugieren que las diferencias entre cómo los hombres y las mujeres experimentan y describen la enfermedad son estructurales y fundamentales. Debido a esto, un modelo construido específicamente para las mujeres parece ser lo suficientemente robusto como para manejar a los hombres, pero un modelo construido para los hombres no se traduce bien a las mujeres. Este hallazgo desafía la suposición común de que un algoritmo único y equilibrado puede tratar a todos por igual. En cambio, sugiere que la equidad en la IA médica puede requerir reconocer estas profundas diferencias desde el mismísimo comienzo del proceso de diseño, en lugar de intentar corregirlas más tarde con simples ajustes de datos. El trabajo destaca que, para que estas herramientas sean verdaderamente seguras y efectivas, deben construirse con la comprensión de que la experiencia humana de la enfermedad no es uniforme entre los sexos.