Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

Este estudio demuestra que los Modelos de Lenguaje Grande (LLM) reproducen estereotipos de género al analizar registros médicos en francés, revelando que evaluar las interacciones entre los determinantes sociales de la salud es esencial para detectar sesgos que las métricas tradicionales pasan por alto.

Lo esencial

Imagina que los Modelos de Lenguaje Grandes (LLMs), como los que usan para escribir correos o generar textos, son como cocineros muy talentosos pero un poco ingenuos. Han aprendido a cocinar (escribir) leyendo millones de libros, recetas y conversaciones de internet. El problema es que, al igual que los humanos, han absorbido no solo los hechos, sino también los prejuicios y estereotipos que hay en esa "biblioteca" de datos.

Este estudio es como una inspección de cocina para ver si estos "cocineros digitales" tienen prejuicios de género cuando les damos información sobre la vida de un paciente, pero sin decirles explícitamente si es hombre o mujer.

Aquí tienes la explicación sencilla, paso a paso:

1. El Problema: El "Ojo de Águila" que ve lo que no está

En medicina, los médicos usan datos sociales (llamados Determinantes Sociales de la Salud o SDoH) para entender a sus pacientes. Esto incluye cosas como:

• ¿A qué se dedica? (Trabajo)
• ¿Está casado?
• ¿Fuma o bebe?
• ¿Dónde vive?

El estudio se preguntó: Si le damos a una Inteligencia Artificial (IA) solo estos datos (ej. "trabaja en una granja", "fuma", "es jubilado") pero borramos la palabra "hombre" o "mujer", ¿la IA adivinará el género basándose en estereotipos?

La analogía: Es como si le mostráramos a un detective una foto de una persona con un delantal y un martillo, pero sin ver su cara. Si el detective dice "¡Es un hombre!" solo por el martillo, está usando un estereotipo. Si dice "¡Es una mujer!" por el delantal, también lo está haciendo.

2. La Experimentación: El "Ciego" de la Información

Los investigadores tomaron 1.700 historias clínicas reales de un hospital en Francia.

• El truco: Eliminaron todas las pistas de género (palabras como "él", "ella", nombres propios). Transformaron todo en datos neutros (ej. en lugar de "enfermera", pusieron "profesión de enfermería").
• La prueba: Le dieron estos datos "limpios" a 9 modelos de IA diferentes (desde versiones pequeñas hasta gigantes) y les pidieron: "¿Crees que este paciente es hombre o mujer?".
• La escala: Les dijeron que respondieran del 1 (mujer) al 7 (hombre), con el 4 siendo "no estoy seguro".

3. Los Resultados: La IA tiene "Prejuicios Profundos"

Lo que descubrieron fue preocupante pero revelador:

• La IA "adivina" basándose en clichés: Aunque no les dijeron el género, la IA adivinó correctamente (o incorrectamente) basándose en estereotipos sociales.
  • Si el paciente era "jubilado" o "fumaba", la IA tendía a decir: "Es un hombre".
  • Si el paciente era "estudiante" o "ama de casa", la IA tendía a decir: "Es una mujer".
  • Si el trabajo era "agricultor", la IA pensaba "hombre". Si era "empleada de oficina", pensaba "mujer".
• Los modelos pequeños son más "prejuiciosos": Los modelos más pequeños (con menos "cerebro" o parámetros) fueron más seguros de sus estereotipos que los gigantes. Parecía que, al no tener tanta capacidad para analizar matices, se aferraban más a las reglas simples y estereotipadas.
• Los modelos médicos también tienen prejuicios: Incluso los modelos entrenados específicamente para medicina (como un médico digital) mostraron estos mismos sesgos, a veces incluso más fuertes que los modelos generales.

4. La Comparación Humana: ¿Somos tan malos como las máquinas?

Los investigadores también preguntaron a 9 personas reales (estudiantes universitarios) que hicieran la misma prueba con los mismos datos.

• El hallazgo sorprendente: ¡Las personas y las máquinas pensaban casi igual!
• Tanto los humanos como la IA asociaban "trabajador manual" con "hombre" y "ama de casa" con "mujer".
• La lección: La IA no está inventando estos prejuicios de la nada; está espejeando los prejuicios que ya existen en nuestra sociedad. Si la IA es sesgada, es porque nosotros (y los datos que usamos para entrenarla) lo somos.

5. ¿Por qué importa esto? (El peligro real)

Imagina que un médico usa esta IA para ayudar a diagnosticar a un paciente.

• Escenario: Un paciente llega con dolor abdominal. La IA, al ver que el paciente es "jubilado" y "fuma", asume automáticamente que es un hombre y sugiere diagnósticos relacionados con problemas masculinos, ignorando que podría ser una mujer con problemas menstruales o ginecológicos.
• El riesgo: Esto podría llevar a diagnósticos erróneos y tratamientos incorrectos, simplemente porque la máquina "pensó" que era un hombre por su trabajo o su estilo de vida.

6. La Conclusión: No podemos borrar el pasado, pero podemos ser conscientes

El estudio concluye que:

1. No podemos tener IAs 100% libres de prejuicios porque aprenden de datos humanos que ya tienen prejuicios (como un espejo que refleja lo que hay en la habitación).
2. Necesitamos nuevas pruebas: No basta con probar si la IA escribe bien; hay que probar si "piensa" con estereotipos al usar datos de la vida real.
3. La solución: No es eliminar la IA, sino usarla con cuidado. Los desarrolladores deben ser conscientes de estos sesgos y los médicos deben saber que la IA puede "alucinar" género basándose en el trabajo o el consumo de tabaco.

En resumen: Este papel nos dice que las IAs médicas son como niños que han leído demasiados cómics antiguos: saben mucho, pero a veces asumen que "los bomberos son hombres" y "las enfermeras son mujeres" solo porque eso es lo que han visto en sus libros. Nuestro trabajo es enseñarles a ver más allá de la portada del libro.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Título: Investigación de Estereotipos de Género en Modelos de Lenguaje Grande (LLM) a través de los Determinantes Sociales de la Salud (DSS)

1. Problema y Motivación

Los Modelos de Lenguaje Grande (LLM) están siendo explorados cada vez más para apoyar el diagnóstico médico mediante el análisis de registros clínicos. Sin embargo, estos modelos reflejan y amplifican los sesgos estereotipados presentes en sus datos de entrenamiento, lo que puede provocar daños representacionales y de asignación en entornos sensibles como la salud.

El problema central identificado es que las evaluaciones de sesgo existentes suelen centrarse en determinantes sociales de la salud (DSS) individuales (como género o etnia) en entornos descontextualizados, ignorando las interacciones entre estos factores. En el contexto médico, los DSS (condiciones de vida, trabajo, educación, ocupación, etc.) son propensos a estereotipos socioculturales. Si un LLM utiliza estos estereotipos para inferir el género de un paciente basándose en su ocupación o estado civil, podría generar diagnósticos incorrectos (por ejemplo, sugerir problemas menstruales en un paciente masculino), lo que ilustra el riesgo de daños en la toma de decisiones clínicas.

2. Metodología

El estudio propone un marco de trabajo agnóstico al modelo para sondear estereotipos de género utilizando datos anonimizados de registros clínicos franceses.

• Datos: Se utilizó un conjunto de datos de 1.700 secciones de historia social de notas clínicas de un hospital universitario francés. Se filtraron 958 notas que contenían información sobre al menos tres DSS y datos de ocupación. Los 14 DSS anotados incluyen género, estado civil, ocupación, consumo de sustancias, educación, ingresos, etc.
• Neutralización de Género: Para evitar que los marcadores lingüísticos de género en francés (como la terminación de sustantivos) sesguen el modelo, el texto se preprocesó transformando las anotaciones de DSS en pares clave-valor estructurados. Los valores se convirtieron a opciones binarias (Sí/No) o se neutralizaron manualmente (ej. usar "infirmier/infirmière" en lugar de solo "infirmière") para eliminar indicadores de género explícitos.
• Tarea: El modelo recibe la información de DSS neutralizada y debe predecir el género del paciente en una escala Likert de 7 puntos (1 = Femenino, 4 = Incierto, 7 = Masculino). Esto convierte la tarea en un problema de regresión.
• Modelos Evaluados: Se probaron 9 LLMs, incluyendo modelos de propósito general (Llama-3.1/3.3, Qwen2.5, Mistral) y modelos adaptados al dominio médico (OpenBioLLM, Med42, HuatuoGPT), con tamaños que van desde 7B hasta 72B parámetros.
• Métricas de Evaluación:
  • Puntuación de Sesgo (RMSE Modificada): Se calcula la desviación de las predicciones respecto al valor neutral (4). Se ajusta el Error Cuadrático Medio (RMSE) incorporando el signo del Error Absoluto Medio (MAE) para indicar la dirección del sesgo (positivo hacia masculino, negativo hacia femenino).
  • Análisis de Asociación: Se utilizó la prueba exacta de Fisher para calcular las odds ratios entre la presencia de un DSS específico (ej. "Retirado", "Obreros") y las predicciones de género binarizadas, identificando qué factores sociales activan estereotipos en el modelo.
  • Comparación Humana: Se realizó una campaña de anotación con 9 participantes humanos para comparar sus patrones de inferencia con los de los LLMs.

3. Contribuciones Clave

1. Marco de Sondeo de Estereotipos: Desarrollo de un marco adaptable que utiliza datos de DSS de registros de pacientes para examinar las interacciones entre el género y otros 13 determinantes sociales.
2. Análisis de Interacciones DSS-Género: Identificación de cómo factores específicos, especialmente la Ocupación, influyen en las predicciones de género de los modelos, revelando patrones de segregación laboral estereotipada.
3. Validación con Anotadores Humanos: Comparación directa que demuestra que los LLMs y los humanos comparten patrones de estereotipos sociales similares al inferir género a partir de DSS.
4. Evaluación de Modelos Adaptados: Análisis de cómo la adaptación al dominio médico afecta el sesgo, encontrando que los modelos adaptados a menudo mantienen o incluso aumentan el sesgo de sus versiones base.

4. Resultados Principales

• Detección de Sesgo: La métrica de RMSE modificada detectó consistentemente estereotipos de género en todos los modelos. Por ejemplo, Llama-3.1-8B mostró un sesgo fuerte hacia predicciones masculinas (puntuación 2.25), mientras que los modelos más grandes (Llama-3.3-70B) mostraron un sesgo menor pero predominante.
• Tamaño del Modelo: Las variantes más pequeñas (7B) mostraron generalmente mayor confianza en sus predicciones estereotipadas en comparación con sus contrapartes más grandes (70B), sugiriendo una mayor dependencia de patrones superficiales debido a la capacidad limitada de procesamiento.
• Factores Influyentes (Ocupación y Estado):
  • Ocupación: Se encontraron asociaciones estadísticamente significativas. Los modelos asociaron fuertemente "Trabajadores" (Workers) con género masculino y "Empleados" (Employees) o "Amas de casa" con género femenino.
  • Consumo de Sustancias: El tabaco y el alcohol se asociaron consistentemente con predicciones masculinas.
  • Estado Civil: "Casado/En relación" tuvo un impacto significativo, aunque varió según el modelo.
• Comparación Humano-Modelo: Los anotadores humanos y los LLMs mostraron patrones de asociación similares (ej. asociación de hombres con jubilación o consumo de tabaco, y mujeres con roles domésticos). Esto confirma que los modelos han internalizado estereotipos sociales compartidos por la sociedad humana.
• Impacto de la Adaptación Médica: Los modelos adaptados al dominio médico (como Med42) mostraron niveles de sesgo similares o ligeramente superiores a sus versiones base, lo que indica que la adaptación con datos médicos no elimina necesariamente los estereotipos sociales subyacentes.
• Validación de la Neutralización: Los experimentos mostraron que al eliminar marcadores lingüísticos de género, la puntuación de sesgo disminuyó significativamente, confirmando que los modelos dependen de estos marcadores y de los DSS para inferir género, y que la neutralización es efectiva para aislar el sesgo basado en DSS.

5. Significado y Conclusiones

El estudio demuestra que es posible detectar y cuantificar estereotipos de género en LLMs analizando las interacciones entre el género y los Determinantes Sociales de la Salud en un contexto médico real.

• Riesgo en la Práctica Clínica: Los resultados sugieren que incluso modelos grandes y aparentemente neutrales pueden cometer errores de diagnóstico o asignación de recursos basados en estereotipos de género derivados de la ocupación o el estilo de vida del paciente.
• Limitaciones de los Modelos Actuales: Se concluye que lograr LLMs completamente libres de sesgos es improbable debido a la naturaleza probabilística de los modelos y a los datos de entrenamiento desequilibrados ("sombras en la pared").
• Recomendaciones:
  • La evaluación de sesgos debe ir más allá de determinantes aislados e incluir interacciones entre DSS.
  • Se necesita un equilibrio pragmático entre el rendimiento del modelo y la mitigación de sesgos, priorizando modelos adaptados que muestren neutralidad al menos a nivel humano.
  • Las estrategias de prompting (instrucciones) pueden ser una solución costo-efectiva para mitigar sesgos en tareas específicas, aunque la responsabilidad última recae en los desarrolladores de modelos para abordar estos problemas en las etapas de entrenamiento y creación de conjuntos de datos.

En resumen, este trabajo proporciona una metodología robusta para auditar la equidad de los LLMs en sistemas de salud, destacando que la integración de estos modelos requiere una comprensión profunda de cómo codifican y perpetúan los estereotipos sociales humanos.