A Computational Audit of Demographic Association Encoding in ClinicalBERT Language Predictions

Este artículo presenta una auditoría computacional de ClinicalBERT que revela que el sesgo representacional en el modelo opera principalmente a través de la amplificación interna de asociaciones demográficas en lugar de una simple herencia de los datos de entrenamiento, como lo evidencian las desviaciones sistemáticas entre las predicciones del modelo y las frecuencias empíricas del corpus a través de las categorías de raza y género.

Lo esencial

Imagina a una interna médica altamente capacitada llamada ClinicalBERT. Esta interna no aprendió de libros de texto o de pacientes reales; en su lugar, leyó millones de páginas de notas de hospitales antiguos (específicamente de la base de datos MIMIC-III) para aprender cómo escriben y piensan los médicos. El objetivo de este artículo es verificar si esta interna ha adquirido malos hábitos o estereotipos injustos de esas notas.

El autor, Kehinde Temitayo Soetan, actúa como un detective digital realizando una auditoría. No le está pidiendo a la interna que diagnostique a un paciente; en su lugar, está jugando a un juego de "completar el espacio en blanco" para ver qué palabras espera la interna que aparezcan a continuación cuando se mencionan diferentes tipos de pacientes.

Así es como funciona la investigación, desglosada en conceptos simples:

1. La prueba de "Completar el espacio en blanco"

Los investigadores tomaron 98 oraciones reales de notas hospitalarias y ocultaron una palabra específica en cada una.

• La configuración: Tomaron una oración como: "El paciente [DEMOGRÁFICO] se puso [MASCARADO] cuando la enfermera intentó moverlo".
• La variable: Intercambiaron el espacio demográfico con diferentes identidades: "Varón Blanco", "Varón Negro", "Mujer Negra", "Mujer Hispana", etc.
• La pregunta: Cuando el modelo ve "Paciente Mujer Negra", ¿piensa que la palabra oculta es más probablemente agitada, confundida o se negó en comparación a cuando ve "Varón Blanco"?

2. Las dos herramientas principales

El detective utilizó dos lupas diferentes para buscar sesgos:

• La lente de "Comportamiento y Actitud" (LPBA): Esto verifica palabras que describen cómo actúa un paciente (como agitado o confuso) o cómo se siente respecto a los médicos (como se negó o cooperativo).
• La lente de "¿Quién tiene el control?" (MLM): Esto verifica palabras que muestran quién está tomando las decisiones. ¿El paciente solicitó algo (activo)? ¿El paciente declinó algo (activo)? ¿O simplemente se presentó (pasivo)?

3. La gran sorpresa: El modelo está "amplificando" el sesgo

Normalmente, cuando nos preocupa el sesgo en la IA, pensamos que solo está copiando lo que hay en sus datos de entrenamiento. Si los datos de entrenamiento tienen un 10% de sesgo, esperamos que la IA tenga un 10% de sesgo.

Este artículo encontró algo diferente.
Los investigadores compararon las suposiciones de la IA contra la frecuencia real de las palabras en las notas hospitalarias con las que fue entrenada.

• El hallazgo: En el 65.6% de los casos donde la IA mostró un fuerte sesgo, el sesgo fue en la dirección opuesta a los datos reales.
• La analogía: Imagina una biblioteca donde los libros sobre "pacientes negros" usan la palabra "agitado" con la misma frecuencia que los libros sobre "pacientes blancos". Sin embargo, la IA interna, al intentar adivinar la siguiente palabra para un paciente negro, de repente piensa que "agitado" es mucho más probable de lo que realmente es.
• La conclusión: La IA no solo está repitiendo la historia de la biblioteca; está inventando y exagerando estereotipos que ni siquiera están presentes en el material de origen. Es como un estudiante que, tras leer un libro de historia, comienza a contar historias que son más dramáticas y sesgadas que el propio libro.

4. Ejemplos específicos de la "Amplificación"

El artículo destaca algunos patrones muy específicos y preocupantes:

• La paradoja del "Paciente Negro":
  • En los datos: Los pacientes negros en realidad usaron palabras como "se negó" y "solicitó" más a menudo que los pacientes blancos en las notas reales.
  • En la IA: El modelo predijo que los pacientes negros tenían menos probabilidad de negarse o solicitar cosas. Efectivamente borró su voz y su agencia, haciéndolos parecer más pasivos de lo que realmente eran en los registros.
• El doble golpe de la "Mujer Negra":
  • Cuando los investigadores observaron específicamente a las mujeres negras, la IA las hizo parecer aún menos propensas a ser tomadoras de decisiones activas (ni cooperando ni resistiendo) y más propensas a ser objetos pasivos de atención médica. Este es un sesgo específico que solo aparece cuando se observa raza y género juntos, no solo la raza por sí sola.
• El cambio de "Agitado":
  • La IA tenía menos probabilidad de pensar que un paciente negro estaba "agitado" (aunque los datos mostraban que lo estaban con la misma frecuencia), pero era más propensa a pensar que un hombre hispano o asiático estaba "agitado". Esto muestra que la IA no es solo "racista" de forma general, sino que aplica estereotipos diferentes y muy específicos a distintos grupos.

5. Lo que esto significa (según el artículo)

El artículo concluye que solucionar este problema simplemente "limpiando los datos" (reequilibrando las notas de entrenamiento) probablemente no funcionará.

• La metáfora: Si el problema fuera solo un espejo sucio, limpiar el espejo arreglaría el reflejo. Pero este artículo sugiere que el problema es el cristal mismo. La IA ha construido una estructura dentro de su "cerebro" que distorsiona la imagen automáticamente, independientemente de lo que vea.
• La conclusión clave: El sesgo es generado por el modelo, no solo heredado de los datos. La IA está creando activamente nuevas asociaciones injustas que van más allá de lo que se le enseñó.

Resumen

Este artículo es una etiqueta de advertencia para un tipo específico de IA médica. Muestra que, incluso cuando se entrena con registros hospitalarios reales, la IA puede desarrollar una "personalidad" que estigmatiza injustamente a los pacientes, específicamente haciendo que los pacientes negros parezcan menos activos y más pasivos de lo que muestran los registros, y aplicando diferentes estereotipos negativos a los pacientes hispanos y asiáticos. La IA no solo está repitiendo el pasado; está amplificando sus partes más lamentables.

Resumen técnico

Resumen Técnico: Una Auditoría Computacional de la Codificación de Asociaciones Demográficas en las Predicciones Lingüísticas de ClinicalBERT

Planteamiento del Problema
Aunque los modelos de lenguaje clínico basados en transformadores como ClinicalBERT se integran cada vez más en los flujos de trabajo de soporte de decisiones de alto riesgo, los mecanismos computacionales mediante los cuales las asociaciones demográficas codificadas en la documentación médica se propagan en las distribuciones de probabilidad del modelo permanecen empíricamente insuficientes. La literatura existente sobre el sesgo algorítmico en el PLN clínico se centra predominantemente en las disparidades a nivel de resultados (por ejemplo, la subestimación de las necesidades de atención médica para pacientes negros) en lugar de en las estructuras representacionales internas que codifican las asociaciones demográficas. Además, no está claro si los sesgos observados en las salidas del modelo son simplemente heredados de las distribuciones de los datos de entrenamiento o si son amplificados por el procesamiento interno del modelo. Este estudio aborda la brecha entre la disparidad estadística (diferencias en los datos) y la amplificación del sesgo (divergencia generada por el modelo respecto a los datos) dentro del contexto del daño representacional —definido como el daño infligido a través de la representación simbólica y la categorización de grupos sociales.

Metodología
El estudio presenta una auditoría computacional sistemática de ClinicalBERT (Alsentzer et al., 2019), un modelo basado en BERT preentrenado con resúmenes de altas de MIMIC-III. La auditoría emplea dos metodologías de sondeo complementarias aplicadas a 98 plantillas de oraciones clínicas reales extraídas directamente del corpus MIMIC-III, garantizando la validez ecológica. Estas plantillas se instancian a través de ocho combinaciones interseccionales de raza-género (Hombre Blanco, Hombre Negro, Mujer Negra, Hombre Hispano, Mujer Hispana, Hombre Asiático, Mujer Asiática, Mujer Blanca), utilizando al Hombre Blanco como el grupo de referencia ($D_0$).

1. Análisis de Sesgo de Log-Probabilidad (LPBA): Este método cuantifica los desplazamientos inducidos por descriptores demográficos en las distribuciones de probabilidad de tokens enmascarados para categorías semánticas conductuales ($\beta$) y evaluativas ($E$). Calcula la diferencia de log-probabilidad entre un grupo demográfico objetivo ($D_i$) y el grupo de referencia ($D_0$) para contextos de oraciones idénticos.
2. Análisis basado en el Modelo de Lenguaje Enmascarado (MLM): Este método sondea la estructura representacional interna para la codificación de la atribución de agencia ($\alpha$). A diferencia del LPBA, que utiliza diferencias de logaritmos, el MLM opera sobre las probabilidades brutas de los tokens enmascarados para evaluar las asignaciones de probabilidad absoluta para términos que denotan resistencia activa, cooperación activa y recepción pasiva de la acción clínica.
3. Análisis de Frecuencia del Corpus: Para distinguir entre la disparidad estadística y la amplificación del sesgo, el estudio compara las salidas de probabilidad del modelo ($P_M$) frente a las frecuencias empíricas de términos ($f_C$) en el corpus de entrenamiento MIMIC-III. Un hallazgo se clasifica como amplificación de sesgo (generado por el modelo) si la dirección del desplazamiento de probabilidad del modelo contradice la dirección del desplazamiento de la frecuencia del corpus ($\text{sign}(\Delta S) \neq \text{sign}(\Delta C)$).

La significancia estadística se determinó mediante pruebas t de muestras pareadas ($p < 0.05$) con corrección de la tasa de falso descubrimiento de Benjamini–Hochberg.

Resultos Clave
La auditoría identificó 32 hallazgos estadísticamente significativos en lenguaje conductual, encuadre evaluativo y atribución de agencia. Los hallazgos centrales revelan un patrón predominante de amplificación interna del modelo en lugar de una herencia de los datos:

• Tasa de Contradicción General: 65.6% (21/32) de los hallazgos significativos contradijeron las distribuciones observadas en el corpus.
• Especificidad Demográfica: La tasa de contradicción fue más alta para los pacientes negros, situándose en un 80.0% (12/15).
• Atribución de Agencia: El análisis basado en MLM mostró la tasa de contradicción más alta con un 87.5% (7/8), lo que indica que los sesgos respecto a la agencia del paciente son casi exclusivamente generados por el modelo.
• Mecanismos Lingüísticos Específicos:
  • Lenguaje Conductual: El modelo suprimió sistemáticamente la probabilidad de "agitado" (agitated) para pacientes negros (ambos géneros) mientras que la amplificó para pacientes hispanos y asiáticos masculinos, a pesar de que las frecuencias del corpus para "agitado" eran casi iguales entre blancos y negros.
  • Encuadre Evaluativo: El modelo suprimió la probabilidad de "rechazó" (refused) en múltiples grupos demográficos, incluyendo pacientes negros e hispanos, a pesar de que "rechazó" aparecía casi el doble de veces en las notas de pacientes negros en el corpus (15.38 vs. 7.75 por cada 10,000 tokens).
  • Atribución de Agencia: A los pacientes negros se les asignaron significativamente menores probabilidades para términos de cooperación activa ("solicitó", "aceptó") y términos de resistencia activa ("declinó") en comparación con los hombres blancos. Por el contrario, las mujeres negras tuvieron una mayor probabilidad de ser codificadas como receptoras pasivas ("presentó"). Este patrón interseccional —la supresión simultánea de la agencia activa y la amplificación de la pasividad para las mujeres negras— era invisible para el análisis de nivel de raza por sí solo.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evidencia empírica directa en el dominio del PLN clínico de que un modelo de lenguaje clínico ampliamente desplegado amplifica las asociaciones demográficas más allá de lo que justifica su corpus de entrenamiento. El estudio operacionaliza la distinción entre disparidad estadística y amplificación del sesgo, demostrando que el sesgo representacional en ClinicalBERT es una propiedad estructural del modelo y no un simple reflejo de los desequilibrios en los datos de entrenamiento.

Los autores argumentan que estos hallazgos tienen implicaciones directas para la auditoría de sesgos y la gobernanza de la IA clínica. Específicamente, los resultados sugieren que reequilibrar los datos de entrenamiento o aplicar procedimientos de alineación post-entrenamiento puede ser insuficiente, ya que los sesgos identificados son generados predominantemente por la estructura representacional interna del modelo. El estudio aboga por la realización de auditorías continuas a través de combinaciones demográficas interseccionales y el desarrollo de marcos de gobernanza que traten la caracterización conductual, el encuadre evaluativo y la atribución de agencia como objetivos concretos de auditoría. El marco de sondeo propuesto se presenta como una metodología replicable para evaluar el daño representacional en la IA clínica.