Unmeasured but Not Unbiased: The Missingness Demographic Leakage Audit (MDLA) for Calibration-Aware Fairness Evaluation in Critical Care Mortality Prediction

Este artículo introduce la Auditoría de Fugas Demográficas por Ausencia de Datos (MDLA), un marco reproducible que revela cómo los patrones de datos clínicos faltantes en modelos de mortalidad en cuidados críticos pueden actuar como proxies demográficos sutiles y no medidos, lo que hace necesaria la integración de auditorías conscientes de la ausencia de datos y evaluaciones conscientes de la calibración en los pipelines de validación de IA clínica.

Lo esencial

Imagina que estás intentando predecir quién podría enfermarse en la unidad de cuidados intensivos (UCI) de un hospital utilizando un programa informático. Alimentas al programa con datos como la frecuencia cardíaca, la presión arterial y los resultados de laboratorio. Por lo general, cuando los investigadores verifican si este programa es "justo", miran los números que sí ve. Se preguntan: "¿El programa comete los mismos errores con pacientes negros que con pacientes blancos?"

Pero este artículo señala una gran zona ciega. Plantea una pregunta diferente: "¿Qué aprende el programa de los números que faltan?"

Aquí está la historia del artículo, desglosada en conceptos y analogías simples.

1. La "Pista Silenciosa" (El Problema)

Imagina que estás intentando adivinar el trasfondo de alguien solo mirando su lista de compras del supermercado.

• La Forma Obvia: Miras lo que compraron (por ejemplo, "Compraron kale, así que podrían estar preocupados por la salud").
• La Forma Oculta: Miras lo que no compraron. Quizás nunca compraron un tipo específico de carne costosa porque su tienda local no la tiene en stock, o debido a cuánto dinero tienen.

En la UCI, los médicos solicitan pruebas (como gases en sangre) para los pacientes. A veces, una prueba falta.

• Visión Estándar: "Oh, la prueba falta. Simplemente estimemos el valor o ignóremosla".
• Visión de este Artículo: "¡Espera! El hecho de que la prueba falte podría ser en realidad una pista secreta sobre la raza o el estado de seguro del paciente".

Los autores descubrieron que en sus datos, ciertas pruebas faltaban mucho más a menudo para pacientes negros que para pacientes blancos. No era aleatorio; era un patrón. El programa informático, si es lo suficientemente inteligente, puede aprender accidentalmente a usar estos patrones de "falta" como un atajo para adivinar la raza de un paciente, incluso si nunca le dijiste la raza del paciente.

2. La Herramienta del Detective: MDLA

Para atrapar esta "pista silenciosa", los autores construyeron una nueva herramienta llamada MDLA (Auditoría de Fuga Demográfica por Ausencia). Piensa en esto como un detector de metales para sesgos ocultos.

En lugar de solo verificar la respuesta final que da la computadora, MDLA verifica las "huellas" dejadas por los datos faltantes.

• Paso 1: Crearon una lista de "Indicadores de Ausencia" (como una lista de verificación donde una marca indica "Esta prueba fue omitida").
• Paso 2: Le preguntaron a un modelo informático simple: "¿Puedes adivinar la raza de un paciente solo mirando esta lista de verificación de pruebas faltantes?"
• El Resultado: ¡Sí! El modelo podía adivinar la raza mejor que lanzar una moneda al aire. Esto demostró que la ausencia de datos porta información demográfica.

3. El Momento "¡Ajá!": La Computadora está Usando la Pista

La parte más importante del artículo es lo que sucede cuando permiten que el modelo principal de predicción vea estos "Indicadores de Ausencia".

• El Experimento: Entrenaron un modelo para predecir el riesgo de muerte. Primero, le dieron solo los números reales (frecuencia cardíaca, etc.). Luego, le dieron los números reales más los "Indicadores de Ausencia".
• La Sorpresa: Cuando se permitió al modelo ver los "Indicadores de Ausencia", la brecha en el rendimiento entre diferentes grupos raciales se empeoró.
• La Analogía: Imagina a un estudiante tomando un examen. Si se le permite echar un vistazo a una hoja de trucos que dice "Si el profesor no hizo la pregunta 5, es probable que el estudiante sea del Grupo A", el estudiante podría empezar a adivinar basándose en eso en lugar de en las matemáticas reales. El artículo descubrió que la computadora estaba haciendo exactamente esto: estaba usando los patrones de "prueba faltante" como un atajo, lo que hacía las predicciones menos justas para ciertos grupos.

4. Arreglando el "Termómetro Roto" (Calibración)

El artículo también examinó qué tan "segura" estaba la computadora en sus respuestas.

• El Problema: A veces la computadora dice: "Hay un 20% de probabilidad de muerte", pero para pacientes negros, la tasa real de muerte podría ser del 30%. La computadora está "mal calibrada" para ese grupo. Es como un termómetro que siempre lee 5 grados demasiado bajo para una habitación específica.
• La Solución: Los autores probaron diferentes formas de "recalibrar" la computadora. Descubrieron que una solución simple llamada Escalado Global de Platt funcionó mejor.
• El Resultado: Esta solución simple hizo que la confianza de la computadora fuera mucho más precisa (reduciendo los errores en un 94%) sin empeorar las predicciones generales. Es como ajustar el termómetro para que lea la temperatura correcta para todos, sin necesidad de construir un termómetro completamente nuevo.

5. La Gran Conclusión

El artículo concluye con un mensaje claro para cualquiera que construya o utilice estas herramientas de IA hospitalaria:

"Los datos faltantes no son solo un error; son un mensaje."

Si ignoras el hecho de que ciertas pruebas faltan más a menudo para ciertos grupos, tu IA podría estar usando secretamente esas brechas para tomar decisiones injustas. Antes de permitir que una IA ayude a tomar decisiones de vida o muerte en un hospital, necesitas realizar una "Auditoría de Ausencia" (como la herramienta MDLA) para asegurarte de que la computadora no esté dependiendo de estos atajos ocultos e injustos.

En resumen: El artículo no solo encontró un error; encontró una forma completamente nueva en que los errores pueden esconderse (en los espacios vacíos de los datos) y dio a los médicos una nueva lista de verificación para encontrarlos antes de que causen daño.

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo "No Medido pero No Sesgado: La Auditoría de Fugas Demográficas por Ausencia (MDLA) para la Evaluación de Equidad Consciente de la Calibración en la Predicción de Mortalidad en Cuidados Intensivos."

1. Declaración del Problema

Los modelos de predicción clínica entrenados con Registros Electrónicos de Salud (EHR) se auditan rutinariamente en busca de equidad basándose en los valores observados de las características. Sin embargo, existe un punto ciego crítico: las auditorías estándar ignoran los patrones de datos faltantes. En cuidados intensivos, la ausencia de mediciones (por ejemplo, valores de laboratorio, signos vitales) a menudo no es aleatoria (Faltante No Al Azar - MNAR). En cambio, los patrones de ausencia pueden reflejar inequidades estructurales, diferencias en las prácticas de prescripción y disponibilidad de recursos vinculadas a la raza, el estado de seguro y la posición socioeconómica.

Los autores hipotetizan que estos "patrones de ausencia" funcionan como proxis demográficos latentes. Si los modelos de aprendizaje automático aprenden inadvertidamente de estos indicadores de ausencia, pueden codificar sesgo demográfico sin utilizar explícitamente variables demográficas, una vía invisible para las auditorías estándar de equidad.

2. Metodología

El estudio introduce la Auditoría de Fugas Demográficas por Ausencia (MDLA), un marco de informática reproducible de cuatro pasos, y lo aplica a la predicción de mortalidad en UCI.

• Conjuntos de datos:
  • Desarrollo: MIMIC-IV v2.2 (n=50,827 estancias en UCI, centro único, Boston).
  • Validación Externa: eICU-CRD v2.0 (n=137,773 estancias en UCI, multicéntrico, 208 hospitales de EE. UU.).
  • Cohorte total: ~188,600 estancias de pacientes.
• Ingeniería de Características:
  • 43 características clínicas (20 signos vitales, 21 laboratorios, 2 compuestos).
  • 44 Indicadores Binarios de Ausencia: Creados para cada característica (incluidas las excluidas como la troponina) donde miss_X = 1 si el valor estaba ausente.
• Marco MDLA (4 Pasos):
  1. Construcción de Indicadores: Creación de banderas binarias para la ausencia antes de la imputación.
  2. Prueba de Predictibilidad Demográfica: Entrenamiento de una regresión logística multinomial exclusivamente sobre los 44 indicadores de ausencia para predecir raza/etnia y tipo de seguro.
  3. Asociación a Nivel de Característica: Pruebas de chi-cuadrado (corregidas con Bonferroni) para vincular indicadores de ausencia específicos con grupos demográficos, cuantificados mediante V de Cramér.
  4. Ablación de Dependencia del Modelo: Reentrenamiento de modelos XGBoost con y sin los indicadores de ausencia para medir el cambio en la disparidad racial del AUROC.
• Auditoría de Equidad y Calibración:
  • Se evaluaron cinco criterios: Odds Igualados, Oportunidad Igualada, Paridad Demográfica, Paridad Predictiva y Equidad de Calibración (Error de Calibración Esperado - ECE).
  • Se probaron seis estrategias de recalibración post-hoc (Platt Global, Platt Condicional por Grupo, Isotónico, Escalado de Temperatura Consciente de la Equidad) en una Frontera de Pareto de Equidad-Utilidad.
• Estándares: Se siguieron las directrices TRIPOD+AI; todos los parámetros de preprocesamiento se derivaron del conjunto de desarrollo y se aplicaron sin modificación a la validación externa.

3. Contribuciones Clave

1. Marco MDLA: Un protocolo estructurado para detectar señales demográficas "codificadas por ausencia", demostrando que los patrones de ausencia contienen información demográfica estadísticamente significativa.
2. Evidencia de Ablación: Demostró que añadir indicadores de ausencia a los modelos aumenta la disparidad de rendimiento racial sin mejorar la precisión global, confirmando que los modelos dependen de estas vías sutiles de sesgo.
3. Solución Centrada en la Calibración: Identificó que el Escalado de Platt Global es la estrategia post-hoc óptima, logrando mejoras masivas en la calibración sin pérdida alguna en la discriminación, y transfiriéndose con éxito a la validación externa sin reentrenamiento.
4. Validación Empírica: Validó los hallazgos en dos bases de datos distintas e institucionalmente diversas (centro único vs. multicéntrico) con un total de casi 190,000 pacientes.

4. Resultados Clave

A. Ausencia como Proxi Demográfico (Pasos 1–3 de MDLA)

• Predictibilidad: Los patrones de ausencia por sí solos predijeron la pertenencia a grupos raciales con un AUROC de 0.543 (IC 95%: 0.540–0.546) y el tipo de seguro con un AUROC de 0.534.
• Características Significativas: 18 de las 43 características mostraron asociaciones significativas con Bonferroni con la raza.
• Brechas Específicas: Las mediciones de gases arteriales (PaCO₂, PaO₂, pH) mostraron las mayores brechas de ausencia racial (hasta 14 puntos porcentuales; por ejemplo, los pacientes negros tuvieron un 51.6% de ausencia frente al 47.9% de los pacientes blancos).
• Magnitud del Efecto: Aunque estadísticamente significativas, las magnitudes de efecto fueron pequeñas (todas las V de Cramér < 0.10), lo que indica una señal sutil pero ubicua.

B. Dependencia del Modelo (Paso 4 de MDLA)

• Impacto de la Ablación: Cuando XGBoost se entrenó con indicadores de ausencia añadidos al conjunto de características, la disparidad racial del AUROC aumentó un 10.7% (de 0.063 a 0.069).
• Rendimiento Global: El AUROC global se mantuvo estable (0.910 vs. 0.912), demostrando que el modelo estaba ponderando señales demográficas a través de la ausencia en lugar de mejorar la predicción clínica.

C. Rendimiento de Equidad y Calibración

• Rendimiento Interno: XGBoost logró un AUROC=0.910. Sin embargo, mostró brechas significativas de equidad, con una brecha de TPR de Odds Igualados de 0.214 entre grupos raciales.
• Validación Externa: El modelo sufrió una brecha de generalización (el AUROC bajó a 0.799) y una mala calibración severa (ECE=0.377).
• Teorema de Imposibilidad: El estudio confirmó que las tasas de mortalidad base diferentes entre subgrupos hacen matemáticamente imposible satisfacer simultáneamente Odds Igualados, Paridad Predictiva y Equidad de Calibración. Los autores argumentan que la Equidad de Calibración es el criterio clínicamente crítico para la predicción de riesgos.

D. Estrategias de Recalibración

• Escalado de Platt Global: Redujo el error de calibración general (ECE) en un 94% (de 0.124 a 0.007) internamente y en un 69% externamente, con cero pérdida de AUROC.
• Fallo Condicional por Grupo: Los calibradores específicos por grupo (por raza) funcionaron peor que los calibradores globales debido al sobreajuste en subgrupos minoritarios pequeños (por ejemplo, hispanos n≈400, asiáticos n≈200).
• Escalado de Temperatura: Falló en mejorar la calibración porque la mala calibración del modelo estaba impulsada por la intersección, mientras que el escalado de temperatura solo ajusta la dispersión de los logits.

5. Significado e Implicaciones

• Redefinición de la Detección de Sesgos: El artículo establece que los "datos faltantes" no son meramente una molestia que debe imputarse, sino una posible vía de sesgo aguas arriba. Las auditorías estándar de equidad que solo observan valores existentes pasan por alto esta fuga crítica.
• Despliegue Clínico: Para la IA clínica, la calibración (estimación precisa del riesgo absoluto) es más importante que la discriminación para la toma de decisiones. El estudio demuestra que una recalibración simple y global (escalado de Platt) puede corregir una mala calibración severa sin sacrificar la equidad ni el rendimiento, y se generaliza bien a nuevos hospitales.
• Política y Gobernanza: Los autores recomiendan integrar la Auditoría Consciente de la Ausencia y la Evaluación Consciente de la Calibración como pasos obligatorios en las tuberías de validación de IA clínica antes del despliegue.
• Limitaciones: El estudio es retrospectivo; la señal de ausencia es sutil (requiere tamaños de muestra grandes para detectarse); y la validación externa se vio limitada por la falta de datos de seguros en la base de datos eICU.

Conclusión: El estudio concluye que la ausencia de mediciones clínicas es una señal demográfica estructurada. El marco MDLA proporciona una herramienta necesaria para detectar esto, y el escalado de Platt global ofrece un remedio robusto y desplegable para garantizar que los modelos estén calibrados equitativamente en poblaciones diversas.