Integrating Group and Individual Fairness Auditing in Clinical AI: A Post-Hoc, Model-Agnostic Approach

Este artículo presenta EquiLense, una herramienta de auditoría práctica, posterior al entrenamiento y agnóstica al modelo que cierra la brecha entre las evaluaciones de equidad grupal e individual en la IA clínica mediante el uso de una nueva métrica llamada Diferencia Media de Probabilidad Predicha (MPPD) para identificar inconsistencias sistemáticas en las predicciones entre grupos demográficos.

Lo esencial

Imagina que tienes un asistente automatizado muy inteligente que ayuda a los médicos a predecir cómo podría ir un paciente después de una cirugía. Este asistente es excelente en su trabajo en general, pero hay una preocupación persistente: ¿Está tratando a todos con equidad?

A veces, estos asistentes pueden ser injustos de dos maneras diferentes:

1. Injusticia Grupal: Proporciona sistemáticamente predicciones peores para un grupo completo de personas (como una raza o género específico) en comparación con otro.
2. Injusticia Individual: Trata a dos pacientes que son médicamente idénticos (misma edad, mismos problemas de salud, misma cirugía) de manera diferente simplemente porque pertenecen a grupos distintos.

El problema es que la mayoría de las herramientas utilizadas para verificar la equidad solo examinan uno de estos ángulos. Pueden verificar si el Grupo A obtiene puntuaciones peores que el Grupo B, pero pasan por alto el hecho de que dos pacientes específicos e idénticos están siendo tratados de manera diferente. O bien verifican si los pacientes idénticos son tratados igual, pero pierden de vista el panorama más amplio del sesgo sistémico contra todo un grupo.

Presentamos "EquiLense": Las Gafas de Equidad

Los autores de este artículo crearon una nueva herramienta llamada EquiLense. Piénsalo como un par de "gafas de equidad" que un médico o desarrollador puede ponerse después de que el modelo de IA ya esté construido y funcionando. No tienes que reconstruir el motor; solo miras a través de las gafas para ver lo que realmente está sucediendo.

EquiLense hace tres cosas principales para ofrecer una imagen completa:

1. La Verificación Grupal: Examina el panorama general para ver si ciertos grupos demográficos están recibiendo predicciones sistemáticamente peores que otros.
2. La Verificación Individual: Identifica pares de pacientes que son gemelos médicos (misma edad, misma historia clínica) y verifica si la IA les da la misma predicción. Si le da a uno una puntuación de "alto riesgo" y al otro una de "bajo riesgo" simplemente por su raza o seguro, eso es una señal de alarma.
3. La "Diferencia Media de Probabilidad Predicha" (MPPD): Este es el ingrediente secreto del artículo. Es una nueva forma de medir la brecha entre esos "gemelos médicos".

Aquí hay una analogía simple para la MPPD:
Imagina que eres un juez sentenciando a dos personas que cometieron exactamente el mismo crimen con exactamente la misma historia.

• Equidad: Ambos reciben 5 años.
• Injusticia: Uno recibe 5 años y el otro recibe 10 años simplemente porque provienen de un vecindario diferente.

La MPPD es como una regla que mide exactamente cuánto tiempo extra obtuvo la segunda persona en comparación con la primera, en promedio, en toda la sala del tribunal. Cuantifica la "brecha injusta" entre personas que deberían ser tratadas igual.

¿Qué Encontraron?

El equipo probó EquiLense con datos reales de hospitales que involucraban a más de 59.000 pacientes quirúrgicos. Examinaron modelos que predecían dos cosas: delirio (confusión después de la cirugía) y reingreso (volver al hospital dentro de los 30 días).

• La Sorpresa: Los modelos de IA eran en realidad bastante buenos para predecir resultados en general (eran precisos). Sin embargo, cuando se pusieron las gafas de EquiLense, descubrieron que los modelos seguían tratando a los "gemelos médicos" de manera diferente según la raza.
• El Ejemplo Específico: Para pacientes que eran médicamente idénticos a pacientes blancos, los pacientes asiáticos recibían predicciones sistemáticamente diferentes (y menos justas). La "brecha" en sus puntuaciones era medible y significativa.
• La Prueba de Solución: Realizaron un experimento simple: le dijeron a la IA que ignorara la raza y el tipo de seguro al hacer sus predicciones. Cuando hicieron esto, la "brecha injusta" (la puntuación MPPD) disminuyó significativamente. Esto sugiere que simplemente eliminar esos puntos de datos específicos del "cerebro" del modelo hizo que tratara a pacientes similares de manera más equitativa, sin empeorar el desempeño del modelo.

¿Funcionó en Otros Problemas?

Para asegurarse de que su nueva regla (MPPD) realmente funcionaba, la probaron en dos conjuntos de datos famosos y no médicos donde ya se sabía que existía sesgo:

1. COMPAS: Una herramienta utilizada para predecir si los criminales volverán a delinquir. (Sabemos que esta herramienta ha estado históricamente sesgada contra los acusados negros).
2. Ingreso de Adultos UCI: Un conjunto de datos que predice si alguien gana más de 50.000 dólares. (Sabemos que esto tiene un sesgo histórico de género).

El Resultado: La métrica MPPD de EquiLense identificó con éxito los grupos exactos que ya sabíamos que estaban siendo tratados injustamente (acusados negros en los datos de COMPAS y mujeres en los datos de ingresos). Esto demostró que la herramienta funciona.

¿Por Qué Importa Esto?

El artículo argumenta que necesitamos una herramienta que no nos obligue a desechar nuestros modelos de IA actuales y empezar de cero (lo cual es costoso y difícil). En su lugar, necesitamos una forma de auditarlos después de que se construyen.

EquiLense es como un inspector de control de calidad para la IA en la atención médica. No repara la máquina por ti, pero te proporciona un boletín de calificaciones claro y fácil de entender que dice: "Oye, tu máquina es buena en matemáticas, pero está tratando a estos dos pacientes idénticos de manera diferente simplemente por su trasfondo".

Esto permite a los médicos y desarrolladores tomar decisiones informadas, como decidir si eliminar ciertos puntos de datos (como la raza) del modelo para hacerlo más justo, sin necesidad de ser magos de las matemáticas o reconstruir todo el sistema desde cero.

Resumen técnico

Aquí se presenta un resumen técnico detallado del artículo "Integrar la auditoría de equidad grupal e individual en la IA clínica: un enfoque post-hoc, agnóstico al modelo".

1. Planteamiento del Problema

La integración de la IA en la toma de decisiones clínicas plantea preocupaciones éticas críticas sobre la equidad algorítmica. Los marcos actuales de evaluación de la equidad sufren de fragmentación:

• Equidad Grupal: Las métricas (p. ej., Paridad Demográfica, Oportunidad Igual) evalúan las disparidades entre grupos demográficos, pero a menudo ocultan las variaciones a nivel de paciente. Un modelo puede parecer justo a nivel grupal mientras trata de manera inconsistente a individuos clínicamente similares.
• Equidad Individual: Las métricas aseguran que individuos similares reciban predicciones similares. Sin embargo, estas rara vez se adoptan en el sector salud debido a la dificultad de definir la "similitud clínica" y la falta de herramientas operativas. Los enfoques existentes a menudo requieren reentrenamiento del modelo, arquitecturas específicas (p. ej., redes neuronales de grafos) o especificaciones complejas de grafos causales (Equidad Contrafactual), lo que los hace poco prácticos para auditar modelos ya desplegados.

La Brecha: Existe una falta de herramientas prácticas, post-hoc y agnósticas al modelo que evalúen simultáneamente las disparidades a nivel grupal y la consistencia de las predicciones a nivel individual en entornos clínicos.

2. Metodología: El Marco EquiLense

Los autores presentan EquiLense, una herramienta de auditoría post-hoc, agnóstica al modelo diseñada para conectar la equidad grupal e individual. Consiste en tres componentes principales:

A. Evaluación de la Equidad Grupal

La herramienta calcula métricas estándar de disparidad a través de atributos sensibles (p. ej., raza, sexo, tipo de seguro):

• Diferencia de Paridad Demográfica (DPD)
• Diferencia de Oportunidad Igual (EOD)
• Probabilidades Igualadas (EO)
• Índice de Disparidad en la Distribución de Errores (EDDI): Una métrica novedosa diseñada para entornos clínicos con tamaños de grupo diversos y desequilibrio de clases.

B. Evaluación de la Equidad Individual

La herramienta mide la consistencia de las predicciones entre pacientes clínicamente similares.

• Definición de Similitud: Los usuarios pueden definir la similitud clínica basándose en características específicas (p. ej., edad, IMC, Índice de Comorbilidad de Charlson) utilizando métricas basadas en distancia (p. ej., similitud del coseno).
• Flexibilidad: El marco permite a los usuarios ajustar los umbrales de similitud y los conjuntos de características para coincidir con contextos clínicos específicos.

C. Diferencia Media de Probabilidad Predicha (MPPD)

Esta es la contribución metodológica novedosa del artículo, diseñada para operacionalizar la equidad individual mientras captura efectos a nivel grupal.

• Concepto: El MPPD cuantifica la diferencia absoluta promedio en las probabilidades predichas entre pacientes clínicamente similares que pertenecen a diferentes grupos demográficos.
• Implementación:
  1. Basado en Referencia: Identifica un grupo de referencia (p. ej., pacientes blancos) y los empareja con pacientes clínicamente similares de otros grupos. Calcula la brecha de predicción.
  2. Pareado: Realiza un emparejamiento bidireccional entre todas las combinaciones de grupos (p. ej., Negro-Blanco, Asiático-Hispano) para crear una matriz simétrica de puntuaciones de disparidad. Esto evita asumir un único grupo de referencia "justo" y resalta las disparidades entre grupos minoritarios.
• Ventaja: A diferencia de la Equidad Contrafactual, el MPPD se basa en datos observados del mundo real en lugar de contrapartes sintéticas o grafos causales no verificados, lo que lo hace computacionalmente eficiente e interpretable para los clínicos.

3. Diseño del Estudio y Datos

• Cohorte Clínica: 59,047 pacientes quirúrgicos de un gran centro médico académico (2012–2022).
• Resultados:
  1. Delirio postquirúrgico (identificado mediante códigos CIE, puntuaciones CAM y procesamiento de lenguaje natural de notas clínicas).
  2. Reingreso hospitalario a los 30 días.
• Modelos: Clasificadores de Regresión Logística y XGBoost entrenados con características clínicas (edad, IMC, CCI, historial de salud mental, etc.). Los atributos sensibles (raza, sexo, seguro) se incluyeron o excluyeron para probar su impacto.
• Benchmarks Externos: Se validó el MPPD en dos conjuntos de datos con sesgos históricos conocidos:
  1. COMPAS: Predicción de reincidencia (n=6,172).
  2. Ingresos Adultos UCI: Predicción de ingresos (n=32,561).

4. Resultados Clave

Aplicación Clínica (Modelos Quirúrgicos)

• Rendimiento: El modelo XGBoost logró un AUROC de 0.78 para el delirio y 0.61 para el reingreso. Eliminar los atributos sensibles tuvo un impacto negligible en el rendimiento predictivo.
• Equidad Grupal: Las métricas estándar mostraron disparidades moderadas, particularmente en la Distribución de Errores (EDDI).
• Equidad Individual (MPPD):
  • El MPPD reveló inconsistencias sistemáticas: Entre los pacientes clínicamente similares a los pacientes blancos, los pacientes asiáticos mostraron la mayor disparidad de predicción (diferencia MPPD = 0.045).
  • Sensibilidad de Características: Excluir atributos sensibles (raza/etnia) del entrenamiento del modelo redujo significativamente las puntuaciones MPPD, lo que indica una mayor consistencia sin sacrificar la precisión.
  • Análisis Pareado: La matriz pareada resaltó disparidades entre grupos minoritarios que los métodos basados en referencia podrían pasar por alto.

Validación de Benchmarks Externos

• COMPAS: El MPPD identificó correctamente la mayor disparidad para defensores afroamericanos, consistente con los sesgos conocidos en la puntuación de reincidencia.
• Ingresos Adultos UCI: El MPPD asignó la puntuación de disparidad más alta a trabajadoras mujeres, alineándose con el sesgo de género documentado en la predicción de ingresos.
• Conclusión: El MPPD detectó con éxito sesgos de verdad fundamental conocidos en conjuntos de datos no clínicos, validando su utilidad como métrica de cribado.

5. Contribuciones Clave

1. Herramienta EquiLense: Un marco unificado, post-hoc, que integra métricas de equidad grupal e individual sin requerir reentrenamiento del modelo.
2. Métrica MPPD: Una métrica novedosa e interpretable que cierra la brecha entre la disparidad grupal y la consistencia individual al comparar pacientes reales observados. Es computacionalmente ligera y no requiere especificación de grafos causales.
3. Aplicabilidad Práctica: La herramienta es agnóstica al modelo (funciona con cualquier clasificador) y permite a los clínicos definir la "similitud" basándose en el conocimiento del dominio, lo que la hace directamente aplicable a la auditoría de la atención sanitaria en el mundo real.
4. Evidencia Empírica: Demostró que un alto rendimiento general del modelo no garantiza la equidad; los modelos pueden tratar sistemáticamente de manera diferente a pacientes clínicamente similares basándose en atributos demográficos.

6. Significado y Limitaciones

Significado:

• Cerrando la Brecha: EquiLense aborda el "punto ciego" donde las métricas grupales pasan por alto las inconsistencias individuales y las métricas individuales carecen de contexto sistémico.
• Perspectivas Accionables: Al permitir análisis de sensibilidad (p. ej., eliminar características sensibles), la herramienta ayuda a los profesionales a tomar decisiones informadas sobre el despliegue de modelos y la selección de características para mitigar el sesgo.
• Utilidad Post-Hoc: Cubre una necesidad crítica de auditar modelos ya en producción, una etapa donde las estrategias de mitigación durante el entrenamiento ya no son aplicables.

Limitaciones:

• Causalidad: El MPPD es una métrica basada en correlación; señala inconsistencias pero no puede determinar si se deben a sesgo algorítmico o a distinciones clínicamente apropiadas.
• Definición de Similitud: La precisión de la equidad individual depende de la definición subjetiva del usuario de "similitud clínica". Una mala selección de características o datos ruidosos pueden distorsionar los resultados.
• Impacto Downstream: La herramienta audita las salidas del modelo pero no evalúa las consecuencias clínicas posteriores (p. ej., cambios reales en la atención al paciente o resultados de salud).
• Tamaño de Muestra: Las estimaciones para subgrupos pequeños (p. ej., pacientes nativos americanos en el estudio) deben interpretarse con precaución.

Conclusión

El artículo presenta EquiLense como un paso vital hacia la operacionalización de la equidad en la IA clínica. Al combinar métricas grupales establecidas con el novedoso MPPD, proporciona un enfoque integral, interpretable y práctico para auditar modelos desplegados, asegurando que los sistemas de IA avancen en lugar de socavar la equidad en la salud.