Reliable fairness auditing with semi-supervised inference

Resumen Técnico: Auditoría de Equidad Confiable con Inferencia Semi-Supervisada

Planteamiento del Problema
Los modelos de aprendizaje automático desplegados en aplicaciones biomédicas a menudo exhiben sesgos que exacerban las inequidades entre subpoblaciones definidas por atributos protegidos (por ejemplo, raza, sexo). Identificar y mitigar estos sesgos requiere una "auditoría de equidad grupal", un proceso que evalúa métricas de rendimiento del modelo (como la Tasa de Verdaderos Positivos, la Tasa de Falsos Positivos o la calibración) a través de diferentes grupos. Sin embargo, una auditoría confiable típicamente exige grandes volúmenes de datos etiquetados para detectar disparidades sutiles en el rendimiento. En contextos biomédicos, obtener dichas etiquetas es costoso y laborioso, requiriendo a menudo experiencia clínica especializada (por ejemplo, la anotación de imágenes médicas o resúmenes de alta). En consecuencia, las auditorías de equidad operan frecuentemente en un entorno semi-supervisado (SS): se dispone de un pequeño conjunto de datos etiquetados, acompañado de un conjunto de datos no etiquetados mucho mayor. Los métodos tradicionales de auditoría supervisada ignoran los datos no etiquetados, lo que conduce a una alta varianza y a una potencia reducida para detectar disparidades. Los métodos SS existentes para auditoría de equidad están limitados a métricas específicas, dependen de supuestos paramétricos que pueden conducir a inferencias sesgadas si se violan, o no logran aprovechar las covariables auxiliares disponibles durante la auditoría.

Metodología: El Marco Infairness
Los autores proponen Infairness, un marco unificado de inferencia semi-supervisada diseñado para auditar una amplia gama de criterios de equidad aprovechando tanto los datos etiquetados como los no etiquetados. El núcleo del método implica imputar los resultados faltantes ($Y$) en los datos no etiquetados utilizando un modelo de regresión que condiciona sobre las predicciones del modelo ($S$) y las covariables auxiliares ($W$).

1. Configuración del Problema: El marco asume un conjunto de datos de validación compuesto por $n$ muestras etiquetadas $\{(Y_i, X_i, W_i, A_i)\}$ y $N$ muestras no etiquetadas $\{(X_i, W_i, A_i)\}$, donde $A$ es un atributo protegido categórico. El objetivo es estimar métricas de rendimiento específicas del grupo ($M_a$) y sus diferencias ($\Delta M$) con mayor eficiencia que la estimación supervisada.
2. Estrategia de Imputación: Para métricas dependientes del resultado $Y$ (por ejemplo, TVP, TFP), el método estima la esperanza condicional $E(Y | S, W, A=a)$ utilizando un modelo de trabajo. Este modelo utiliza funciones base no lineales flexibles (específicamente splines cúbicos naturales) de la predicción $S$ y las covariables auxiliares $W$. Los parámetros se estiman mediante una ecuación de estimación penalizada sobre los datos etiquetados.
3. Estimación: Los resultados faltantes en los datos no etiquetados se imputan utilizando el modelo ajustado. Las métricas específicas del grupo se calculan luego promediando estas imputaciones sobre el gran conjunto de datos no etiquetados dentro de cada grupo. Para métricas independientes de $Y$ (por ejemplo, aquellas que dependen solo de $S$ o $D$), el método simplemente promedia sobre los datos no etiquetados, lo que intrínsecamente reduce la varianza debido al mayor tamaño de la muestra.
4. Robustez: El marco está diseñado para ser robusto a la especificación del modelo de imputación. Al incluir una intersección, la predicción $S$ y la clasificación $D$ en las funciones base, el estimador permanece consistente incluso si la forma funcional del modelo de imputación está mal especificada, siempre que la base incluya estos términos clave.

Contribuciones Clave y Resultados Teóricos

• Marco Unificado: Infairness proporciona un enfoque general aplicable a un amplio espectro de métricas de equidad (precisión, discriminación, calibración) y no depende de los supuestos paramétricos restrictivos de los métodos anteriores de equidad SS (por ejemplo, Calibración Beta).
• Consistencia y Validez: Los autores demuestran que el estimador Infairness es consistente para las métricas de equidad objetivo y que los procedimientos de inferencia (intervalos de confianza) son válidos bajo condiciones de regularidad estándar, incluso cuando el modelo de imputación no está perfectamente especificado.
• Ganancias de Eficiencia: El análisis teórico demuestra que el estimador Infairness tiene una varianza asintótica menor que el estimador supervisado. Específicamente, si el modelo de imputación captura información sobre $Y$ más allá de la contenida en $S$ por sí solo (es decir, $E(Y|S, W, A) \neq E(Y|A)$), la varianza se reduce estrictamente.
• Robustez ante la Mal especificación: A diferencia de los métodos que asumen una forma paramétrica específica para la relación entre predicciones y resultados, Infairness utiliza expansiones de base flexibles. Los resultados teóricos muestran que el estimador permanece consistente incluso si el modelo de trabajo está mal especificado, siempre que las funciones base incluyan los términos necesarios (intersección, $S$, $D$).

Resultados Empíricos
El artículo evalúa Infairness a través de extensos estudios de simulación y dos auditorías biomédicas del mundo real:

1. Estudios de Simulación:

   • En entornos estilizados, Infairness proporcionó consistentemente estimaciones sin sesgo con probabilidades de cobertura nominales, mientras que los métodos paramétricos (Calibración Beta) sufrieron de sesgo significativo y subcobertura cuando se violaron sus supuestos.
   • En entornos tradicionales con mecanismos de generación de datos complejos (no linealidades, interacciones, estructuras basadas en árboles), Infairness mantuvo un bajo sesgo y una cobertura cercana a la nominal.
   • Eficiencia: Infairness superó consistentemente a la estimación supervisada y a las líneas base no paramétricas. Cuando las covariables auxiliares ($W$) contenían información sobre $Y$, los modelos que incorporaban $W$ (por ejemplo, Infairness($S \times W$)) lograron ganancias de eficiencia relativa del 10–37% sobre los métodos que ignoraban $W$.

2. Aplicaciones del Mundo Real:

   • Fenotipado de Historia Clínica Electrónica (Depresión): Auditoría de un modelo para la detección de depresión entre grupos raciales utilizando datos de MIMIC-III ($n=872$ etiquetados, $N=28,766$ no etiquetados). Infairness redujo la varianza de las estimaciones de disparidad en aproximadamente un 43,5% en comparación con la estimación supervisada, equivalente a requerir un 43,5% menos de muestras etiquetadas para lograr la misma precisión.
   • Imagenología Médica (Radiografía de Tórax): Auditoría de un clasificador de cardiomegalia entre grupos de sexo ($n=500$ etiquetados, $N=64,740$ no etiquetados). Infairness redujo la varianza en un 60,9% para la disparidad de TVP y en un 56,3% para la disparidad de TFP en comparación con la estimación supervisada.

Significado y Afirmaciones
El artículo afirma que Infairness ofrece una solución práctica y estadísticamente rigurosa para el cuello de botella de la "escasez de etiquetas" en la auditoría de equidad biomédica. Al utilizar eficazmente los abundantes datos no etiquetados y las covariables auxiliares, el método permite una detección más potente de disparidades en el rendimiento de subgrupos sin aumentar el costo de la anotación de datos. Los autores enfatizan que el método no sacrifica la validez por la eficiencia; garantiza una estimación consistente y una inferencia válida sin depender de fuertes supuestos paramétricos que podrían conducir a conclusiones sobreconfiadas y distorsionadas sobre la equidad del modelo. El trabajo subraya el valor de la inferencia semi-supervisada para asegurar que los modelos de aprendizaje automático en la atención sanitaria se desplieguen de manera responsable y equitativa.