Resumen Técnico: MESD – Una Métrica Sensible al Riesgo para la Equidad Explicativa en Subgrupos Interseccionales

Enunciado del Problema

La evaluación actual de la equidad en el aprendizaje automático es predominantemente orientada a los resultados, dependiendo de métricas como la Paridad Demográfica y las Odds Igualadas para garantizar la consistencia estadística en las predicciones entre grupos protegidos. Sin embargo, estas métricas no detectan la injusticia procedimental: situaciones en las que un modelo produce resultados estadísticamente justos pero utiliza procesos de razonamiento sistemáticamente diferentes, inestables o sesgados para distintos grupos demográficos.

Este problema se ve exacerbado por la interseccionalidad. Los modelos pueden parecer justos al evaluarse sobre atributos individuales (por ejemplo, raza o género de forma independiente) mientras exhiben disparidades significativas en subgrupos interseccionales (por ejemplo, mujeres negras), un fenómeno conocido como gerrymandering de equidad. Además, las métricas existentes de equidad procedimental a menudo dependen de comparaciones contrafactuales o de un único atributo protegido, fallando en abordar la estabilidad de las explicaciones bajo perturbación a través de intersecciones complejas y multidimensionales de subgrupos.

Metodología

El artículo propone la Disparidad de Estabilidad Explicativa Multicategoría (MESD), una métrica de equidad procedimental diseñada para cuantificar las disparidades en la calidad de las explicaciones entre subgrupos interseccionales. MESD se integra en un marco de optimización multiobjetivo llamado UEF (Utilidad, Explicabilidad y Equidad).

1. La Métrica MESD

MESD opera mediante un procedimiento robusto de tres etapas:

• Construcción de Subgrupos Interseccionales: La métrica construye subgrupos mediante el producto cartesiano de múltiples atributos protegidos ($G = A_1 \times A_2 \times \dots \times A_m$). Esto captura las experiencias únicas de individuos con múltiples marginaciones.
• Evaluación de Estabilidad mediante Perturbación: Para medir la consistencia de las explicaciones, el método genera versiones perturbadas de las instancias de entrada utilizando un marco híbrido de ruido gaussiano y enmascaramiento estocástico de características. Calcula un vector de atribución de conjunto (combinando múltiples explicadores como SHAP y LIME) para las entradas originales y perturbadas. La estabilidad se cuantifica mediante el inverso de la distancia euclidiana entre estas explicaciones; una explicación estable produce una puntuación cercana a 1, mientras que las inconsistentes se acercan a 0.
• Agregación Consciente de la Etiqueta con Contracción Empírico-Bayesiana: Para evitar estimaciones de disparidad engañosas causadas por tamaños de muestra pequeños en grupos interseccionales, MESD agrega las puntuaciones de estabilidad condicionalmente a la etiqueta verdadera ($y$). Emplea contracción Empírico-Bayesiana (EB) para acercar las estimaciones inestables de grupos pequeños hacia la media por etiqueta, reduciendo la varianza sin enmascarar las disparidades reales.
• Medición de Riesgo Ponderada por CVaR: Para abordar el gerrymandering de equidad, MESD utiliza el Valor Condicional en Riesgo (CVaR). En lugar de promediar las disparidades, se centra en la cola de "peor caso" de la distribución de disparidades. Calcula disparidades de estabilidad por pares ($D_{ij}$) y asigna pesos más altos a los pares que involucran grupos con baja equidad procedimental (alto riesgo), asegurando que la métrica sea sensible a la inestabilidad extrema de subgrupos.

2. El Marco de Optimización UEF

Para generar modelos que sean justos tanto en resultados como en procedimiento, los autores introducen UEF, un marco de optimización multiobjetivo que utiliza NSGA-II (Algoritmo Genético de Clasificación No Dominada II). UEF optimiza simultáneamente tres objetivos:

1. Utilidad ($F_{perf}$): Rendimiento predictivo (AUC maximizado).
2. Equidad de Resultados ($F_{out}$): Brecha de Paridad Demográfica minimizada entre grupos interseccionales.
3. Equidad Procedimental ($F_{proc}$): Puntuación MESD minimizada.

Se aplica una escalarización de Chebyshev post-optimización para seleccionar un único modelo de la frontera de Pareto que equilibre estos objetivos en competencia.

Contribuciones Clave

1. Métrica MESD: La introducción de una métrica de equidad procedimental que combina explícitamente el análisis de subgrupos interseccionales, la estabilidad explicativa (robustez ante perturbaciones) y la agregación sensible al riesgo (CVaR) para detectar el gerrymandering de equidad.
2. Marco UEF: Un enfoque de optimización multiobjetivo que optimiza conjuntamente la utilidad, la equidad de resultados y la equidad procedimental, demostrando que estas dimensiones pueden equilibrarse en lugar de tratarse como mutuamente excluyentes.
3. Validación Exhaustiva: Evidencia empírica que muestra que la equidad orientada a los resultados no garantiza la equidad procedimental, y que optimizar para MESD revela disparidades invisibles para las métricas estándar.

Resultados Experimentales

Los autores evaluaron MESD y UEF en tres conjuntos de datos de referencia (Ingresos Adultos, Recidiva, Crédito Alemán) frente a cuatro líneas base: Minimización del Riesgo Empírico (ERM), Reponderación (RW), Reducciones (RD) y Desviación Adversarial (ADL).

• Rendimiento Equilibrado: UEF logró consistentemente el rendimiento más equilibrado en los tres objetivos. En el conjunto de datos Ingresos Adultos (el más complejo con tres atributos protegidos), UEF alcanzó las puntuaciones AUC y F1 más altas mientras simultáneamente lograba las puntuaciones más bajas de Paridad Demográfica (DP) y MESD.
• Eficiencia de Pareto: UEF produjo 12 de las 15 soluciones no dominadas en todos los conjuntos de datos y pliegues. Notablemente, fue el único método en lograr soluciones no dominadas en los 5 pliegues del conjunto de datos Ingresos Adultos, donde el gerrymandering de equidad interseccional es más prevalente.
• Detección de Disparidades Ocultas: Los métodos de línea base optimizados para la equidad de resultados (como RD) a menudo lograron brechas DP bajas pero puntuaciones MESD altas, confirmando que no lograron garantizar un razonamiento consistente entre grupos.
• Estudios de Ablación:
  • CVaR: Eliminar la ponderación CVaR (usando varianza o brecha máxima en su lugar) enmascaró las disparidades de peor caso en subgrupos pequeños.
  • Contracción EB: Sin contracción, los grupos interseccionales pequeños exhibieron puntuaciones de estabilidad artificialmente bajas debido a la alta varianza; la contracción regularizó estas estimaciones.
  • Hiperparámetros: Se encontró que MESD es robusto ante las líneas base de perturbación y se estabiliza con conteos de perturbación suficientes ($K \ge 20$).

Significado y Afirmaciones

El artículo posiciona a MESD como un componente necesario para la justicia procedimental en la IA, fundamentado en la distinción teórica entre justicia distributiva (resultados) y justicia procedimental (proceso). Los autores afirman que:

• La Equidad Procedimental es Distinta: Un modelo puede ser estadísticamente justo pero procedimentalmente injusto si depende de razonamientos diferentes e inestables para distintos grupos. Esta divergencia socava la legitimidad del sistema de decisión.
• La Interseccionalidad es Crítica: El análisis de equidad de un solo eje oscurece las experiencias de individuos con múltiples marginaciones. MESD se encuentra entre las primeras métricas que abordan explícitamente la estabilidad explicativa en la intersección de múltiples atributos protegidos.
• Compensaciones de Optimización: Optimizar conjuntamente para utilidad, resultados y equidad procedimental produce modelos superiores a aquellos optimizados para objetivos individuales, particularmente en paisajes de equidad complejos y de alta dimensión.
• Relevancia Regulatoria: El trabajo apoya el cumplimiento de marcos regulatorios emergentes (por ejemplo, la Ley de IA de la UE) al proporcionar un mecanismo para auditar el proceso de toma de decisiones, no solo el resultado.

Los autores reconocen limitaciones, señalando que MESD depende de explicadores post-hoc (que son aproximaciones) y que actualmente está limitado a datos tabulares con atributos protegidos binarios. Sugieren que el trabajo futuro debería explorar la explicabilidad in-processing y extensiones a modalidades continuas o no tabulares.