Resumen Técnico: GESD – Más allá de la equidad orientada a resultados

Enunciado del Problema

Los algoritmos de aprendizaje automático (ML) se despliegan cada vez más en dominios de alto riesgo como la contratación, la aprobación de préstamos y la justicia penal. Si bien las métricas de equidad existentes (por ejemplo, paridad estadística, probabilidades igualadas) cuantifican eficazmente las disparidades en los resultados del modelo, no abordan los sesgos inherentes al procedimiento de toma de decisiones ni la estabilidad de las explicaciones del modelo. Los métodos actuales dependen en gran medida de las estadísticas de predicción, lo que podría pasar por alto escenarios en los que un modelo produce resultados equitativos pero se basa en razonamientos internos discriminatorios o inestables. Existe una brecha crítica en la medición de si los miembros de diferentes subgrupos protegidos reciben explicaciones de calidad, estabilidad y robustez comparables.

Metodología

1. Disparidad de Estabilidad de Explicaciones a Nivel de Grupo (GESD)

Los autores proponen GESD, una métrica de equidad orientada al procedimiento diseñada para cuantificar las disparidades en la estabilidad, robustez y sensibilidad de las explicaciones del modelo a través de subgrupos protegidos. A diferencia de medidas anteriores que comparan la importancia promedio de las características, GESD evalúa la fiabilidad de las explicaciones bajo perturbaciones de entrada.

El cálculo implica cinco pasos:

• Agregación de Explicaciones: Para garantizar la robustez frente a inconsistencias individuales de los explicadores, el método agrega las explicaciones de SHAP y LIME en un único vector: $E_{agg}(f, x) = \frac{1}{2}(E_{SHAP} + E_{LIME})$.
• Perturbación: Para cada punto de datos, se generan versiones perturbadas utilizando ruido gaussiano y enmascaramiento de características (reemplazando características con valores de referencia). Esto simula fluctuaciones naturales de entrada y datos faltantes.
• Medición de Estabilidad: La distancia entre la explicación original y la explicación de la entrada perturbada se calcula utilizando la norma $L_1$. Una distancia menor indica mayor estabilidad. Esto se convierte en una puntuación de estabilidad $S(x)$ (por ejemplo, $1/(1+\Delta(x))$).
• Agregación por Grupo: Las puntuaciones de estabilidad se promedian para cada grupo sensible (por ejemplo, género, raza).
• Cálculo de Disparidad:
  • Para dos grupos ($K=2$), GESD es la diferencia absoluta entre las puntuaciones de estabilidad media de los grupos: $|S_0 - S_1|$.
  • Para $K > 2$ grupos, es la varianza de las puntuaciones de estabilidad de los grupos alrededor de la media global.

2. Marco de Optimización FEU

Para abordar la naturaleza multiobjetivo del equilibrio entre utilidad, equidad de resultados y equidad de explicación, los autores introducen el marco Equidad–Explicabilidad–Utilidad (FEU).

• Función Objetivo: El problema se formula como una minimización de tres objetivos sin restricciones:
  1. Equidad ($L_f$): Minimización de la diferencia de Paridad Demográfica (DP).
  2. Explicabilidad ($L_e$): Minimización de GESD.
  3. Utilidad ($L_u$): Maximización del Área Bajo la Curva (AUC), convertida a minimización mediante negación.
• Algoritmo: El marco utiliza el Algoritmo Genético de Ordenamiento No Dominado II (NSGA-II) para evolucionar una población de configuraciones de modelos (hiperparámetros como tasa de aprendizaje, épocas y umbrales de decisión).
• Selección: Del conjunto resultante de soluciones Pareto-óptimas, se selecciona un modelo final utilizando la escalarización de Chebyshev para garantizar un rendimiento equilibrado en los tres objetivos sin degradación extrema en ninguna métrica individual.

Contribuciones Clave

1. Formulación de GESD: El artículo define una nueva métrica orientada al procedimiento que cuantifica las disparidades a nivel de grupo en la robustez, estabilidad y sensibilidad de las explicaciones, independientemente de los resultados del modelo.
2. Marco FEU: Los autores proponen un marco de optimización multiobjetivo evolutivo que optimiza conjuntamente la utilidad, la equidad basada en resultados y la equidad basada en explicaciones.
3. Validación Empírica: El estudio demuestra que GESD puede detectar sesgos ocultos en las explicaciones a nivel de grupo tanto en modelos lineales como no lineales que las métricas basadas en resultados pasan por alto.
4. Compensaciones de Rendimiento: El trabajo muestra que FEU logra compensaciones superiores entre utilidad y equidad en comparación con las líneas base más avanzadas (Aprendizaje Adversarial, Reducción y Reponderación).

Resultados Experimentales

Se realizaron experimentos en cuatro conjuntos de datos de referencia: Crédito Alemán, Recidiva, Matemáticas y Portugués. El método FEU propuesto se comparó con Aprendizaje Adversarial (ADL), Reducción (Red) y Reponderación (RW).

• Utilidad y Equidad de Resultados: FEU generalmente superó o se mantuvo competitivo con las líneas base en términos de puntuaciones AUC y F1. También logró resultados competitivos en métricas de equidad orientadas a resultados (DP y EOD), superando a menudo a las líneas base en los conjuntos de datos de Crédito Alemán y Recidiva.
• Equidad Procedimental (GESD): Si bien FEU mostró valores de GESD ligeramente más altos que las líneas base lineales (Red, RW) en algunos conjuntos de datos, esto se atribuyó a la complejidad de los modelos de redes neuronales utilizados. Crucialmente, los resultados destacaron que los modelos con alta utilidad y equidad de resultados aún pueden exhibir disparidades significativas en las explicaciones.
• Sensibilidad del Modelo: El estudio encontró que los modelos no lineales (como FEU y ADL) tienden a generar explicaciones menos estables a través de subgrupos en comparación con los modelos lineales. Además, la elección del explicador (SHAP vs. LIME) impactó significativamente la detección de sesgos; agregar ambos explicadores (como se hace en GESD) fue necesario para capturar robustamente las disparidades que un solo explicador podría pasar por alto.
• Optimalidad de Pareto: En el conjunto de datos de Crédito Alemán, FEU generó soluciones no dominadas, equilibrando eficazmente los tres objetivos, mientras que las líneas base lineales a menudo sacrificaron una utilidad significativa por ganancias marginales de equidad.

Significado y Afirmaciones

El artículo afirma que GESD ofrece una herramienta integral para diagnosticar sesgos al cerrar la brecha entre la equidad basada en resultados y la basada en explicaciones. Su significado principal radica en:

• Perspectiva Procedimental: Expone sesgos procedimentales que las métricas tradicionales pasan por alto, asegurando que el razonamiento detrás de las decisiones sea tan justo como los resultados.
• Utilidad Agnóstica al Modelo: GESD es compatible con diversos algoritmos de aprendizaje y métodos de interpretabilidad post-hoc.
• Optimización Holística: El marco FEU demuestra que es posible optimizar simultáneamente la utilidad, la equidad y la explicabilidad, proporcionando una visión más holística del modelado equitativo.

Los autores señalan que, si bien FEU funciona bien, actualmente carece de intervenciones específicas de mitigación de sesgos (como la desviación adversarial) para conjuntos de datos extremadamente sesgados, lo cual se identifica como una dirección para trabajos futuros. Además, proponen extender GESD para manejar múltiples categorías protegidas (interseccionalidad) y cambiar a algoritmos de optimización de muchos objetivos (por ejemplo, NSGA-III) para gestionar la mayor complejidad.