Procedural Fairness in Machine Learning

Este artículo define la equidad procedimental en el aprendizaje automático, propone una nueva métrica basada en la atribución de características para evaluarla y presenta métodos para identificar y mitigar sus causas, demostrando que mejorar la equidad procedimental también beneficia a la equidad distributiva con un ligero costo en el rendimiento del modelo.

Lo esencial

¡Claro que sí! Imagina que la Inteligencia Artificial (IA) es como un juez muy rápido que toma decisiones importantes sobre tu vida: si consigues un préstamo, si te contratan para un trabajo o si te conceden la libertad condicional.

Durante años, nos hemos preocupado solo por el resultado de la sentencia. ¿Fue justo el veredicto? ¿Se le dio el préstamo a la misma cantidad de hombres que de mujeres? A esto los expertos le llaman "justicia distributiva".

Pero este artículo nos dice: "¡Espera! No basta con que el resultado sea justo; ¡el proceso para llegar a él también debe serlo!". A esto le llaman Justicia Procedural.

Aquí tienes la explicación de la investigación de Wang, Huang y sus colegas, usando analogías sencillas:

1. El Problema: El Juez Ciego vs. El Juez Prejuicioso

Imagina dos jueces:

• Juez A: Decide quién gana un concurso basándose en el color de la camiseta. Si eres de camiseta roja, pierdes. Si eres de azul, ganas. El resultado es injusto.
• Juez B: Decide basándose en el color de la camiseta, pero solo porque cree que el color rojo es "malo". Aunque el resultado parezca aleatorio, su proceso mental está viciado.

La mayoría de los estudios de IA solo miran si el Juez A da resultados desiguales. Pero este paper se pregunta: ¿Cómo sabemos si el Juez B está usando el color de la camiseta en su "cerebro" para decidir, aunque al final los resultados parezcan equilibrados?

2. La Solución: Una "Rayo-X" para el Cerebro de la IA

Para ver cómo piensa la IA, los autores usan una herramienta llamada FAE (Explicación de Atribución de Características).

• La Analogía: Imagina que la IA es una caja negra. La herramienta FAE es como una radiografía que nos muestra qué "ingredientes" (datos) pesaron más en la decisión.
  • Si la IA decide "No te prestamos dinero", la radiografía nos dice: "¿Fue por tu salario? ¿Por tu edad? ¿O fue por tu género?".

3. La Nueva Regla: GPFFAE (El Termómetro de la Justicia)

Los autores crearon una nueva métrica llamada GPFFAE.

• La Analogía: Imagina que tienes dos grupos de personas (Grupo A y Grupo B) que son casi idénticos en todo (mismo salario, misma edad, mismo historial).
  • Si la IA es justa en su proceso, debería usar los mismos "ingredientes" para decidir sobre ambos.
  • Si la IA es injusta, le dirá al Grupo A: "Decidimos esto por tu salario", pero al Grupo B le dirá: "Decidimos esto por tu género".
  • GPFFAE es como un termómetro que mide la diferencia entre esas dos explicaciones. Si el termómetro marca "frío" (cercano a 0), el proceso es injusto. Si marca "caliente" (cercano a 1), el proceso es justo.

4. El Descubrimiento Sorprendente

El equipo descubrió algo fascinante: A veces, un juez puede dar resultados justos (distributivos) pero usar un proceso injusto.

• Ejemplo: En un dataset famoso (COMPAS, usado en justicia penal), la IA podía predecir quién reincidiría con un sesgo en los resultados, pero al mirar su "cerebro" (la radiografía), descubrieron que no estaba usando el racismo en su lógica de decisión, sino otros factores. Esto demuestra que mirar solo el resultado final no nos dice toda la historia.

5. Cómo Arreglarlo: Dos Métodos de "Cirugía"

Una vez que detectan que la IA está usando un "ingrediente sucio" (un factor injusto) en su proceso, proponen dos formas de limpiarla:

• Método 1: La Amputación (Reentrenar)

  • La Analogía: Es como quitarle el ingrediente en mal estado a una receta y cocinar el plato de nuevo desde cero.
  • Resultado: Funciona muy bien y la IA queda muy justa, pero a veces pierde un poco de sabor (precisión) y hay que cocinar todo de nuevo (gasto de tiempo).

• Método 2: La Cirugía de Precisión (Modificar)

  • La Analogía: En lugar de tirar la receta, le das un "golpe suave" al ingrediente malo para que deje de tener sabor, pero mantienes el resto del plato igual.
  • Resultado: La IA sigue siendo muy parecida a la original (no cambia su personalidad), se vuelve más justa en su proceso, y solo pierde un poquito de precisión. Es como ajustar el volumen de un radio en lugar de cambiar la emisora.

En Resumen

Este paper nos enseña que para tener una Inteligencia Artificial verdaderamente justa, no basta con que los resultados sean iguales para todos. El camino que toma la IA para llegar a la decisión también debe ser transparente y equitativo.

Han creado una herramienta para "escuchar" cómo piensa la IA, detectar si está siendo prejuiciosa en su lógica interna, y ofrecer recetas para limpiar ese sesgo sin destruir la inteligencia del modelo. Es un paso gigante para que la tecnología sea no solo inteligente, sino también ética.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Procedural Fairness in Machine Learning" (Justicia Procedimental en el Aprendizaje Automático), estructurado según los puntos solicitados.

1. El Problema

La investigación actual en equidad (fairness) dentro del Aprendizaje Automático (ML) se ha centrado predominantemente en la justicia distributiva (o equidad de resultados), que evalúa si los resultados de las predicciones son equitativos entre diferentes grupos (por ejemplo, tasas de falsos positivos similares). Sin embargo, existe una dimensión crítica menos explorada: la justicia procedimental (o equidad del proceso).

• Definición del problema: La justicia procedimental se refiere a la equidad, transparencia y ausencia de prejuicios en el proceso de toma de decisiones del modelo, independientemente del resultado final.
• Limitaciones de trabajos previos:
  • La definición existente de Grgić-Hlača et al. (2018) se basaba únicamente en la equidad intrínseca de las características de entrada (features) utilizadas. El artículo demuestra que esto es insuficiente: un modelo puede usar características "injustas" (como atributos sensibles) pero tener un proceso de decisión interno equitativo, o viceversa.
  • Las evaluaciones anteriores dependían a menudo de juicios humanos, lo que las hace costosas, difíciles de escalar y subjetivas.
  • Falta una definición formal cuantificable y métricas precisas para medir la justicia procedimental en modelos de ML, similar a las métricas existentes para la justicia distributiva.

2. Metodología

Los autores proponen un enfoque sistemático que abarca la definición, medición, detección y mitigación de la injusticia procedimental.

A. Definición Formal

Se define la justicia procedimental basándose en la consistencia de la lógica de decisión del modelo:

• Justicia Procedimental Individual: Dos individuos similares deben ser procesados mediante lógicas de decisión similares.
• Justicia Procedimental de Grupo: Puntos de datos similares pertenecientes a dos grupos diferentes (ej. género, raza) deben ser tratados con lógicas de decisión similares.
• Representación del Proceso ($\Phi$): Para cuantificar la lógica de decisión, se utiliza la Explicación de Atribución de Características (FAE - Feature Attribution Explanation), específicamente técnicas de IA Explicable (XAI) como SHAP, Gradient*Input e Integrated Gradients. Estas técnicas asignan puntuaciones de importancia a cada característica de entrada para una predicción dada.

B. Nueva Métrica: GPFFAE

Se propone una métrica cuantitativa llamada GPFFAE (FAE-based Group Procedural Fairness).

• Funcionamiento:
  1. Se seleccionan pares de puntos de datos similares de dos grupos diferentes ($X_1$ y $X_2$).
  2. Se generan explicaciones (FAE) para cada punto, obteniendo vectores de importancia de características ($e$).
  3. Se calcula la diferencia de distribución entre los conjuntos de explicaciones de ambos grupos ($E_1$ y $E_2$).
  4. Se utiliza la Discrepancia de Máxima Media (MMD) con un kernel exponencial para medir esta diferencia.
• Interpretación: Un valor de GPFFAE alto (cerca de 1.0) indica que las lógicas de decisión son similares entre grupos (justicia procedimental alta). Un valor bajo (cerca de 0.0) indica un proceso sesgado.

C. Detección de Fuentes de Injusticia

Para un modelo que falla en la prueba de GPFFAE, se identifica un conjunto de Características Injustas (Unfair Features - UFs).

• Se compara la distribución de las puntuaciones de importancia de cada característica individual entre los dos grupos.
• Si la diferencia en la distribución de una característica específica es estadísticamente significativa (p-valor < umbral), se marca como una característica injusta que contribuye al sesgo procedimental.

D. Métodos de Mitigación

Se proponen dos estrategias para mejorar la justicia procedimental basadas en las características injustas detectadas:

1. Reentrenamiento (Eliminación): Eliminar directamente las características injustas del conjunto de datos y reentrenar el modelo desde cero.
2. Modificación (Penalización de Explicación): Mantener el modelo original y modificar sus parámetros añadiendo un término de pérdida adicional (pérdida de explicación, $\zeta$) al objetivo de entrenamiento. Este término penaliza la importancia de las características injustas en el proceso de decisión, reduciendo su impacto sin reentrenar completamente desde cero.

3. Contribuciones Clave

1. Definición Formal: Establecen una definición rigurosa de justicia procedimental en ML, diferenciándola claramente de la justicia distributiva y basándose en la lógica interna del modelo en lugar de solo en las entradas.
2. Métrica Cuantitativa (GPFFAE): Introducen la primera métrica automatizada y escalable para evaluar la justicia procedimental de grupo utilizando técnicas de XAI (FAE), eliminando la dependencia de juicios humanos.
3. Análisis de Relación: Demuestran empíricamente que la justicia procedimental y la distributiva no son lo mismo; pueden coexistir, pero también pueden entrar en conflicto (un modelo puede ser justo en resultados pero injusto en proceso, o viceversa).
4. Métodos de Mitigación: Desarrollan y validan dos técnicas efectivas para detectar y corregir la injusticia procedimental, logrando mejorar la equidad del proceso con un costo mínimo en el rendimiento general del modelo.

4. Resultados Experimentales

Los autores validaron su enfoque en 9 conjuntos de datos (8 del mundo real: Adult, COMPAS, German, etc., y 1 sintético).

• Evaluación de la Métrica:
  • GPFFAE distinguió con precisión entre modelos construidos para ser justos e injustos procedimentalmente.
  • Se observó que en el conjunto de datos COMPAS, un modelo podía tener resultados distributivamente injustos pero un proceso de decisión relativamente justo, lo que refuta la idea de que el uso de características sensibles implica automáticamente un proceso injusto.
  • La métrica es robusta frente a diferentes métodos de FAE (SHAP, GI, IG), mostrando alta correlación entre ellos.
• Identificación de Características: El método de detección identificó correctamente las características sensibles y sus atributos proxy (ej. "relación" como proxy de "género" en el dataset Adult) como fuentes de injusticia.
• Impacto de la Mitigación:
  • Reentrenamiento: Al eliminar las características injustas, la métrica GPFFAE mejoró drásticamente (llegando a ~1.0 en muchos casos) y la justicia distributiva también mejoró. La pérdida de precisión del modelo fue mínima (promedio del 0.8%).
  • Modificación: El método de penalización mejoró significativamente la justicia procedimental y distributiva, manteniendo la lógica de decisión más fiel al modelo original, aunque con una pérdida de precisión ligeramente mayor (promedio del 1.8%) y un tiempo de cómputo mayor que el reentrenamiento simple.
• Limitaciones: Se identificó que en conjuntos de datos muy pequeños (como German con 1000 muestras), encontrar pares de datos similares es difícil, lo que afecta la precisión de la métrica. Se propuso una solución de generación de datos contrafactuales para mitigar esto.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Cambia el paradigma: Desplaza el foco de la equidad en ML desde solo los resultados (distributiva) hacia el proceso de toma de decisiones, alineándose con principios éticos y legales más amplios (como la Ley de IA de la UE) que exigen transparencia y equidad en el proceso.
• Herramienta práctica: Proporciona a los desarrolladores y reguladores una herramienta técnica (GPFFAE) para auditar no solo qué decide un modelo, sino cómo lo decide.
• Viabilidad: Demuestra que es posible mejorar la justicia procedimental sin sacrificar drásticamente la utilidad del modelo, ofreciendo un camino viable para la implementación de sistemas de IA más éticos y confiables en sectores críticos como finanzas, contratación y justicia penal.
• Futuro: Abre nuevas líneas de investigación sobre el equilibrio entre rendimiento, justicia distributiva y procedimental, y la aplicación de estos conceptos en tareas secuenciales y series temporales.