Resumen Técnico: Consistencia de la Explicación Contrafactual para la Justicia Procedimental en Decisiones de Crédito

Declaración del Problema

La investigación actual sobre equidad algorítmica en dominios socialmente sensibles, como la concesión de créditos, se centra predominantemente en la justicia de resultados (por ejemplo, paridad demográfica, probabilidades igualadas). Estas métricas garantizan que los resultados predictivos estén equilibrados estadísticamente entre grupos protegidos (por ejemplo, raza, género). Sin embargo, los autores argumentan que satisfacer la justicia de resultados no garantiza que el modelo utilice el mismo proceso de razonamiento para individuos de diferentes grupos.

Esta brecha crea un "sesgo procedimental oculto" donde un modelo puede producir resultados idénticos para solicitantes comparables de diferentes grupos demográficos, pero basarse en atribuciones de características fundamentalmente diferentes para llegar a esas conclusiones. Por ejemplo, un modelo podría aprobar a un solicitante masculino basándose principalmente en su puntuación crediticia, mientras aprueba a una solicitante femenina con un perfil similar basándose en su historial laboral. Bajo marcos legales como la Ley de Igualdad de Oportunidades de Crédito (ECOA), esto constituye un trato dispar, pero permanece invisible para las métricas estándar de equidad basadas en resultados.

Los autores formalizan este fenómeno utilizando una taxonomía 2×2 de regímenes de equidad:

• Régimen A (Totalmente Justo): Misma predicción, mismo razonamiento.
• Régimen B (Sesgo Oculto): Misma predicción, diferente razonamiento (el punto ciego crítico).
• Régimen C (Injusticia de Resultados): Diferente predicción, mismo razonamiento.
• Régimen D (Gravemente Injusto): Diferente predicción, diferente razonamiento.

Los métodos existentes se dirigen principalmente a los Regímenes C y D, dejando el Régimen B sin detectar.

Metodología: Consistencia de la Explicación Contrafactual (CEC)

Para detectar y mitigar el Régimen B, los autores proponen la Consistencia de la Explicación Contrafactual (CEC), un marco que alinea las atribuciones de características entre individuos y sus contrapartes contrafactuales.

1. Generación Contrafactual mediante Emparejamiento de Vecinos Más Cercanos Estratificado por Etiqueta

En lugar de utilizar contrafactuales ingenuos (invertir el atributo protegido manteniendo todas las demás características constantes, lo que a menudo produce individuos estadísticamente imposibles), los autores proponen un enfoque de Vecinos Más Cercanos (NN) Estratificados por Etiqueta.

• Mecanismo: Para un individuo factual $(x, y, a)$, el sistema busca en los datos de entrenamiento un individuo $\tilde{x}$ del grupo opuesto ($1-a$) que comparta la misma etiqueta verdadera ($y$) y tenga las características financieras ($F$) más similares.
• Características Financieras ($F$): Definidas como características basadas en el mérito y permitidas legalmente (por ejemplo, ingresos, puntuación crediticia) que no son proxies demográficos.
• Racional: Esto asegura que el individuo factual y el contrafactual tengan una solvencia crediticia idéntica en la verdad fundamental. Cualquier diferencia en el razonamiento del modelo es, por tanto, atribuible a un sesgo dependiente del grupo en lugar de diferencias legítimas de riesgo. Este método evita la necesidad de modelos causales estructurales (SCM).

2. Principio de Línea Base Consistente

El marco utiliza Gradientes Integrados (IG) para medir las atribuciones de características. Una contribución crítica es el Principio de Línea Base Consistente.

• Problema: Comparar vectores IG utilizando líneas base específicas del grupo (por ejemplo, media del Grupo 0 vs. media del Grupo 1) introduce un factor de confusión. Las diferencias en las atribuciones pueden surgir simplemente de los diferentes puntos de referencia (líneas base) en lugar de un razonamiento discriminatorio.
• Solución: Tanto el individuo factual $x$ como el contrafactual $\tilde{x}$ deben evaluarse contra la misma línea base (específicamente, la media del grupo de etiqueta del individuo factual).
• Garantía Teórica: Los autores demuestran que utilizar una línea base consistente aísla la diferencia de atribución a la diferencia de entrada y a los gradientes del modelo, eliminando términos espurios causados por desplazamientos en la distribución del grupo.

3. La Métrica CEC y la Función de Pérdida de Entrenamiento

• Métrica: La puntuación CEC mide la distancia $L_2$ normalizada entre los vectores de atribución de $x$ y $\tilde{x}$ al utilizar la línea base consistente. Una puntuación de 0 indica un razonamiento idéntico; 1 indica un razonamiento opuesto de manera máxima.
• Objetivo de Entrenamiento: Los autores introducen una función de pérdida multiobjetivo que optimiza conjuntamente:
  1. Precisión de Predicción (Entropía Cruzada Binaria).
  2. Justicia de Resultados (Restricción de Probabilidades Igualadas).
  3. Justicia Procedimental (Pérdida CEC): Un regularizador diferenciable que penaliza la divergencia en los vectores de atribución entre pares factuales y contrafactuales.

Contribuciones Clave

1. Formalización del Sesgo Procedimental Oculto: El artículo define y categoriza el "Régimen B" (mismo resultado, diferente razonamiento) como un modo de fallo crítico invisible para las métricas estándar de equidad.
2. Generación Contrafactual de Vecinos Más Cercanos: Un método práctico para generar contrafactuales realistas para la auditoría de equidad sin requerir gráficos causales, confiando en cambio en el emparejamiento del mérito financiero.
3. Principio de Línea Base Consistente: Una corrección teórica y práctica para las comparaciones de Gradientes Integrados que evita que los artefactos inducidos por la línea base se interpreten erróneamente como sesgo.
4. Marco CEC: Una función de pérdida de entrenamiento diferenciable que impone la consistencia de la explicación junto con la precisión y la justicia de resultados, demostrando que la justicia procedimental puede lograrse con costos de utilidad modestos.

Resultados Experimentales

Los autores evaluaron la CEC en cuatro conjuntos de datos: Datos sintéticos, Crédito Alemán, Ingresos Adultos y datos de hipotecas HMDA. Compararon la CEC contra seis líneas base (Sin restricciones, Removedor de Impacto Dispar, Post-procesamiento de Hardt, Reducciones de Agarwal, Debiasing Adversarial, Aprendizaje de Equidad Lagrangiano).

• Detección de Sesgo Oculto: Todos los métodos de línea base que lograron una justicia de resultados competitiva (bajas brechas de Probabilidades Igualadas) exhibieron un sesgo procedimental oculto sustancial (puntuaciones CEC altas). Por ejemplo, en el conjunto de datos de Crédito Alemán, los métodos de línea base colocaron a ~90% de las muestras en el Régimen B, mientras que el modelo CEC redujo esto a ~17%.
• Mitigación: El modelo entrenado con CEC logró consistentemente las puntuaciones CEC más bajas y la mayor proporción de muestras del Régimen A (totalmente justas) en todos los conjuntos de datos.
• Compensación de Utilidad: El modelo CEC mantuvo una utilidad predictiva competitiva (F1 y AUC) y justicia de resultados, con reducciones modestas en el rendimiento en comparación con las líneas base sin restricciones.
• Estudios de Ablación:
  • Añadir restricciones de Probabilidades Igualadas (EO) por sí solas no redujo el Régimen B; en algunos casos, lo aumentó ligeramente.
  • Añadir regularización CEC por sí sola redujo significativamente el Régimen B y, como efecto secundario, a menudo llevó la brecha EO a cero.
  • El modelo multiobjetivo completo logró el mejor equilibrio, confirmando que la justicia procedimental y la justicia de resultados son objetivos ortogonales que requieren una optimización conjunta explícita.

Significado y Afirmaciones

El artículo afirma que la justicia de resultados y la justicia procedimental son ortogonales. Optimizar para una no garantiza la otra; de hecho, las intervenciones estándar centradas en los resultados pueden enmascarar o exacerbar inadvertidamente el sesgo procedimental oculto (Régimen B).

El significado de este trabajo radica en:

1. Cumplimiento Normativo: Aborda una brecha específica en el cumplimiento legal (por ejemplo, ECOA), donde se prohíbe a los prestamistas utilizar diferentes estándares de suscripción para diferentes grupos, incluso si las tasas finales de aprobación son iguales.
2. Auditabilidad: Proporciona una herramienta cuantitativa (puntuación CEC y distribución de regímenes) para auditar no solo qué decide un modelo, sino cómo razona, identificando solicitantes específicos sometidos a un trato inconsistente.
3. Cambio Metodológico: Demuestra que la justicia procedimental puede integrarse en la tubería de entrenamiento mediante pérdidas diferenciables, avanzando más allá de las explicaciones a posteriori hacia la mitigación proactiva del sesgo oculto.

Los autores concluyen que, si bien la justicia de resultados es necesaria, es insuficiente para garantizar una toma de decisiones automatizada equitativa en dominios de alto riesgo como la concesión de créditos. El marco CEC ofrece un camino práctico para alinear el razonamiento del modelo con los estándares legales y éticos de la justicia procedimental.