End-to-End Fairness Optimization with Fair Decision-Focused Learning

Resumen Técnico: Optimización de la Equidad de Extremo a Extremo con Aprendizaje Centrado en la Decisión Justa

1. Formulación del Problema

El artículo aborda el desafío de la Optimización de la Equidad de Extremo a Extremo (E2EFO, por sus siglas en inglés) en sistemas de toma de decisiones basados en datos donde los modelos predictivos informan las decisiones de asignación de recursos. Los autores argumentan que la equidad debe abordarse conjuntamente a través de dos etapas distintas:

1. Etapa de Predicción: Estimación de impactos desconocidos (por ejemplo, beneficios para la salud, solvencia crediticia) a partir de datos históricos. La equidad aquí concierne a la disparidad de predicción, asegurando que los errores de predicción no desfavalezcan sistemáticamente a grupos específicos.
2. Etapa de Decisión: Asignación de recursos limitados basados en predicciones para maximizar los resultados equitativos. La equidad aquí concierne al arrepentimiento de la decisión (decision regret), la pérdida en la calidad de la decisión (equidad) causada por depender de predicciones imperfectas en lugar de parámetros de verdad fundamental (ground-truth).

Los autores ilustran que optimizar la equidad en solo una etapa puede conducir a resultados injustos en la otra. Por ejemplo, un predictor justo con estimaciones ruidosas podría llevar a un tomador de decisiones a sobreasignar recursos a un grupo desfavorecido, creando una inequidad contra un grupo favorecido. Por el contrario, un predictor altamente preciso pero sesgado podría conducir a asignaciones que parecen equitativas pero que en realidad son injustas.

El problema específico se formaliza como una tarea de asignación de recursos donde:

• Los stakeholders están particionados en grupos.
• Predicción: Un modelo $f_\theta$ estima impactos $\hat{r}$ a partir de características $X$.
• Decisión: Un modelo de optimización asigna recursos $d$ para maximizar una función de utilidad de $\alpha$-equidad basada en grupos $W_\alpha^g(u)$, sujeta a restricciones convexas (por ejemplo, presupuesto).
• Objetivo: Minimizar tres métricas simultáneamente:
  1. Precisión de Predicción: Error Cuadrático Medio (MSE).
  2. Equidad de Predicción: Desviación Absoluta Media (MAD) de los MSE a nivel de grupo.
  3. Arrepentimiento de la Decisión: La brecha entre la puntuación de equidad alcanzada utilizando las predicciones y la puntuación de equidad óptima alcanzable con los impactos reales.

2. Metodología: Aprendizaje Centrado en la Decisión Justa (FDFL)

El artículo propone el Aprendizaje Centrado en la Decisión Justa (FDFL), un paradigma de entrenamiento que trata el E2EFO como un problema de Aprendizaje Multitarea (MTL). A diferencia del estándar Predict-Then-Optimize (PTO) o el estándar Decision-Focused Learning (DFL), que optimizan objetivos únicos, el FDFL optimiza conjuntamente los tres objetivos en conflicto.

Componentes Técnicos Clave:

• Entrenamiento Basado en Gradientes: El predictor $f_\theta$ se entrena mediante descenso de gradiente. Los gradientes para los tres objetivos se computan y combinan:
  • $\nabla_\theta L_{pred}$ y $\nabla_\theta F$ (precisión y equidad) son retropropagación estándar.
  • $\nabla_\theta L_{regret}$ requiere diferenciar a través del problema de optimización de la decisión.
• Computación del Jacobiano de la Decisión: Un desafío computacional central es calcular $\frac{\partial d^*(\hat{r})}{\partial \hat{r}}$. Los autores proporcionan dos soluciones:
  1. Forma Cerrada: Para la asignación de $\alpha$-equidad de presupuesto único (problema de la mochila), derivan fórmulas exactas de forma cerrada para la solución óptima y su Jacobiano utilizando las condiciones de Karush-Kuhn-Tucker (KKT).
  2. Optimización Diferenciable: Para conjuntos factibles convexos generales, emplean capas de optimización convexa diferenciables (específicamente cvxpylayers) para diferenciar implícitamente las condiciones de optimalidad.
• Estrategias de Combinación de Gradientes: Para manejar la naturaleza multiobjetivo, el FDFL emplea técnicas de MTL para combinar gradientes en una única dirección de actualización:
  • Scalarización Estática (FDFL-Scal): Una suma ponderada fija de los tres objetivos.
  • Métodos Dinámicos de Evitación de Conflictos: Incluyendo PCGrad (proyección de gradientes conflictivos sobre planos normales) y Nash-MTL (pesos de negociación de Nash).
• Garantías Teóricas: El artículo establece un límite de generalización de muestra finita para el objetivo escalarizado de FDFL. Bajo supuestos de acotación y regularidad de Lipschitz, se demuestra que el exceso de riesgo compuesto del minimizador empírico es $O(\sqrt{q/N})$, donde $q$ es el número de parámetros y $N$ es el tamaño de la muestra.

3. Contribuciones Clave

Los autores resumen sus contribuciones de la siguiente manera:

1. Marco de Trabajo (Framework): Introducción de E2EFO como un marco unificador que integra la equidad de predicción basada en grupos (MAD de errores) y la equidad de decisión basada en grupos (dos niveles de $\alpha$-equidad) en un solo flujo de optimización.
2. Algoritmo: Desarrollo de algoritmos FDFL que utilizan técnicas de MTL (estáticas y dinámicas) para entrenar predictores que equilibran precisión, equidad de predicción y arrepentimiento de la decisión. Esto incluye la derivación de Jacobianos de decisión de forma cerrada exacta para tareas de asignación específicas y la aplicación de capas de optimización diferenciables para casos generales.
3. Teoría: Establecimiento de un límite de generalización de muestra finita para el entrenamiento FDFL escalarizado, verificando las condiciones necesarias para las tareas de asignación de $\alpha$-equidad.
4. Validación Empírica: Evaluación en una asignación de un solo recurso basada en la salud y una asignación de múltiples recursos sintética, demostrando el valor de la optimización conjunta.

4. Resultados Experimentales

Los autores evaluaron FDFL frente a líneas base que incluyen PTO, DFL estándar y variantes de PTO con equidad integrada, variando la capacidad del predictor (lineal, MLP-16, MLP-64), el desequilibrio de grupos y el parámetro de equidad ($\alpha$).

Hallazgos Clave:

• Necesidad Multiobjetivo: Entrenar en un solo objetivo (por ejemplo, solo arrepentimiento) a menudo degrada otras métricas. Por ejemplo, DFL (solo arrepentimiento) logró el menor arrepentimiento pero la mayor disparidad de predicción. El entrenamiento conjunto (FDFL) redujo con éxito la disparidad sin sacrificar la calidad de la decisión.
• Roles Complementarios:
  • La Equidad de Predicción es más efectiva para reducir la disparidad cuando el desequilibrio de grupos es alto.
  • La optimización del Arrepentimiento de la Decisión proporciona las ganancias más significativas cuando la capacidad del predictor es limitada (lo que conduce a errores mayores) o cuando el parámetro de equidad de decisión $\alpha$ es grande (lo que hace que la asignación sea altamente sensible a los errores de predicción).
• Capacidad del Predictor: En entornos con predictores de alta capacidad (MLP-64), la precisión de la predicción y la calidad de la decisión a menudo estaban alineadas, reduciendo la brecha entre PTO y DFL. Sin embargo, con menor capacidad, el objetivo de arrepentimiento de la decisión se volvió crucial para mitigar la propagación del error.
• Robustez: Los métodos FDFL propuestos superaron consistentemente a las líneas base en diferentes niveles de desequilibrio y parámetros de equidad, particularmente cuando se incluyeron los tres objetivos en la función de pérdida de entrenamiento.

5. Significado y Reivindicaciones

El artículo afirma llenar un vacío persistente en la literatura al proporcionar un marco integrado que aborda la equidad tanto en la etapa de predicción como en la de decisión simultáneamente, en lugar de tratarlas de forma aislada.

• Significancia Teórica: Extiende la comprensión teórica del aprendizaje centrado en la decisión para incluir restricciones de equidad y proporciona los primeros límites de generalización para tales configuraciones de E2EFO multiobjetivo.
• Significancia Práctica: Los resultados demuestran que las "predicciones justas" no garantizan "decisiones justas" y viceversa. Los autores argumentan que los profesionales deben adoptar un enfoque de entrenamiento holístico (FDFL) para asegurar la equidad en todo el proceso, especialmente en dominios críticos como la atención médica y los servicios sociales donde coexisten los sesgos sistémicos y la escasez de recursos.
• Modestia: Los autores reconocen las limitaciones, señalando que su límite de generalización es específico para pesos de scalarización fijos y puede volverse vacuo en regímenes altamente sobreparametrizados ($q > N$). También dejan la extensión de E2EFO a visiones de decisión estocásticas (donde las predicciones son distribuciones en lugar de estimaciones puntuales) para trabajos futuros.