Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks

Título: Benchmarking de Algoritmos de Aproximación Estocástica para el Entrenamiento de Redes Neuronales Profundas con Restricciones de Equidad

1. El Problema

El artículo aborda el desafío crítico de entrenar Redes Neuronales Profundas (DNN) que no solo minimicen el error de predicción, sino que también cumplan con restricciones de equidad estrictas.

• Contexto: Existen marcos legislativos (como la Ley de IA de la UE) que exigen mitigar sesgos, pero no hay un consenso sobre cómo definirlos ni cómo eliminarlos técnicamente.
• Formulación Matemática: El problema se modela como una Minimización de Riesgo Empírico (ERM) con restricciones:
  $$\min_{x} \mathbb{E}[f(x, \xi)] \quad \text{sujeto a} \quad \mathbb{E}[c(x, \zeta)] \leq 0$$
  Donde $f$ es la función de pérdida y $c$ representa las restricciones de equidad (diferencia de riesgo entre subgrupos demográficos).
• Desafíos Técnicos:
  • No convexidad y no suavidad: Las funciones objetivo y de restricción derivan de DNN, lo que las hace no convexas y a menudo no suaves.
  • Escala: Los conjuntos de datos son masivos, requiriendo métodos estocásticos (muestreo).
  • Restricciones de Desigualdad: A diferencia de muchos métodos existentes que asumen restricciones de igualdad o convexidad, este problema requiere manejar desigualdades estocásticas en un entorno no suave.
  • Falta de Estándares: No existe un kit de herramientas unificado ni un benchmark estandarizado para comparar algoritmos de optimización bajo estas condiciones específicas.

2. Metodología

Los autores proponen una metodología basada en tres pilares:

• A. Definición del Benchmark (Folktables):

  • Utilizan datos del Censo de EE. UU. (conjunto de datos ACSIncome a través del paquete Folktables).
  • Definen tareas de clasificación binaria (ej. predecir ingresos > $50k) con atributos protegidos (ej. raza, estado civil).
  • Formulan restricciones de equidad basadas en la diferencia de pérdidas (o tasas de error) entre subgrupos, cubriendo métricas como Paridad Demográfica, Oportunidad Igual y Odds Igualados.

• B. Revisión y Selección de Algoritmos:
  Realizan una revisión exhaustiva de la literatura y seleccionan cuatro algoritmos para comparar, enfocándose en aquellos que manejan restricciones estocásticas y no lineales:

  1. Stochastic Ghost (StGh): Combina un método determinista con muestreo estocástico, utilizando "fantasmas" de penalización para expandir la región factible.
  2. SSL-ALM (Stochastic Smoothed and Linearized Augmented Lagrangian Method): Un método basado en el Lagrangiano Aumentado con suavizado, diseñado para manejar restricciones estocásticas lineales pero adaptado aquí para no lineales mediante variables de holgura.
  3. Stochastic Switching Subgradient (SSw): Alterna entre subgradientes de la función objetivo y de la restricción dependiendo de si la solución actual es factible o no.
  4. Baselines: SGD estándar (sin equidad) y SGD con regularización de equidad (Fairret).

• C. Implementación y Experimentación:

  • Desarrollaron un paquete de Python que automatiza la construcción de formulaciones ERM a partir de grafos de computación de PyTorch/TensorFlow.
  • Realizaron experimentos en dos escenarios: atributos protegidos binarios (raza) y multivaluados (estado civil).
  • Evaluaron el rendimiento en términos de convergencia de la pérdida, satisfacción de restricciones y métricas de equidad (Independencia, Separación, Suficiencia).

3. Contribuciones Clave

1. Primer Benchmark Estándar: Presentan el primer conjunto de pruebas desafiante y reproducible para algoritmos de aproximación estocástica en el entrenamiento de DNN con restricciones de equidad, basado en datos reales a gran escala.
2. Herramienta de Software (Toolbox): Liberan un paquete de código abierto que implementa cuatro algoritmos de vanguardia (incluyendo tres que no tenían implementación previa pública) y facilita la comparación de diferentes diseños de algoritmos.
3. Análisis Comparativo Exhaustivo: Proporcionan una comparación empírica rigurosa que revela las compensaciones (trade-offs) entre la precisión del modelo y el cumplimiento de restricciones de equidad bajo diferentes estrategias de optimización.
4. Revisión Teórica y Práctica: Identifican la brecha entre las garantías teóricas existentes (que a menudo asumen convexidad o suavidad) y la realidad práctica de las DNN, destacando que no existe aún un algoritmo con garantías teóricas completas para este caso general.

4. Resultados Principales

Los experimentos revelaron hallazgos significativos sobre el comportamiento de los algoritmos:

• Rendimiento de Optimización:

  • Los métodos basados en Lagrangiano Aumentado (ALM y SSL-ALM) mostraron el mejor equilibrio general. Lograron satisfacer las restricciones en el conjunto de entrenamiento con una degradación moderada de la precisión.
  • Stochastic Ghost (StGh) mostró alta variabilidad en la pérdida y las restricciones, aunque logró buenos resultados en la métrica de "Suficiencia".
  • Stochastic Switching Subgradient (SSw) fue el mejor en satisfacer las restricciones (casi cero violación), pero falló en minimizar la función objetivo (pérdida alta), resultando en un modelo menos preciso.
  • SGD con Regularización (Fairret): Minimiza la pérdida más rápido que los métodos con restricciones estrictas, pero viola las restricciones de equidad de manera creciente y no controlada.

• Métricas de Equidad:

  • Todos los métodos con restricciones mejoraron las métricas de equidad (Independencia, Separación, Suficiencia) en comparación con el SGD estándar.
  • Los métodos ALM y SSL-ALM ofrecieron el mejor compromiso (trade-off), mejorando significativamente la equidad sin colapsar la precisión del modelo.
  • Se observó que, aunque los modelos satisfacen las restricciones en el entrenamiento, pueden mostrar un ligero sesgo en el conjunto de prueba (generalización), un fenómeno esperado en estimadores con restricciones.

• Sensibilidad a Hiperparámetros:

  • Los métodos de restricción directa (ALM, SSL-ALM) mostraron menor sensibilidad a la elección de hiperparámetros en comparación con los métodos de penalización (Fairret), donde el peso de la penalización es crítico y difícil de ajustar.

5. Significado e Impacto

• Avance en la Práctica de IA Ética: Este trabajo demuestra que las restricciones "duras" (hard constraints) son una alternativa viable y a menudo superior a las penalizaciones suaves para garantizar la equidad en modelos de alto riesgo (crédito, contratación, salud).
• Cierre de la Brecha de Implementación: Al liberar el código y el benchmark, los autores permiten que la comunidad de investigación compare nuevos algoritmos sobre una base común, acelerando el desarrollo de métodos de optimización más robustos para la equidad.
• Conciencia sobre Limitaciones: El artículo advierte que la optimización matemática no es una "bala de plata" para todos los sesgos éticos. Subraya la necesidad de integrar estas herramientas en pipelines interdisciplinarios que consideren el contexto de uso específico, evitando que la "equidad algorítmica" sirva de excusa para ignorar problemas éticos más profundos.

En resumen, el artículo establece un nuevo estándar para evaluar cómo los algoritmos de optimización estocástica pueden entrenar redes neuronales que sean simultáneamente precisas y justas, proporcionando evidencia empírica de que los métodos basados en Lagrangianos Aumentados son actualmente la opción más robusta para este propósito.