Resumen Técnico: Capas de Optimización Diferenciables para Garantizar la Equidad en el Aprendizaje Profundo

1. Enunciado del Problema

El despliegue de sistemas de aprendizaje automático en dominios de alto riesgo (por ejemplo, concesión de préstamos, contratación, diagnóstico clínico) ha hecho necesario enfoques rigurosos para la "equidad". Los métodos existentes para incorporar restricciones de equidad grupal en las tuberías de aprendizaje profundo generalmente caen en tres categorías: pre-procesamiento, procesamiento y post-procesamiento. Sin embargo, estos enfoques sufren limitaciones significativas:

• Pre-procesamiento (modificación de los datos de entrenamiento) puede amplificar el sesgo y no garantiza el cumplimiento de las restricciones durante la inferencia.
• Procesamiento (por ejemplo, penalizaciones de Lagrange) a menudo depende de penalizaciones suaves o sustitutos que no hacen cumplir estrictamente las restricciones, lo que conduce a posibles violaciones.
• Post-procesamiento (modificación de las predicciones después del entrenamiento) opera sobre modelos que no son conscientes de la equidad, a menudo requiriendo ajustes no diferenciables que rompen la entrenabilidad de extremo a extremo y pueden no generalizar.

Además, hacer cumplir la equidad en configuraciones de inferencia en flujo o con lotes pequeños presenta un desafío fundamental: hacer cumplir restricciones estrictas por lote puede ser excesivamente restrictivo, limitando la expresividad del modelo, mientras que no hacerlas cumplir corre el riesgo de inequidad agregada.

Los autores identifican una brecha en la consecución de tres objetivos simultáneos: (G1) Equidad Verificada (cumplimiento estricto), (G2) Aprendizaje de Extremo a Extremo (mantener la diferenciableidad sin ajustes posteriores) y (G3) Alta Flexibilidad (compatibilidad con cualquier arquitectura).

2. Metodología

La Capa de Equidad

La contribución central es la introducción de una "capa de equidad", una capa de optimización diferenciable añadida a la salida de una red neuronal. A diferencia de los marcos tradicionales de "predecir y luego optimizar", donde la optimización resuelve un problema de decisión aguas abajo, esta capa proyecta las salidas crudas de la red ($z$) sobre un conjunto de restricciones de equidad para producir las predicciones finales ($\hat{y}$).

Matemáticamente, para un lote de predicciones crudas $z$, la capa calcula:
$$g(z) = \arg \min_{\tilde{y} \in \mathbb{R}^b} \{ \tilde{d}(\tilde{y}, z) : h_{ineq}(\tilde{y}) \leq 0, h_{eq}(\tilde{y}) = 0 \}$$
donde $\tilde{d}$ es una función de discrepancia convexa (por ejemplo, distancia euclidiana) y las restricciones son lineales (afines). Esta formulación permite que la capa haga cumplir diversos criterios de equidad, tales como:

• Paridad Condicional Esperada (Demográfica): Garantizar que las predicciones promedio sean similares entre grupos protegidos.
• Residuales Igualados Esperados: Garantizar que los errores de predicción promedio sean similares entre grupos.
• Oportunidades Igualadas Esperadas: Garantizar que las expectativas condicionales de las predicciones dadas las etiquetas verdaderas sean similares entre grupos.

Al reemplazar el umbralizado duro no convexo (común en la equidad de clasificación) con restricciones basadas en expectativas, los autores aseguran que el problema de optimización permanezca convexo y diferenciable.

Algoritmo de Inferencia Online Primal-Dual

Para abordar el desafío de hacer cumplir la equidad con tamaños de lote arbitrariamente pequeños (donde las restricciones por lote pueden ser demasiado restrictivas o las proporciones de grupo varían), los autores proponen un algoritmo de inferencia online primal-dual.

• Mecanismo: En lugar de hacer cumplir la equidad en cada mini-lote individual, el algoritmo mantiene una variable dual ($\lambda$) que acumula violaciones de equidad a lo largo del tiempo.
• Regla de Actualización: Para lotes pequeños, la capa resuelve un problema de optimización con restricciones que incluye un término de penalización dinámicamente actualizado basado en $\lambda$. Para lotes más grandes donde es factible el muestreo estratificado, hace cumplir restricciones duras.
• Garantía: El Teorema 3.2 demuestra que, aunque los lotes individuales pueden violar las restricciones de equidad, la violación promedio ponderada por muestra converge a la tolerancia objetivo $\epsilon$ a medida que crece el número de lotes de inferencia. Esto proporciona garantías deterministas de equidad agregada.

Propiedades Teóricas

El artículo proporciona un análisis riguroso de las propiedades de la capa:

• Diferenciableidad: La capa es globalmente continua de Lipschitz y diferenciable en casi todas partes (Teorema 4.1), asegurando una retropropagación estable.
• Estabilidad del Gradiente: La Jacobiana de la capa tiene una estructura espectral donde los valores propios son binarios (0 o 1). Crucialmente, los gradientes en direcciones normales a las superficies de restricción activas se suprimen completamente (Teorema 4.4). Esto evita que el modelo aprenda a violar restricciones activas mientras permite el aprendizaje libre en direcciones factibles.
• Estructura: El dominio se divide en regiones poliedrales donde la capa actúa como una función afín, con fronteras de medida cero, asegurando que los optimizadores no se queden atrapados en puntos no diferenciables.

3. Contribuciones Clave

1. La Capa de Equidad: Un componente arquitectónico novedoso que garantiza el cumplimiento estricto de restricciones de equidad afines mientras mantiene la diferenciableidad de extremo a extremo. Es el primer método que satisface simultáneamente los objetivos (G1), (G2) y (G3).
2. Algoritmo Online Primal-Dual: Un algoritmo de inferencia que supera las limitaciones de la inferencia con lotes pequeños, proporcionando garantías de equidad agregada donde las restricciones por lote son prohibitivamente restrictivas.
3. Análisis Matemático: Demostraciones que establecen la diferenciableidad de la capa, la estabilidad del gradiente (Jacobiana acotada) y las propiedades espectrales, motivando su utilidad práctica en el entrenamiento de redes profundas.
4. Implementación de Código Abierto: Los autores lanzaron un paquete de Python (fairness_training) y código para experimentos en GitHub.

4. Resultados Experimentales

Los autores evaluaron el método en cuatro configuraciones distintas: predicción de impago de préstamos, análisis de desempeño de empleados, clasificación de imágenes (conjuntos de datos CelebA y FairFace) y regresión sintética.

• Predicción de Impago de Préstamos: El método F-Layer logró mejoras modestas pero consistentes en el AUC (aumento medio del 1,46 %) y un rendimiento significativamente mejor en Precisión-Recall en comparación con la proyección posterior. Evitó el comportamiento degenerado (predecir una sola clase) observado en métodos de penalización estricta.
• Desempeño de Empleados (Modelado de Datos): El F-Layer satisfizo todas las restricciones de equidad con el menor Error Cuadrático Medio (MSE) entre los métodos que satisfacen restricciones. A diferencia de la proyección posterior, que alteró las predicciones para 319 de 1200 individuos (reduciendo la transparencia), el F-Layer incorporó la equidad durante el entrenamiento.
• Clasificación de Imágenes: En cinco arquitecturas diferentes (incluyendo ViT, Swin-T, ResNet, DenseNet), el F-Layer superó consistentemente a las líneas base. Logró una precisión un 2–5 % más alta que la proyección posterior y superó significativamente a los métodos de penalización de Lagrange, que a menudo colapsaron a adivinanzas aleatorias (precisión ~50 %) cuando se les obligó a priorizar fuertemente las restricciones.
• Datos Sintéticos: El F-Layer ocupó el primer lugar en 22–27 de 32 configuraciones de conjunto de datos. Demostró robustez ante tamaños de lote variables y logró reducciones de pérdida de prueba del 18–30 % sobre las líneas base en muchos escenarios. El algoritmo online controló con éxito la equidad agregada incluso con lotes de inferencia pequeños.

5. Significado y Afirmaciones

El artículo afirma que la capa de equidad ofrece una solución verificable y de extremo a extremo para integrar la equidad en el aprendizaje profundo. Al mantener la diferenciableidad, permite a los profesionales incorporar la equidad directamente en el proceso de entrenamiento en lugar de como un pensamiento posterior.

Los autores posicionan este trabajo como una herramienta dentro de una estrategia integral de equidad, no como una solución completa. Señalan explícitamente las limitaciones:

• El trabajo se centra exclusivamente en métricas de equidad grupal, que capturan solo un aspecto de los desiderata de equidad.
• La elección de atributos protegidos, restricciones y parámetros de tolerancia requiere experiencia en el dominio para evitar introducir nuevas formas de disparidad.
• El método garantiza la equidad para conjuntos de restricciones afines; extender esto a restricciones no convexas queda pendiente para trabajos futuros.

En última instancia, el artículo argumenta que las capas de optimización diferenciables proporcionan un mecanismo matemáticamente fundamentado para satisfacer los requisitos regulatorios (como la Ley de IA de la UE) mientras se preservan el rendimiento del modelo y la interpretabilidad.