Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

Resumen Técnico: Aprendizaje Supervisado Justo Mediante Restricciones sobre Surrogates No Convexos Suaves de Medidas de Injusticia

Planteamiento del Problema
Los modelos de aprendizaje supervisado, aunque efectivos en dominios como las finanzas, la justicia penal, la contratación y la atención sanitaria, a menudo heredan o introducen sesgos que conducen a resultados discriminatorios. Estos sesgos se manifiestan como injusticia en las predicciones entre diferentes grupos demográficos. Las estrategias existentes para mitigar la injusticia generalmente se clasifican en categorías de pre-procesamiento, in-procesamiento o post-procesamiento. Este artículo se centra en las estrategias de in-procesamiento, específicamente en la incorporación de medidas de injusticia en los problemas de optimización utilizados para el entrenamiento de modelos.

Los enfoques actuales enfrentan desafíos computacionales y teóricos significativos:

1. No suavidad y no convexidad: La formulación directa de las medidas de injusticia (por ejemplo, Paridad Demográfica, Impacto Dispar) implica funciones escalón de Heaviside discontinuas, lo que conduce a problemas de optimización no convexos y no suaves que son difíciles de resolver.
2. Limitaciones de los Surrogates Convexos: Para abordar las dificultades computacionales, los investigadores suelen emplear surrogates convexos (por ejemplo, aproximaciones basadas en covarianza). Sin embargo, estos no garantizan que la medida de injusticia real se mantenga dentro de límites aceptables; un valor pequeño del surrogate no implica necesariamente una medida de injusticia real pequeña.
3. Limitaciones de la Regularización: El uso generalizado de términos de regularización (restricciones blandas) para imponer la justicia requiere un costoso ajuste de hiperparámetros. Además, aumentar la fuerza de la regularización para reducir la injusticia puede degradar severamente la precisión de la predicción, y la relación entre el parámetro de regularización y la injusticia resultante suele ser no monotónica y difícil de controlar.
4. Gestión de Múltiples Medidas: Las estrategias que intentan equilibrar múltiples medidas de injusticia, potencialmente conflictivas, mediante la regularización, a menudo resultan en problemas de entrenamiento intratables y mayores costos de ajuste.

Metodología
Los autores proponen una nueva estrategia de in-procesamiento que combina surrogates no convexos suaves con restricciones estrictas (hard constraints) para imponer la justicia.

1. Surrogates No Convexos Suaves:
   En lugar de utilizar aproximaciones convexas o funciones escalón discontinuas, los autores introducen surrogates no convexos, acotados y suaves para aproximar la función de Heaviside. Se utilizan dos aproximaciones específicas:

• La función sigmoide.
• Una función de escalón suavizada derivada de técnicas de suavizado de la literatura de optimización (específicamente, una aproximación afín por tramos suavizada mediante un término de raíz cuadrada).

Crucialmente, estos surrogates están acotados dentro de $[0, 1]$ y son escalados (mediante un parámetro $\alpha$) para asegurar que aproximen estrechamente la función escalón. Los autores demuestran (mediante el Teorema 2.1, derivado de trabajos previos) que si el valor del surrogate es pequeño, la medida de injusticia empírica real también es pequeña, siempre que los valores del surrogate estén suficientemente cerca de 0 o 1. Esta aproximación ajustada no es garantizada por los surrogates lineales o convexos no acotados.

2. Restricciones Estrictas (Hard Constraints):
   En lugar de añadir las medidas de injusticia como términos de regularización en la función objetivo, los autores formulan el problema de entrenamiento como un problema de optimización restringida:
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{sujeto a} \quad l \leq c(w) \leq u$$
   Aquí, $c(w)$ representa el vector de surrogates para una o más medidas de injusticia (por ejemplo, Impacto Dispar, Impacto Igualitario). Los límites $l$ y $u$ imponen tolerancias específicas para la injusticia directamente.

• Tractabilidad: Los autores aprovechan técnicas recientes de Newton estocástico/Programación Cuadrática Secuencial (SQP) para resolver estos problemas no convexos restringidos de manera eficiente.
• Gradientes Estocásticos: El Teorema 3.1 demuestra que se pueden obtener estimaciones de gradiente estocástico insesgadas para las funciones de restricción si los mini-batches mantienen un número equilibrado de muestras de cada grupo sensible.

Contribuciones Clave

1. Aproximación de Surrogate Ajustada: El artículo introduce surrogates no convexos, suaves y acotados que proporcionan una garantía teórica: si la restricción del surrogate se cumple, la medida de injusticia real está acotada. Esto contrasta con los surrogates convexos donde un valor pequeño del surrogate no garantiza una baja injusticia.
2. Restricciones Estrictas vs. Regularización: Los autores proponen el uso de restricciones estrictas en lugar de la regularización. Esto elimina la necesidad de un costoso ajuste de los parámetros de regularización y evita el comportamiento no monotónico que se observa a menudo en los enfoques basados en la regularización. Permite la imposición explícita de tolerancias de injusticia específicas.
3. Escalabilidad a Múltiples Medidas: El marco acomoda naturalmente múltiples medidas de injusticia, potencialmente conflictivas, simultáneamente dentro de un solo problema de optimización, sin la explosión computacional asociada con el ajuste de múltiples pesos de regularización.

Resultados Experimentales
Los autores evaluaron su método en tres conjuntos de datos de referencia: Dutch (predicción de ingresos, atributo sensible: género), Law School (aprobación del examen de la barra, atributo sensible: raza) y ACSIncome (predicción de ingresos, atributo sensible: género).

• Ajuste del Surrogate: Los experimentos mostraron que los surrogates no escalados provocaban brechas entre los niveles de justicia deseados y los reales. Sin embargo, cuando los surrogates fueron escalados (por ejemplo, $\alpha=50$), los niveles de justicia realizados coincidieron estrechamente con las restricciones impuestas tanto para la función de escalón suavizada como para la sigmoide. En contraste, los surrogates basados en covarianza dificultaban el mapeo de un valor de restricción específico a un nivel de justicia deseado.
• Restricción vs. Regularización: Al comparar el enfoque propuesto de "solo restricción" contra un enfoque de "solo regularización", se reveló que el método de restricción logró una mejora monotónica en la justicia a medida que los umbrales se volvían más estrictos, mientras que el método de regularización exhibió un comportamiento impredecible y no monotónico. El enfoque de restricción mantuvo una alta precisión de predicción incluso cuando las restricciones de justicia se volvieron activas, mientras que el enfoque de regularización a menudo sufrió caídas significativas en la precisión al intentar imponer una justicia estricta.
• Múltiples Medidas: El marco logró imponer simultáneamente restricciones de Impacto Dispar e Impacto Igualitario. Aunque añadir múltiples restricciones redujo la precisión ligeramente más que las restricciones únicas, el método satisfizo consistentemente ambos criterios, demostrando robustez en el manejo de requisitos de justicia complejos.

Significancia y Reivindicaciones
El artículo afirma que su enfoque ofrece un paradigma de entrenamiento tratable para el aprendizaje supervisado justo. Al resolver un único problema de optimización restringida, los profesionales pueden obtener modelos que cumplan con los límites prescritos de injusticia sin la carga computacional de ajustar los parámetros de regularización. Los autores enfatizan que, si bien resolver problemas no convexos restringidos es más costoso por iteración que los no restringidos, el costo computacional total se reduce al eliminar la necesidad de una búsqueda extensiva de hiperparámetros. El método se presenta como una solución robusta para aplicaciones del mundo real donde se requieren garantías de justicia estrictas junto con una alta precisión predictiva.