Unbiased Model Prediction Without Using Protected Attribute Information

Resumen Técnico: Predicción Sin Sesgo sin Atributos Protegidos

1. Planteamiento del Problema

La comunidad de aprendizaje profundo enfrenta un desafío crítico: los modelos a menudo exhiben un rendimiento dispar en diferentes subgrupos demográficos (género, raza, edad), lo que refuerza sesgos sociales existentes.

• Limitación actual: La mayoría de los algoritmos de mitigación de sesgos existentes requieren el conocimiento a priori de los atributos protegidos (como género o raza) durante el entrenamiento para optimizar la equidad.
• Barrera real: En muchos escenarios del mundo real, la disponibilidad de estos atributos protegidos es inviable debido a restricciones legales (leyes de privacidad), éticas o la falta de etiquetas en los conjuntos de datos.
• Objetivo: Desarrollar un método que mitigue el sesgo y logre predicciones justas sin acceder a la información de los atributos protegidos durante el entrenamiento.

2. Metodología Propuesta: NPAD

Los autores proponen un nuevo algoritmo denominado Debiasing basado en Atributos No Protegidos (NPAD). La premisa central es explotar la correlación existente entre los atributos protegidos (desconocidos) y los atributos no protegidos (conocidos, como "sonrisa", "gafas", "pelo rubio").

El algoritmo opera en dos etapas principales:

A. Selección Inteligente de Atributos No Protegidos
Dado un conjunto de atributos no protegidos $A$, el algoritmo selecciona aquellos que mejor correlacionan con el sesgo oculto:

1. Cálculo de Disparidad: Se entrena un modelo $\phi_i$ para predecir un atributo objetivo $A_i$. Luego, se evalúa este modelo sobre las clases de otros atributos no protegidos. Se calcula la disparidad (desviación estándar de la precisión) en la predicción de $A_i$ a través de las clases de los otros atributos.
2. Selección: Se seleccionan los atributos donde el modelo muestra la mayor disparidad, asumiendo que estos capturan la variabilidad relacionada con el atributo protegido.
3. Independencia: Para evitar redundancia, los atributos seleccionados deben ser independientes entre sí. Se utiliza la prueba $\chi^2$ para verificar la independencia estadística antes de añadir un nuevo atributo a la lista de selección.

B. Mitigación de Sesgo mediante Funciones de Pérdida
Una vez seleccionados los atributos no protegidos ($N$), el modelo se optimiza utilizando una red neuronal convolucional (CNN) y dos funciones de pérdida novedosas:

1. Pérdida de Agrupación por Atributo de Debiasing (DACL - Debiasing via Attribute Cluster Loss):

   • Combina las clases del atributo objetivo $A_i$ con las clases de los $n$ atributos no protegidos seleccionados, creando $2^{n+1}$ clases compuestas.
   • Objetivo: Minimizar la distancia intra-clase y maximizar la distancia inter-clase en el espacio de características.
   • Utiliza promedios móviles y desviaciones estándar de las representaciones de características para ser robusto ante valores atípicos, forzando al modelo a aprender información específica de la clase que mitiga el sesgo.

2. Pérdida de Redundancia de Filtros (FRL - Filter Redundancy Loss):

   • Aborda la redundancia en los canales de los filtros convolucionales, donde canales adyacentes suelen aprender características correlacionadas.
   • Objetivo: Minimizar el producto punto entre los filtros normalizados (después de restar la media) para descorrelacionarlos.
   • Esto mejora la expresividad de las características y el rendimiento general del modelo.

Pérdida Final:
La función de pérdida total es una combinación ponderada:
$$\mathcal{L} = \lambda_1 \mathcal{L}_{DACL} + \lambda_2 \mathcal{L}_{FRL}$$

3. Contribuciones Clave

1. Algoritmo NPAD: Un marco novedoso que logra predicciones justas sin necesidad de etiquetas de atributos protegidos, utilizando únicamente información de atributos no protegidos.
2. Nuevas Funciones de Pérdida:
   • DACL: Proporciona supervisión para aprender agrupaciones de clases específicas para la mitigación de sesgos.
   • FRL: Mejora el rendimiento al forzar al modelo a aprender características no redundantes.
3. Nueva Métrica de Evaluación (OPE - Overall Performance Equality):
   • Las métricas existentes (como la Paridad Predictiva o la Igualdad de Oportunidades) pueden fallar cuando un modelo predice mal todo el conjunto de datos en una sola clase (aunque sea "justo" en términos de disparidad cero).
   • OPE mide la disparidad en el rendimiento general del modelo (considerando falsos positivos/negativos y verdaderos positivos/negativos) entre subgrupos, penalizando tanto el sesgo como el bajo rendimiento.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos LFWA y CelebA para la predicción de atributos faciales, considerando género y edad como atributos protegidos (no utilizados en entrenamiento).

• Comparación: El algoritmo NPAD se comparó con:
  • BMT: Entrenamiento de línea base sin debiasing.
  • PAD: Debiasing con atributos protegidos conocidos (límite superior).
  • LfF: Learning from Failure (otro método sin atributos protegidos).
  • ARL: Adversarially Reweighted Learning.
• Rendimiento:
  • NPAD superó significativamente a los métodos de línea base (BMT) y al método LfF en términos de precisión general y reducción de sesgo (DoB y OPE).
  • En muchos casos, NPAD logró un rendimiento comparable e incluso superior al PAD (que sí usa los atributos protegidos), demostrando que la selección inteligente de atributos no protegidos puede ser tan efectiva como el uso directo de los protegidos.
  • El uso de dos atributos no protegidos (NPAD Two) generalmente ofreció mejores resultados que uno solo, siempre que el segundo atributo fuera independiente y correlacionado con el protegido.
• Generalización: El algoritmo mostró buena capacidad de generalización en experimentos cruzados entre datasets (entrenar en LFWA, probar en CelebA y viceversa).
• Estudios de Caso: Se demostró que la selección aleatoria de atributos o la ausencia total de atributos no protegidos resulta en un rendimiento inferior, validando la importancia de la selección inteligente propuesta.

5. Significado e Impacto

• Viabilidad Práctica: Este trabajo elimina una de las mayores barreras para la implementación de IA justa en la industria: la necesidad de datos sensibles que a menudo no pueden ser recolectados por razones legales o de privacidad.
• Eficiencia de Datos: Aprovecha las etiquetas existentes en conjuntos de datos públicos (que suelen tener atributos no protegidos) para inferir y corregir sesgos ocultos.
• Nueva Perspectiva de Evaluación: La introducción de la métrica OPE ofrece una forma más robusta de evaluar la equidad, evitando que modelos de bajo rendimiento sean clasificados erróneamente como "justos".
• Aplicabilidad: El enfoque es altamente aplicable a tareas de visión por computadora donde la anotación de atributos protegidos es costosa o ilegal, permitiendo el desarrollo de sistemas más éticos y equitativos sin comprometer la precisión.

En conclusión, el algoritmo NPAD demuestra que es posible mitigar eficazmente los sesgos en modelos de aprendizaje profundo utilizando únicamente la información auxiliar de atributos no protegidos, logrando un equilibrio óptimo entre rendimiento y equidad sin violar la privacidad de los usuarios.