Overcoming Representation Bias in Fairness-Aware data Repair using Optimal Transport

Este artículo propone un método de reparación de datos basado en el transporte óptimo y reglas de parada bayesianas no paramétricas para mitigar el sesgo de representación en subgrupos minoritarios y permitir la aplicación de correcciones justas en datos archivados, logrando un equilibrio óptimo entre equidad y preservación de la calidad de los datos.

Lo esencial

Imagina que estás preparando una gran fiesta (un modelo de Inteligencia Artificial) y necesitas decidir quién recibe qué tipo de comida y regalos (las predicciones del modelo). El problema es que, en el pasado, la lista de invitados (los datos de entrenamiento) estaba muy desequilibrada: había muchísimos hombres blancos y muy pocas mujeres de color, o muchos estadounidenses y pocos asiáticos.

Si sigues esa lista tal cual, la fiesta será injusta: el grupo mayoritario recibirá los mejores regalos, mientras que el grupo minoritario quedará con migajas. Esto es lo que los expertos llaman sesgo de representación.

Este paper propone una solución inteligente para arreglar esa lista de invitados antes de que empiece la fiesta, usando una técnica matemática llamada "Transporte Óptimo" y una regla muy especial para saber cuándo dejar de mirar la lista.

Aquí te explico cómo funciona, paso a paso, con analogías sencillas:

1. El Problema: La Lista de Invitados Incompleta

Imagina que quieres aprender a cocinar un plato para todos. Pero, por desgracia, solo has tenido oportunidad de probar el plato con 100 personas de un grupo y solo con 2 personas de otro grupo.

• El error común: Si intentas cocinar basándote en esos 2 datos, tu receta para ese grupo será un desastre. Es como intentar adivinar el sabor de un plato gigante probando solo una cucharada.
• La consecuencia: Cuando lleguen los invitados reales (datos nuevos), el modelo tratará mal a los grupos minoritarios porque no los "conoce" bien. Además, si la lista de invitados cambia (llegan datos nuevos de un archivo antiguo), tu receta no sirve porque solo aprendiste de la lista pequeña.

2. La Solución: La Regla de "No Parar Hasta Estar Seguro"

Los autores proponen una regla de oro: No dejes de aprender sobre un grupo hasta que estés 100% seguro de que lo entiendes, sin importar cuántos datos tengas.

• La analogía del detective: Imagina que eres un detective investigando cuatro sospechosos (los cuatro grupos de personas).
  • Para el sospechoso A, tienes 100 pistas.
  • Para el sospechoso B, solo tienes 5 pistas.
  • La mayoría de los métodos dirían: "Bueno, con 5 pistas ya es suficiente, sigamos".
  • Este método dice: "Espera. Con 5 pistas no sé nada seguro sobre B. Sigue buscando pistas para B hasta que la historia sea tan clara como la de A".

Usan una herramienta matemática (llamada Bayesiana No Paramétrica) que actúa como un termómetro de confianza. Mientras la confianza sea baja, sigues recolectando datos. Cuando el termómetro marca "Listo", solo entonces dejas de buscar. Esto asegura que, aunque un grupo sea muy pequeño en la realidad, el modelo lo estudie lo suficiente para entenderlo bien.

3. El Arreglo: El "Transporte Óptimo" (El Camión de Mudanzas Justo)

Una vez que tienes una comprensión justa de todos los grupos, necesitas arreglar los datos para que sean equitativos. Aquí entra el Transporte Óptimo.

• La analogía de la mudanza: Imagina que tienes dos almacenes de muebles (datos). Uno tiene muebles muy caros y lujosos (el grupo mayoritario) y el otro tiene muebles viejos y rotos (el grupo minoritario).
  • El objetivo es que ambos almacenes tengan muebles de la misma "calidad" y "distribución" para que nadie se sienta discriminado.
  • El Transporte Óptimo es como un camión de mudanzas súper inteligente que sabe exactamente qué mueble mover, a dónde y cómo moverlo para que el resultado sea el más justo posible, sin romper nada.
  • Mueve los datos del grupo desfavorecido para que se parezcan a una "versión justa" promedio, pero sin destruir la información útil que tenían.

4. El Resultado: Justicia sin Destruir la Historia

Lo genial de este paper es que logran dos cosas a la vez:

1. Justicia: Eliminan la discriminación basada en características sensibles (como raza o género).
2. Utilidad: No borran la historia de los datos. Si antes un grupo tenía salarios bajos por falta de educación, el modelo no inventa salarios falsos; simplemente ajusta los datos para que la falta de educación sea la única razón de las diferencias, eliminando el racismo o el sexismo de la ecuación.

¿Por qué es importante esto?

Hoy en día, las leyes (como la Ley de IA de la Unión Europea) exigen que los algoritmos sean justos. Los métodos anteriores fallaban porque:

• Si los datos de entrenamiento eran desiguales, el arreglo también era desigual.
• Si llegaban datos nuevos (de un archivo antiguo), el arreglo no funcionaba.

Este nuevo método es como tener un arreglador de datos universal. Funciona incluso si tienes muy pocos datos de un grupo minoritario, porque espera pacientemente a entenderlos bien antes de actuar. Y funciona para datos nuevos que nunca ha visto antes.

En resumen:
Es como tener un chef que, en lugar de cocinar rápido y mal para todos, decide: "Espera, voy a estudiar a fondo a cada grupo de comensales, aunque sean pocos, para asegurarme de que la receta final sea justa para todos, sin importar de dónde vengan o cuántos sean".

Resumen técnico

Resumen Técnico: Superación del Sesgo de Representación en la Reparación de Datos con Consciencia de Equidad usando Transporte Óptimo

1. El Problema: Sesgo de Representación y Limitaciones Actuales

El aprendizaje automático (ML) sufre frecuentemente de sesgo de representación, donde los conjuntos de datos históricos están desequilibrados hacia grupos mayoritarios (por ejemplo, hombres, personas blancas), dejando a los grupos minoritarios subrepresentados. Esto genera dos problemas críticos en la corrección de equidad (Fairness):

• Aprendizaje Deficiente de Subgrupos: Los métodos actuales de reparación de datos (como el transporte óptimo) suelen aprender operadores de reparación a partir de datos etiquetados. Si un subgrupo (ej. mujeres no blancas) tiene pocos datos, el modelo de distribución subyacente se aprende mal, lo que lleva a reparaciones ineficaces o erróneas para esos grupos.
• Falta de Generalización: La mayoría de los métodos de reparación de datos operan sobre el conjunto de datos completo y estático. No están diseñados para generalizar a datos "fuera de muestra" (archivos históricos o datos en tiempo real) que provienen del mismo proceso generador pero que no formaron parte del entrenamiento.
• Interseccionalidad: La segmentación de datos por múltiples atributos protegidos y no protegidos (interseccionalidad) exacerba el problema, creando subgrupos con tamaños de muestra tan pequeños que el aprendizaje estadístico se vuelve inviable (dilución).

2. Metodología Propuesta

Los autores proponen un enfoque basado en Transporte Óptimo (OT) combinado con Estadística Bayesiana No Paramétrica (BNP) para superar el sesgo de representación.

A. Aprendizaje Bayesiano No Paramétrico con Regla de Parada (Stopping Rule):
En lugar de usar un tamaño de muestra fijo o predefinido para cada subgrupo $(u, s)$, el método utiliza un proceso de decisión secuencial:

• Modelo: Se asume que los datos provienen de una distribución desconocida $F_{u,s}$ modelada mediante un Proceso de Dirichlet (DPP) como prior.
• Regla de Parada: Se implementa una regla de parada basada en la Divergencia de Kullback-Leibler (KLD) entre distribuciones Dirichlet sucesivas. El aprendizaje de cada subgrupo continúa secuencialmente hasta que la incertidumbre sobre la distribución disminuye por debajo de un umbral $\epsilon$.
• Resultado: Esto genera un número de parada óptimo ($\hat{n}_{u,s}$) para cada subgrupo. Los subgrupos minoritarios reciben automáticamente más muestras (o se detienen más tarde) hasta que su distribución se ha aprendido completamente, desacoplando el tamaño de la muestra de la probabilidad intrínseca del grupo ($p_{u,s}$).

B. Reparación mediante Transporte Óptimo:
Una vez que las distribuciones condicionales $F_{u,s}$ se han aprendido completamente:

• Se discretizan las distribuciones en cuantizadores basados en los datos observados.
• Se calculan los baricentros de Wasserstein entre las distribuciones de los grupos sensibles (ej. $s=0$ y $s=1$) para un atributo no protegido dado ($u$).
• Se define un objetivo de distribución justa como el punto medio (geodésico) entre las distribuciones de los grupos sensibles.
• Se aplica un operador estocástico $T_{u,s}$ que mapea los datos originales a este objetivo, eliminando la dependencia condicional entre la característica $x$ y el atributo sensible $s$, manteniendo la independencia condicional dada $u$.

C. Métricas de Evaluación:

• Equidad ($\hat{E}$): Se mide mediante la divergencia de Kullback-Leibler simetrizada entre las distribuciones condicionales a $s$. Un valor más bajo indica mayor equidad.
• Daño a los Datos ($D$): Se introduce una nueva métrica basada en la proyección de información para cuantificar cuánto se ha alterado la información predictiva original de los datos tras la reparación.

3. Contribuciones Clave

1. Regla de Parada Bayesiana para Equidad: Introducción de una regla de parada dinámica que asegura el aprendizaje completo de las distribuciones de subgrupos minoritarios, mitigando el sesgo de representación antes de aplicar la reparación.
2. Generalización a Datos Fuera de Muestra: A diferencia de métodos previos que solo reparan el conjunto de entrenamiento, este método aprende operadores de reparación que pueden aplicarse a datos nuevos (archivos o en tiempo real) del mismo proceso generador.
3. Definición de Daño y Compensación: Propuesta de una métrica cuantitativa para evaluar el "daño" a la utilidad predictiva de los datos, permitiendo un equilibrio (trade-off) entre la equidad y la preservación de la información.
4. Robustez ante Interseccionalidad: El enfoque demuestra capacidad para manejar la segmentación compleja de datos sin sufrir de "dilución" estadística en grupos minoritarios.

4. Resultados Experimentales

Los autores validaron su método en simulaciones y conjuntos de datos reales:

• Simulaciones con Modelos de Mezcla (GMM):

  • La regla de parada se adaptó correctamente a diferentes niveles de cuantización y modelos de mezcla, deteniendo el aprendizaje cuando la información era suficiente.
  • En escenarios con sesgo de representación severo (donde un grupo minoritario representa solo el 2.5% de los datos), el método propuesto logró reparaciones fiables con un daño controlado.
  • Los métodos sin regla de parada (tamaño de muestra fijo proporcional a la frecuencia) fallaron en reparar adecuadamente los subgrupos minoritarios debido al aprendizaje incompleto.

• Comparación con el Estado del Arte (SOTA):

  • Se comparó contra la Reparación Geométrica y la Reparación Distribucional (previa).
  • En datos simulados con interseccionalidad, el método propuesto superó a ambos en la métrica de invarianza a $s$ ($\hat{E}$), logrando una reducción significativa en la dependencia del atributo sensible tanto en datos de entrenamiento como en datos fuera de muestra.
  • Datos Adult Income: En el conjunto de datos de ingresos de Adultos (EE. UU.), el método redujo la dependencia de $s$ (género) en datos no vistos en al menos un 300% en comparación con la reparación geométrica, manteniendo un daño a los datos comparable.

5. Significado e Impacto

Este trabajo representa un avance crucial hacia la generalización de herramientas de equidad en IA:

• Viabilidad Legal y Práctica: Al permitir la reparación de datos históricos (archivos) y en tiempo real sin necesidad de reentrenar modelos completos, facilita el cumplimiento de regulaciones como la Ley de IA de la Unión Europea, que exige mitigar sesgos en sistemas desplegados.
• Justicia Real para Minorías: Al garantizar que los subgrupos minoritarios se aprenden completamente antes de la reparación, el método evita que la equidad se logre a expensas de la precisión o la exclusión de los grupos más vulnerables.
• Marco Teórico Sólido: Combina la teoría del transporte óptimo con la inferencia bayesiana no paramétrica, ofreciendo un marco riguroso para manejar la incertidumbre en la distribución de datos desequilibrados.

En conclusión, el método demuestra que es posible lograr una reparación de datos equitativa y generalizable incluso en presencia de sesgos de representación extremos, superando las limitaciones fundamentales de los enfoques actuales de reparación de datos.