Resumen Técnico: NH-Fair – Evaluación de la Mitigación de Sesgos hacia la Equidad sin Daño

Declaración del Problema

Los modelos de aprendizaje automático entrenados con datos del mundo real frecuentemente heredan y amplifican sesgos contra grupos sociales específicos, lo que conduce a resultados injustos en escenarios de despliegue de alto riesgo. Aunque existen numerosos métodos de mitigación de sesgos, comparar su efectividad se ve dificultado por conjuntos de datos heterogéneos, métricas de equidad inconsistentes, el aislamiento de las evaluaciones de modelos de visión y multimodales, y una optimización de hiperparámetros insuficiente que socava las comparaciones justas. Además, muchas intervenciones existentes sacrifican la precisión general del modelo para lograr la equidad, violando los principios éticos de beneficencia y no maleficencia en dominios críticos para la seguridad como la atención médica.

El problema central abordado es la falta de un benchmark unificado y reproducible que evalúe la mitigación de sesgos bajo un paradigma de "Equidad Sin Daño" (FWH, por sus siglas en inglés). Este paradigma requiere que la paridad de grupo mejore sin degradar materialmente el rendimiento de ningún grupo en comparación con un baseline bien ajustado. Además, existe la pregunta abierta de si el preentrenamiento a gran escala en Modelos de Visión y Lenguaje (LVLMs) resuelve inherentemente los problemas de equidad o si simplemente propaga los sesgos existentes.

Metodología: El Benchmark NH-Fair

Los autores introducen NH-Fair, un benchmark integral diseñado para evaluar la equidad en modelos de visión clásicos y en Grandes Modelos de Visión y Lenguaje (LVLMs) bajo protocolos estandarizados.

1. Conjuntos de Datos y Alcance

El benchmark abarca siete conjuntos de datos disponibles públicamente que cubren atributos faciales, imágenes médicas y pruebas de correlación espuria:

• Atributos Faciales: CelebA, UTKFace, FairFace, Facet.
• Imágenes Médicas: HAM10000, Fitzpatrick17k.
• Correlaciones Espurias: Waterbirds.
  La evaluación cubre regímenes de entrenamiento supervisado y predicciones zero-shot para modelos multimodales.

2. Formulación de Equidad Sin Daño (FWH)

El benchmark define la equidad no solo mediante la paridad de grupo, sino mediante una condición de "no daño". Sea $h_{erm}$ un clasificador base entrenado mediante la Minimización del Riesgo Empírico (ERM) no restringida. Un clasificador mejorado en equidad $h$ satisface FWH si:

1. Equidad de Grupo: Mejora métricas como la Paridad de Precisión General, la Paridad Demográfica, la Igualdad de Oportunidades o la Equidad Max-Min.
2. Sin Daño: Para cada grupo sensible $a$, el riesgo (o error) de $h$ no excede el de $h_{erm}$:
   $$E_{X,Y|A=a}[R(h(X), Y)] \leq E_{X,Y|A=a}[R(h_{erm}(X), Y)]$$

3. Estrategia de Selección de Modelos

Para asegurar comparaciones justas, los autores emplean un proceso de selección de dos etapas:

• Selección de ERM basada en DTO: En lugar de seleccionar el modelo con la mayor precisión promedio, el benchmark selecciona el baseline ERM que minimiza la distancia euclidiana al "Punto de la Utopía" (donde cada subgrupo alcanza su mejor rendimiento observado). Esto asegura que el baseline ya esté optimizado tanto para la utilidad como para la equidad.
• Selección FWH: Los métodos alternativos se categorizan en cuatro zonas basadas en su rendimiento relativo al ERM seleccionado:
  • Óptimo: Mejora la utilidad para todos los grupos mientras reduce la disparidad.
  • Subóptimo: Reduce la disparidad comprometiendo la utilidad del grupo aventajado (pero no por debajo del baseline).
  • Degradación: Reduce la disparidad perjudicando a todos los grupos (rechazado).
  • No deseado: Empeora la disparidad.

4. Configuración Experimental

• Optimización de Hiperparámetros: A diferencia de otros trabajos que suelen fijar los hiperparámetros, NH-Fair realiza una optimización extensiva de hiperparámetros (HPO) para cada par método-conjunto de datos utilizando búsqueda Bayesiana (100–200 ensayos por par). Esto incluye el ajuste de optimizadores (SGD, Adam, etc.), tasas de aprendizaje, decaimiento de pesos y parámetros específicos del método.
• Métodos Evaluados: 12 algoritmos base que abarcan métodos Centrados en Datos (RandAugment, Mixup, Resampling, Bias Mimicking, FIS) y métodos Algorítmicos (Decoupled Classifier, LAFTR, FSCL, GapReg, MCDP, GroupDRO, DFR, OxonFair).
• LVLMs: Evaluaciones zero-shot de CLIP, BLIP-2 y varios LVLMs (LLaVA, Qwen2.5-VL, Gemma 3, Llama) a través de diferentes escalas de parámetros (4B a 109B).

Contribuciones Clave y Hallazgos

1. El Papel Crítico de las Elecciones de Entrenamiento (Tuning de ERM)

El artículo demuestra que las elecciones de entrenamiento impactan significativamente la relación entre equidad y utilidad, a menudo más que los algoritmos especializados de debiasing.

• Sensibilidad del Optimizador: La elección del optimizador (por ejemplo, SGD vs. Adam) y la tasa de aprendizaje tienen un efecto profundo tanto en la utilidad como en las disparidades de los subgrupos. Por ejemplo, SGD funcionó mejor en CelebA, mientras que Adam fue superior en Fitz17k.
• Preentrenamiento: El uso de pesos preentrenados generalmente mejora la utilidad general sin dañar a los grupos desfavorecidos, alineándose con el principio de FWH.
• Factores Menores: El tamaño del lote, el decaimiento de pesos y la profundidad del modelo mostraron efectos más débiles o inconsistentes en la equidad en comparación con la elección del optimizador.
• Implicación: Un baseline ERM cuidadosamente ajustado a menudo iguala o supera a los algoritmos de equidad especializados. El artículo argumenta que muchas afirmaciones de "estado del arte" en la literatura previa pueden ser artefactos de un ajuste de hiperparámetros insuficiente en lugar de una verdadera superioridad algorítmica.

2. Revisión de los Métodos de Mitigación

• Aumento de Datos: Los métodos de aumento de datos compuestos, particularmente RandAugment, entregaron consistentemente ganancias de paridad sin sacrificar la utilidad. Esto sugiere que aumentar la variabilidad de los datos puede mitigar naturalmente los sesgos, ofreciendo una estrategia ligera y práctica que a menudo supera a las restricciones algorítmicas complejas.
• Compromisos Algorítmicos: Los métodos que penalizan explícitamente la disparidad en la función de pérdida (por ejemplo, GapReg, MCDP) a menudo logran métricas de equidad sólidas pero a costa de la precisión general, violando el principio de "sin daño".
• Conclusión: En la práctica, los profesionales deberían priorizar las estrategias de aumento antes de explorar algoritmos especializados, ya que este camino es el que más a menudo logra la equidad sin pérdida de utilidad o sobrecarga significativa.

3. Los LVLMs No son Inherentemente Equitativos

• Rendimiento vs. Equidad: Aunque los LVLMs logran una mayor precisión promedio debido al preentrenamiento masivo, no resuelven automáticamente las disparidades de subgrupos. En conjuntos de datos desafiantes (ej. CelebA, Facet), los LVLMs exhibieron brechas de subgrupo comparables o peores que los baselines unimodales cuidadosamente ajustados.
• Límites de Escala: Aumentar la escala del modelo (ej. de 7B a 72B parámetros) mejora la precisión promedio pero no reduce consistentemente las brechas de equidad. En algunos casos, el escalamiento incluso amplió las disparidades.
• Lección Aprendida: Las ganancias de equidad derivadas del escalamiento son menores que las de las elecciones de arquitectura o de protocolo de entrenamiento. Los profesionales deben priorizar la evaluación de diferentes arquitecturas y elecciones de preentrenamiento en lugar de confiar únicamente en el escalamiento del modelo.

Significado y Reivindicaciones

El artículo afirma que NH-Fair proporciona un pipeline reproducible y consciente del ajuste para una evaluación de equidad rigurosa y consciente del daño. Su importancia radica en:

1. Estandarización: Unificar la evaluación de modelos de visión clásicos y multimodales bajo protocolos de datos, métricas y entrenamiento estandarizados.
2. Corrección de Prácticas de Evaluación: Destacar que el ajuste insuficiente de hiperparámetros en la investigación previa conduce a comparaciones sesgadas y que un ERM bien ajustado es un baseline formidable.
3. Guía Práctica: Ofrecer información accionable sobre cómo el aumento de datos es una estrategia altamente efectiva y de bajo costo para lograr la equidad sin daño, mientras que las intervenciones algorítmicas complejas a menudo incurren en costos de utilidad.
4. Realidad de los LVLM: Demostrar que el paradigma de "más grande es mejor" no se extiende a la equidad, instando a la comunidad a centrarse en los protocolos de entrenamiento y la selección de arquitectura para modelos multimodales.

Los autores enfatizan que su objetivo no es meramente crear un benchmark, sino proporcionar un baseline sólido para el desarrollo de métodos más robustos y conscientes del sesgo, advirtiendo al mismo tiempo que los benchmarks actuales (incluyendo el suyo) son pasos intermedios hacia un marco de evaluación de equidad verdaderamente integral.