FairSAM: Fair Classification on Corrupted Image Data Through Sharpness-Aware Minimization

Resumen Técnico: FairSAM: Clasificación Justa en Datos de Imágenes Corruptos mediante la Minimización de la Agudeza (Sharpness-Aware Minimization)

Planteamiento del Problema

Las redes neuronales profundas entrenadas con datos limpios suelen sufrir una degradación de rendimiento aguda al desplegarse en datos de prueba corruptos (por ejemplo, imágenes afectadas por ruido de impulso, ruido gaussiano, efectos climáticos o desenfoque de movimiento). Hallazgos recientes indican que esta degradación no es uniforme; afecta desproporcionadamente a subgrupos demográficos específicos, amplificando así el sesgo algorítmico. Si bien los métodos de aprendizaje robusto existentes, como la Minimización de la Agudeza (SAM), mejoran la generalización global y la resiliencia al ruido, no logran abordar la distribución inequitativa de la degradación del rendimiento entre los grupos demográficos. Por el contrario, los métodos convencionales de atención a la equidad suelen tener dificultades para mantener la robustez bajo la corrupción de datos. Esto crea una tensión inherente entre lograr la robustez y garantizar la equidad en entornos corruptos.

Metodología: FairSAM

Para abordar esta tensión, los autores proponen FairSAM, un marco que integra estrategias orientadas a la equidad en el proceso de optimización de SAM. La metodología consta de tres componentes principales:

1. Nueva Métrica de Equidad: Disparidad de Degradación Corrupta ($\Delta p$)

Los autores formalizan el problema introduciendo una métrica para cuantificar la equidad específicamente respecto a la degradación del rendimiento.

• Degradación Corrupta ($\Delta p_s$): Definida como la diferencia absoluta en las métricas de rendimiento entre los datos de entrenamiento limpios ($D_T$) y los datos de prueba corruptos ($D_C$) para un subgrupo demográfico específico $s$: $\Delta p_s = |M(D_T^{s}, f) - M(D_C^{s}, f)|$.
• Disparidad de Degradación Corrupta ($\Delta p$): La diferencia absoluta en la degradación entre los grupos favorecidos ($s^+$) y desfavorecidos ($s^-$): $\Delta p = |\Delta p_{s^+} - \Delta p_{s^-}|$.
  Un $\Delta p$ más bajo indica que la robustez del modelo está distribuida de manera más equitativa entre los subgrupos.

2. SAM con Reponderación de Instancias

El SAM estándar minimiza la pérdida máxima dentro de un vecindario de parámetros, pero trata todos los ejemplos por igual, lo que a menudo permite que los grupos mayoritarios dominen la optimización. FairSAM introduce un mecanismo de reponderación para equilibrar las contribuciones del gradiente:

• Restricciones de Grupo: El método restringe la suma de los pesos para las muestras dentro de cada grupo demográfico a una constante $c$, asegurando que cada grupo contribuya equitativamente al objetivo independientemente de su tamaño.
• Reponderación Basada en la Agudeza (Sharpness): Dentro de cada grupo, las muestras con mayor agudeza por instancia (mayor pérdida máxima bajo perturbación) reciben pesos más altos. Esto prioriza los ejemplos más "difíciles" dentro de cada grupo mientras mantiene el equilibrio a nivel de grupo.

3. Perturbación Eficiente por Lote (Per-Batch)

Para evitar el costo computacional de calcular perturbaciones adversarias individuales para cada muestra (lo que requeriría $N$ pasadas hacia adelante por lote), FairSAM deriva una aproximación eficiente:

• Aproxima el objetivo ponderado por instancia utilizando una expansión de Taylor de segundo orden.
• Construye una pérdida de lote ponderada $\ell_b(w) = \sum g_i \ell_i(w)$, donde los pesos $g_i$ incorporan tanto las restricciones de pertenencia de grupo como la agudeza de la instancia.
• Se calcula una única perturbación por lote $\epsilon^*$ basada en el gradiente de esta pérdida de lote ponderada, manteniendo la eficiencia computacional de SAM mientras se imponen las restricciones de equidad.

Principales Contribuciones

1. Formulación del Problema: El artículo identifica y formaliza el desafío del "sesgo de robustez" en la clasificación de imágenes bajo corrupción de datos, destacando que los métodos de robustez estándar pueden empeorar inadvertidamente las disparidades de equidad.
2. Propuesta de Métrica: Introducción de la Disparidad de Degradación Corrupta para evaluar la equidad de la degradación del rendimiento entre subgrupos demográficos, distinta de las nociones de equidad de un solo paso.
3. Desarrollo del Marco de Trabajo: Propuesta de FairSAM, el primer marco que integra estrategias de equidad en SAM. Utiliza la reponderación de instancias y la perturbación por lote para promover simultáneamente la robustez y la equidad.
4. Validación Empírica: Experimentos exhaustivos que demuestran que FairSAM logra un compromiso superior entre precisión y equidad en comparación con los modelos de referencia (baselines).

Resultados Experimentales

Los autores evaluaron FairSAM en múltiples conjuntos de datos del mundo real (CelebA, FairFace, LFW, CheXpert) bajo varios tipos de corrupción (nieve, ruido gaussiano, desenfoque) y niveles de severidad.

• Compromiso entre Rendimiento y Equidad: En conjuntos de datos desbalanceados (CelebA) y balanceados (FairFace), FairSAM logró consistentemente la menor Disparidad de Degradación Corrupta ($\Delta p$) entre todos los modelos de referencia, incluyendo Vanilla SAM, GroupSAM, FairReg y GroupDRO.
• Preservación de la Precisión: A diferencia de algunos métodos de equidad que sacrifican la precisión global, FairSAM mantuvo una precisión corrupta competitiva o superior. Por ejemplo, en CelebA con ruido gaussiano, FairSAM alcanzó la mayor precisión corrupta (0.9291) mientras minimizaba $\Delta p$ (0.0073).
• Robustez ante la Asimetría: En experimentos donde los grupos privilegiados enfrentaban un ruido menos severo que los grupos desfavorecidos (ruido asimétrico), FairSAM mantuvo la menor disparidad de degradación a través de diferentes arquitecturas (ResNet-18 y DINOv3).
• Generalización Fuera de la Distribución (OOD): Cuando los modelos entrenados en un conjunto de datos (por ejemplo, CelebA) se probaron en otro (por ejemplo, LFW), FairSAM demostró el $\Delta p$ más bajo, indicando una mejor generalización equitativa en comparación con GroupSAM, que corría el riesgo de desplazar al grupo aventajado a una posición desfavorecida.
• Sensibilidad a Hiperparámetros: El marco resultó ser robusto a la elección de hiperparámetros, siendo $\rho=0.05$ (radio de perturbación) y $c=1$ (presupuesto de peso de grupo) los que proporcionaron el mejor equilibrio.

Significado y Reivindicaciones

El artículo afirma que FairSAM proporciona una solución estructurada para la clasificación de imágenes justa y robusta en presencia de corrupción de datos. Su principal significancia radica en abordar un punto ciego crítico en la investigación de la robustez: la suposición de que las mejoras de robustez agregada benefician a todos los grupos por igual.

Los autores argumentan que:

• La robustez y la equidad están interconectadas; los modelos robustos suelen exhibir una degradación de rendimiento dispar entre los grupos demográficos, lo que puede perpetuar las desigualdades sociales si no se aborda.
• La optimización consciente de la equidad durante el entrenamiento puede lograr resultados equitativos sin sacrificios significativos en la precisión general.
• Los beneficios de este enfoque se extienden más allá de los conjuntos de datos desbalanceados hacia los balanceados, sugiriendo que las disparidades de rendimiento bajo corrupción son impulsadas por sesgos algorítmicos más que por problemas de distribución de datos.

Este trabajo se posiciona como un paso hacia el despliegue de una IA más segura en aplicaciones de alto riesgo (por ejemplo, salud, justicia penal) donde los sistemas deben mantener la equidad bajo condiciones reales y ruidosas. Los autores reconocen las limitaciones, señalando el enfoque actual en atributos sensibles binarios en la clasificación de imágenes, y sugieren que el trabajo futuro debería explorar grupos interseccionales y otros dominios.