Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

Resumen Técnico: ¿Cumplen los clasificadores de imágenes contrafácticamente justos con la equidad de grupo?

Planteamiento del problema
La equidad algorítmica en el aprendizaje automático se evalúa a menudo a través de dos lentes primarios: la Equidad Contrafactual (CF, por sus siglas en inglés), que requiere predicciones consistentes cuando se interviene sobre un atributo sensible, y la Equidad de Grupo (GF, por sus siglas en inglés), que busca igualar los resultados entre grupos demográficos. Aunque estudios previos sobre datos tabulares sugirieron que lograr la CF implica satisfacer la GF bajo condiciones específicas de Modelos Causales Estructurales (SCM), esta relación sigue siendo incierta en la clasificación de imágenes. El obstáculo principal ha sido la falta de conjuntos de datos de evaluación de alta calidad que contengan imágenes contrafácticas (donde solo cambia el atributo sensible mientras que otros atributos no causales permanecen constantes). Los métodos generativos existentes suelen producir imágenes de baja calidad o fallan en preservar la identidad, lo que hace imposible la evaluación rigurosa de la CF en tareas visuales.

Metodología
Para abordar la escasez de datos e investigar la relación CF-GF, los autores proponen un enfoque de tres vertientes:

1. Construcción de Datasets (CelebA-CF y LFW-CF):

   • Los autores construyeron nuevos referentes basados en los populares conjuntos de datos CelebA y LFW.
   • Utilizaron InstructPix2Pix (IP2P), un modelo de edición de imágenes basado en difusión de alta calidad, para generar muestras contrafácticas alterando el atributo sensible (sexo) mientras se preserva la identidad y otros atributos.
   • Se empleó un riguroso proceso de anotación humana. Cinco anotadores filtraron los pares generados basándose en diez atributos visuales específicos (por ejemplo, vello facial, línea de la mandíbula, maquillaje) para asegurar que el atributo sensible cambiara correctamente y que los atributos no sensibles permanecieran consistentes.
   • Una segunda ronda de cinco anotadores distintos verificó la fiabilidad de los conjuntos de datos filtrados, confirmando una alta precisión tanto en la alteración del atributo sensible como en la preservación de los atributos no sensibles.

2. Análisis Teórico:

   • Los autores analizaron la relación entre CF y GF utilizando SCMs para la generación de imágenes.
   • Identificaron una distinción crítica entre los datos tabulares y los de imagen: en las imágenes, los atributos sensibles (por ejemplo, el sexo) suelen estar correlacionados con, pero no son causalmente responsables de, otros atributos latentes (denotados como $G$, por ejemplo, el largo del cabello).
   • El Teorema 4.1 demuestra que si un modelo contrafácticamente justo depende de un atributo latente $G$ que está correlacionado con el atributo sensible $A$ pero no es causado por este, el modelo puede satisfacer la CF pero fallar en satisfacer la Equidad de Grupo (específicamente, la Igualdad de Oportunidades o Equalized Odds). Se demuestra que la Disparidad de la Igualdad de Oportunidades (DEO) está acotada superiormente por la sensibilidad del modelo hacia $G$.

3. Solución Propuesta: Destilación de Conocimiento Contrafactual (CKD):

   • Motivados por el hallazgo teórico de que reducir la dependencia de $G$ es necesario para lograr tanto la CF como la GF, los autores propusieron la CKD.
   • La CKD combina la regularización de Emparejamiento Contrafactual (CP) (para imponer la CF) con la Destilación de Conocimiento (KD).
   • Un modelo "profesor" (específicamente un modelo entrenado de forma convencional/vanilla que resulta ser más robusto a $G$ que los modelos entrenados con CP) proporciona representaciones objetivo. El modelo estudiante es entrenado para alinear sus representaciones de tanto las muestras originales como las contrafácticas con las representaciones promediadas del profesor. Este proceso destila la robustez contra el atributo latente $G$ mientras mantiene la consistencia contrafactual.

Resultados Clave
Se realizaron experimentos extensos en los nuevos datasets CelebA-CF y LFW-CF, así como en un dataset sintético (CIFAR-10B) donde la correlación entre $A$ y $G$ podía controlarse.

• La CF no implica la GF en imágenes: Los resultados empíricos mostraron que los modelos que logran una baja Disparidad Contrafactual (CD) mediante métodos estándar de CF (como CP) a menudo exhibieron una alta Disparidad de la Igualdad de Oportunidades (DEO). Esto contradice los hallazgos en datos tabulares y confirma la hipótesis teórica de que la dependencia de atributos latentes $G$ rompe el vínculo CF-GF.
• Rol del Atributo Latente $G$: Los experimentos manipulando atributos como el "largo del cabello" (como $G$) confirmaron que los modelos orientados a la CF (CP) eran más sensibles a los cambios en $G$ (mayor Tasa de Predicciones Volteadas) que los modelos convencionales (vanilla), lo que conduce a peores métricas de GF.
• Efectividad de la CKD: El método propuesto CKD logró reducir con éxito la dependencia del modelo hacia $G$. En consecuencia, los modelos optimizados con CKD lograron simultáneamente una baja CD (satisfaciendo la CF) y una baja DEO (satisfaciendo la GF).
• Robustez del Modelo Profesor: El estudio encontró que utilizar un modelo entrenado de forma convencional como profesor (que es menos dependiente de $G$) producía mejores resultados de GF que utilizar un profesor entrenado con CP, validando aún más el mecanismo de la CKD.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones principales:

1. Benchmarks: La introducción de CelebA-CF y LFW-CF, los primeros conjuntos de datos de imágenes contrafácticas de alta calidad y verificados por humanos para evaluar la CF en escenarios del mundo real.
2. Perspectiva Teórica: La demostración de que la CF no necesariamente implica la GF en la clasificación de imágenes debido a la existencia de atributos latentes ($G$) correlacionados con, pero no causados por, el atributo sensible. Esto desafía la generalizabilidad de las garantías de equidad basadas en SCM desde el dominio tabular al visual.
3. Mitigación Práctica: La propuesta de CKD, una línea base simple que mitiga eficazmente la dependencia de tales atributos latentes, permitiendo que los modelos satisfagan simultáneamente las nociones de equidad contrafactual y de grupo.

Los autores concluyen que cerrar la brecha entre la CF y la GF en la clasificación de imágenes requiere abordar explícitamente la dependencia del modelo hacia los atributos latentes correlacionados, un desafío que los métodos de CF estándar no logran resolver pero que la CKD logra solucionar con éxito.