Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

Resumo Técnico: Classificadores de Imagem Contrafactualmente Justos Satisfazem a Justiça de Grupo?

Definição do Problema
A justiça algorítmica em aprendizado de máquina é frequentemente avaliada através de duas perspectivas primárias: a Justiça Contrafactual (CF - Counterfactual Fairness), que exige previsões consistentes quando um atributo sensível sofre uma intervenção, e a Justiça de Grupo (GF - Group Fairness), que visa equalizar os resultados entre grupos demográficos. Embora estudos anteriores sobre dados tabulares tenham sugerido que alcançar a CF implica satisfazer a GF sob condições específicas de Modelos Causais Estruturais (SCM), essa relação permanece incerta na classificação de imagens. O principal obstáculo tem sido a falta de conjuntos de dados de avaliação de alta qualidade contendo imagens contrafactuais (onde apenas o atributo sensível muda enquanto outros atributos não causais permanecem constantes). Os métodos generativos existentes frequentemente produzem imagens de baixa qualidade ou falham em preservar a identidade, tornando impossível uma avaliação rigorosa da CF em tarefas visuais.

Metodologia
Para abordar a escassez de dados e investigar a relação CF-GF, os autores propõem uma abordagem de três frentes:

1. Construção de Dataset (CelebA-CF e LFW-CF):

   • Os autores construíram novos benchmarks baseados nos populares datasets CelebA e LFW.
   • Eles utilizaram o InstructPix2Pix (IP2P), um modelo de edição de imagem baseado em difusão de alta qualidade, para gerar amostras contrafactuais alterando o atributo sensível (sexo) enquanto preservam a identidade e outros atributos.
   • Um rigoroso pipeline de anotação humana foi empregado. Cinco anotadores filtraram os pares gerados com base em dez atributos visuais específicos (ex: pelos faciais, linha da mandíbula, maquiagem) para garantir que o atributo sensível mudasse corretamente e que os atributos não sensíveis permanecessem consistentes.
   • Uma segunda rodada de cinco anotadores distintos verificou a confiabilidade dos datasets filtrados, confirmando alta precisão tanto na alteração do atributo sensível quanto na preservação dos atributos não sensíveis.

2. Análise Teórica:

   • Os autores analisaram a relação entre CF e GF usando SCMs para geração de imagens.
   • Eles identificaram uma distinção crítica entre dados tabulares e de imagem: em imagens, atributos sensíveis (ex: sexo) são frequentemente correlacionados com, mas não causalmente responsáveis por, outros atributos latentes (denotados como $G$, ex: comprimento do cabelo).
   • O Teorema 4.1 demonstra que, se um modelo contrafactualmente justo depende de um atributo latente $G$ que é correlacionado com o atributo sensível $A$, mas não é causado por ele, o modelo pode satisfazer a CF, mas falhar em satisfazer a Justiça de Grupo (especificamente, Igualdade de Oportunidades/Equalized Odds). A Disparidade de Igualdade de Oportunidades (DEO) é mostrada como sendo limitada superiormente pela sensibilidade do modelo a $G$.

3. Solução Proposta: Destilação de Conhecimento Contrafactual (CKD):

   • Motivados pelo achado teórico de que reduzir a dependência de $G$ é necessário para alcançar tanto a CF quanto a GF, os autores propuseram a CKD.
   • A CKD combina a regularização por Pareamento Contrafactual (CP) (para impor a CF) com a Destilação de Conhecimento (KD).
   • Um modelo "professor" (especificamente um modelo treinado de forma vanilla, encontrado como mais robusto a $G$ do que os modelos treinados por CP) fornece representações alvo. O modelo aluno é treinado para alinhar suas representações de amostras originais e contrafactuais com as representações médias do professor. Este processo destila a robustez contra o atributo latente $G$ ao mesmo tempo em que mantém a consistência contrafactual.

Resultados Principais
Experimentos extensivos foram conduzidos nos novos datasets Celebá-CF e LFW-CF, bem como em um dataset sintético (CIFAR-10B) onde a correlação entre $A$ e $G$ poderia ser controlada.

• CF não implica GF em imagens: Resultados empíricos mostraram que modelos que alcançam baixa Disparidade Contrafactual (CD) via métodos padrão de CF (como CP) frequentemente exibiram alta Disparidade de Igualdade de Oportunidades (DEO). Isso contradiz os achados em dados tabulares e confirma a hipótese teórica de que a dependência de atributos latentes $G$ quebra o elo CF-GF.
• Papel do Atributo Latente $G$: Experimentos manipulando atributos como "comprimento do cabelo" (como $G$) confirmaram que modelos focados em CF (CP) eram mais sensíveis a mudanças em $G$ (maior Taxa de Inversão de Predições) do que modelos vanilla, levando a métricas de GF piores.
• Eficácia da CKD: O método proposto CKD conseguiu reduzir a dependência do modelo em relação a $G$. Consequentemente, modelos otimizados por CKD alcançaram tanto baixa CD (satisfazendo CF) quanto baixa DEO (satisfazendo GF) simultaneamente.
• Robustez do Modelo Professor: O estudo descobriu que usar um modelo treinado de forma vanilla como professor (que é menos dependente de $G$) rendeu melhores resultados de GF do que usar um professor treinado por CP, validando ainda mais o mecanismo de CKD.

Significância e Alegações
O artigo alega três contribuições principais:

1. Benchmarks: A introdução do CelebA-CF e LFW-CF, os primeiros datasets de imagens contrafactuais de alta qualidade e verificados por humanos para avaliar a CF em cenários do mundo real.
2. Insight Teórico: A demonstração de que CF não necessariamente implica GF na classificação de imagens devido à existência de atributos latentes ($G$) correlacionados com, mas não causados pelo, atributo sensível. Isso desafia a generalização das garantias de justiça baseadas em SCM de domínios tabulares para visuais.
3. Mitigação Prática: A proposta da CKD, um baseline simples que mitiga efetivamente a dependência de tais atributos latentes, permitendo que modelos satisfaçam simultaneamente as noções de justiça contrafactual e de grupo.

Os autores concluem que preencher a lacuna entre CF e GF na classificação de imagens requer abordar explicitamente a dependência do modelo em relação a atributos latentes correlacionados, um desafio que os métodos de CF padrão não conseguem resolver, mas que a CKD resolve com sucesso.