Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

Technische Samenvatting: Voldoen Counterfactueel Eerlijke Image Classifiers aan Groepseerlijkheid?

Probleemstelling
Algoritmische eerlijkheid in machine learning wordt vaak geëvalueerd via twee primaire lenzen: Counterfactuele Eerlijkheid (CF), wat consistente voorspellingen vereist wanneer een gevoelig attribuut wordt ingegrepen, en Groepseerlijkheid (GF), wat streeft naar het gelijkstellen van uitkomsten over demografische groepen. Hoewel eerdere studies naar tabeldata suggereerden dat het bereiken van CF het voldoen aan GF impliceert onder specifieke Structurele Causale Model (SCM) condities, blijft deze relatie onduidelijk bij beeldclassificatie. Het belangrijkste obstakel is het gebrek aan hoogwaardige evaluatiedatasets met counterfactuele afbeeldingen (waarbij alleen het gevoelige attribuut verandert terwijl andere niet-causale attributen constant blijven). Bestaande generatieve methoden produceren vaak afbeeldingen van lage kwaliteit of falen om identiteit te behouden, wat een rigoureuze evaluatie van CF in visuele taken onmogelijk maakt.

Methodologie
Om de schaarste aan data aan te pakken en de CF-GF relatie te onderzoeken, stellen de auteurs een drieledige aanpak voor:

1. Dataset Constructie (CelebA-CF en LFW-CF):

   • De auteurs hebben nieuwe benchmarks geconstrueerd op basis van de populaire CelebA en LFW datasets.
   • Ze gebruikten InstructPix2Pix (IP2P), een hoogwaardig op diffusie gebaseerd image editing model, om counterfactuele samples te genereren door het gevoelige attribuut (geslacht) te wijzigen terwijl de identiteit en andere attributen behouden blijven.
   • Een rigoureus menselijk annotatieproces werd toegepast. Vijf annotatoren filterden gegenereerde paren op basis van tien specifieke visuele attributen (bijv. gezichtsbeharing, kaaklijn, make-up) om te garanderen dat het gevoelige attribuut correct veranderde en niet-gevoelige attributen consistent bleven.
   • Een tweede ronde van vijf verschillende annotatoren verifieerde de betrouwbaarheid van de gefilterde datasets, waarbij werd bevestigd dat er een hoge nauwkeurigheid was in zowel de wijziging van het gevoelige attribuut als het behoud van niet-gevoelige attributen.

2. Theoretische Analyse:

   • De auteurs analyseerden de relatie tussen CF en GF met behulp van SCM's voor beeldgeneratie.
   • Ze identificeerden een cruciaal onderscheid tussen tabeldata en beelddata: in afbeeldingen zijn gevoelige attributen (bijv. geslacht) vaak gecorreleerd met, maar niet causaal verantwoordelijk voor, andere latente attributen (aangeduid als $G$, bijv. haarlengte).
   • Theorem 4.1 demonstreert dat als een counterfactueel eerlijk model leunt op een latent attribuut $G$ dat gecorreleerd is met het gevoelige attribuut $A$ maar er niet door wordt veroorzaakt, het model CF kan vervullen maar kan falen in het voldoen aan Groepseerlijkheid (specifiek Equalized Odds). De Dispariteit van Equalized Odds (DEO) wordt getoond begrensd door de sensitiviteit van het model voor $G$.

3. Voorgestelde Oplossing: Counterfactual Knowledge Distillation (CKD):

   • Gemotiveerd door de theoretische bevinding dat het verminderen van de afhankelijkheid van $G$ noodzakelijk is om zowel CF als GF te bereiken, stellen de auteurs CKD voor.
   • CKD combineert Counterfactual Pairing (CP) regularisatie (om CF af te dwingen) met Knowledge Distillation (KD).
   • Een "teacher" model (specifiek een vanilla-getraind model dat meer robuust is tegen $G$ dan CP-getrainde modellen) levert doel-representaties. Het student-model wordt getraind om de representaties van zowel originele als counterfactuele samples af te stemmen op de gemiddelde representaties van de teacher. Dit proces distilleert robuustheid tegen het latente attribuut $G$ terwijl counterfactuele consistentie behouden blijft.

Belangrijkste Resultaten
Uitgebreide experimenten werden uitgevoerd op de nieuw gecreëerde CelebA-CF en LFW-CF datasets, evenals op een synthetische dataset (CIFAR-10B) waar de correlatie tussen $A$ en $G$ gecontroleerd kon worden.

• CF impliceert niet GF in afbeeldingen: Empirische resultaten toonden aan dat modellen die een lage Counterfactual Disparity (CD) bereiken via standaard CF-bewuste methoden (zoals CP) vaak een hoge Disparity of Equalized Odds (DEO) vertoonden. Dit spreekt de bevindingen in tabeldata tegen en bevestigt de theoretische hypothese dat de afhankelijkheid van latente attributen $G$ de CF-GF link verbreekt.
• Rol van Latent Attribuut $G$: Experimenten waarbij attributen zoals "haarlengte" (als $G$) werden gemanipuleerd, bevestigden dat CF-bewuste modellen (CP) gevoeliger waren voor veranderingen in $G$ (hogere Rate of Flipped Predictions) dan vanilla modellen, wat leidde tot slechtere GF-metrieken.
• Effectiviteit van CKD: De voorgestelde CKD-methode slaagde erin de afhankelijkheid van het model voor $G$ te verminderen. Bij consequentie bereikten CKD-geoptimaliseerde modellen zowel een lage CD (voldoen aan CF) als een lage DEO (voldoen aan GF) simultaan.
• Teacher Model Robustheid: De studie vond dat het gebruik van een vanilla-getraind model als de teacher (dat minder afhankelijk is van $G$) betere GF-resultaten opleverde dan een CP-getrainde teacher, wat het mechanisme van CKD verder valideert.

Significantie en Claims
Het artikel claimt drie hoofdbijdragen:

1. Benchmarks: De introductie van CelebA-CF en LFW-CF, de eerste hoogwaardige, door mensen geverifieerde counterfactuele beelddatasets voor het evalueren van CF in real-world scenario's.
2. Theoretisch Inzicht: De demonstratie dat CF niet noodzakelijkerwijs GF impliceert in beeldclassificatie vanwege het bestaan van latente attributen ($G$) die gecorreleerd zijn met, maar niet worden veroorzaakt door, het gevoelige attribuut. Dit daagt de generaliseerbaarheid van SCM-gebaseerde eerlijkheidsgaranties van tabel naar visuele domeinen uit.
3. Praktische Mitigatie: Het voorstel van CKD, een eenvoudige baseline die effectief de afhankelijkheid van dergelijke latente attributen mitigeert, waardoor modellen simultaan aan zowel counterfactuele als groepseerlijkheid concepten kunnen voldoen.

De auteurs concluderen dat het overbruggen van de kloof tussen CF en GF in beeldclassificatie vereist dat de afhankelijkheid van het model van gecorreleerde latente attributen expliciet wordt geadresseerd, een uitdaging waar standaard CF-methoden niet in slagen maar CKD succesvol oplost.