Technisch Samenvatting: CIFA – Contextuele-Intersectionele Rechtvaardigheidsauditing voor het Ontdekken van Verborgen Subgroepen in Gezichtsanalyse

Probleemstelling

Huidige rechtvaardigheidsevaluatie in computer vision leunt voornamelijk op geaggregeerde nauwkeurigheid en demografische subgroepanalyse (bijv. ras, geslacht, leeftijd). Hoewel deze metrieken standaard zijn, schieten ze vaak tekort in het vastleggen van prestatievermindering veroorzaakt door de interactie tussen demografische kenmerken en contextuele factoren zoals verlichting, onscherpte, beeldkwaliteit, gezichtaccessoires en pose.

Het artikel stelt dat visuele modellen een sterke geaggregeerde nauwkeurigheid en acceptabele demografische rechtvaardigheid kunnen vertonen, terwijl ze tegelijkertijd aanzienlijke fouten maken binnen specifieke contextuele-intersectionele subgroepen. Deze "verborgen subgroepen" ontstaan wanneer demografische attributen interageren met uitdagende visuele omstandigheden, wat prestatieverschillen creëert die onopgemerkt blijven door conventionele evaluatieprotocollen. De auteurs citeren de onterechte arrestatie van Robert Williams als een reëel gevolg van dergelijke vooroordelen, waarbij een systeem faalde om een individu correct te identificeren vanwege interacties tussen demografische en contextuele factoren die niet door standaard audits werden gevangen.

Methodologie: Het CIFA-framework

Om dit gat te dichten, stellen de auteurs het Contextual-Intersectional Fairness Auditing Framework (CIFA) voor. CIFA is een gestructureerd, model-agnostisch protocol dat is ontworpen om de kwetsbaarheden van verborgen subgroepen te identificeren, te rangschikken en opnieuw te beoordelen via een verenigde audit–mitigeer–re-audit pijplijn.

1. Multi-level Auditing

CIFA evalueert de modelprestaties over drie verschillende families van groepen gedefinieerd op een dataset $D = \{(x_i, y_i, a_i, c_i)\}$, waarbij $x$ de afbeelding is, $y$ het label, $a$ de demografische attributen vertegenwoordigt en $c$ de contextuele attributen:

• Demografische Auditing ($\mathcal{G}_d$): Evalueert prestaties over demografische groepen (bijv. ras, geslacht) onafhankelijk.
• Contextuele Auditing ($\mathcal{G}_c$): Evalueert prestaties over contextuele condities (bijv. weinig licht, onscherpte, brillen) onafhankelijk.
• Contextuele-Intersectionele Auditing ($\mathcal{G}_{dc}$): Evalueert de intersectie van demografische en contextuele attributen (bijv. "zwarte vrouwen bij lage verlichting"). Dit is de kerninnovatie, gedefinieerd als $g = \text{ras} \times \text{leeftijd} \times \text{verlichting} \times \text{beeldkwaliteit}$.

2. Ontdekking van de Slechtste Groep (Worst-Group Discovery)

Het framework berekent de groep-niveau nauwkeurigheid ($A_g$) en identificeert de slechtst presterende subgroep ($A_{\text{worst}}$). Het berekent de overall-naar-groep kloof ($\Delta_g = A_{\text{all}} - A_g$) en de standaarddeviatie van de groep-nauwkeurigheden om ongelijkheid te kwantificeren. Dit proces rangschikt attribuutcombinaties die verantwoordelijk zijn voor de grootste fouten, waarbij onderscheid wordt gemaakt tussen "zichtbare" ongelijkheden (gedetecteerd door demografische-alleen audits) en "verborgen" ongelijkheden (die alleen aan het licht komen onder contextuele-intersectionele analyse).

3. Audit–Mitigeer–Re-Audit Protocol

CIFA ondersteunt een systematische workflow om de effectiviteit van mitigatie te verifiëren:

1. Audit: Stel de baseline-prestaties vast en identificeer de slechtste-geval subgroepen.
2. Mitigeer: Pas gevestigde strategieën toe met behulp van dezelfde subgroepdefinities. Het artikel evalueert:
   • Contextuele Augmentatie (label-behoudende transformaties voor verlichting/kwaliteit).
   • Gebalanceerde Sampling (oversampling van ondervertegenwoordigde groepen).
   • Group-Weighted Cross-Entropy (herwegen van loss op basis van groepsfrequentie).
   • Group Distributionally Robust Optimization (Group DRO).
   • Combinaties van bovenstaande methoden.
3. Re-Audit: Pas het CIFA-protocol opnieuw toe op het gemitigeerde model. Effectiviteit wordt gemeten door veranderingen in $A_{\text{worst}}$, $\Delta_{\text{worst}}$ en groepsvariantie, in plaats van alleen de geaggregeerde nauwkeurigheid.

Experimentele Opstelling

Het framework werd geëvalueerd op geslachtsklassificatie-taken met behruik van ResNet-50 en ViT-B/16 architecturen over drie datasets:

• FairFace: Gebalanceerde ras-, geslacht- en leeftijdannotaties.
• UTKFace: Variatie in leeftijd, geslacht en etniciteit.
• CelebA: Rijke gezichtsatribuutannotaties (brillen, make-up, etc.) gebruikt als contextuele variabelen.

Contextuele attributen werden afgeleid van datasetannotaties of geschat via beeld-niveau statistieken (bijv. helderheid voor verlichting, Laplacian variantie voor beeldkwaliteit).

Belangrijkste Resultaten

De experimenten demonstreren dat geaggregeerde nauwkeurigheid vaak ernstige subgroepfouten maskeert:

• Verborgen Dispariteiten: Terwijl de geaggregeerde nauwkeurigheid hoog bleef (92,34% – 98,94%), daalde de nauwkeurigheid van de slechtste groep aanzienlijk. Op UTKFace met ResNet-50 was de nauwkeurigheid van de slechtste groep 65,91%, wat een gat van 26,43% creëert ten opzichte van de geaggregeerde waarde. Vergelijkbare gaten van meer dan 21% werden waargenomen op FairFace.
• Contextuele Impact: Contextuele factoren (bijv. lage beeldkwaliteit, hoge verlichting, onscherpte) degradeerden de prestaties onafhankelijk, maar hun intersectie met demografie creëerde de meest ernstige fouten.
• Beperkingen van Mitigatie: Geen enkele mitigatiestrategie elimineerde consistent de dispariteiten over alle datasets en architecturen heen.
  • Group DRO vertoonde een significante reductie van de kloof op UTKFace (het verminderen van de kloof van 26,43% naar 16,68% voor ResNet-50).
  • Group-weighted Cross-Entropy presteerde goed op CelebA en FairFace.
  • Context Augmentation verbeterde de nauwkeurigheid van de slechtste groep op FairFace, maar verminderde niet consistent de kloven in alle settings.
• Noodzaak van Re-Audit: De resultaten bevestigen dat mitigatiestrategieën geëvalueerd moeten worden via re-auditing van specifieke subgroepdefinities, aangezien verbeteringen in geaggregeerde nauwkeurigheid geen garantie bieden voor de vermindering van de nauwkeurigheid van de slechtste groepen.

Betekenis en Claims

Het artikel beweert dat CIFA een reproduceerbaar framework biedt voor het ontdekken, prioriteren en opnieuw beoordelen van verborgen subgroeprisico's in gezichtsanalyse-systemen. De primaire bijdragen zijn:

1. Verenigd Framework: Het is het eerste dat demografische, contextuele en contextuele-intersectionele auditing integreert binnen één protocol dat iteratieve mitigatie en her-evaluatie ondersteunt.
2. Blootleggen van Verborgen Kwetsbaarheden: Het demonstreert dat een hoge geaggregeerde nauwkeurigheid substantiële contextuele-intersectionele fouten kan verbergen, die met name de ondervertegenwoordigde groepen in uitdagende visuele condities treffen.
3. Evaluatie van Mitigatie: Het stelt vast dat standaard mitigatiestrategieën een variabele effectiviteit hebben en dat systematische re-auditing essentieel is om te verifiëren of specifieke kwetsbaarheden daadwerkelijk worden verminderd.

De auteurs positioneren CIFA als een noodzakelijke evolutie voorbij demografische-alleen rechtvaardigheid, waarbij zij beargumenteren dat visuele context moet worden behand als een expliciete auditing-dimensie om een rechtvaardige prestatie te garanderen in kritieke toepassingen. Het artikel concludeert bescheiden door te merken dat hoewel de resultaten significante problemen in geslachtsklassificatie belichten, deze niet als uitputtend bewijs voor alle computer vision-taken of modelfamilies moeten worden geïnterpreteerd, en dat toekomstig werk het framework naar bredere taken en foundation models moet uitbreiden.