Explanatory Interactive Machine Learning for Bias Mitigation in Visual Gender Classification

Probleemstelling

Machine Learning-modellen, met name voor visuele classificatie, lijden vaak onder data-bias. In plaats van op relevante objectkenmerken te vertrouwen, leren deze modellen spurious correlations (schijnbare correlaties) en stereotypen. Een klassiek voorbeeld is geslachtsclassificatie, waar modellen zich kunnen laten leiden door achtergrondobjecten, kleding of context in plaats van de persoon zelf. Bestaande methoden voor bias-mitigatie focussen vaak puur op het trainingsproces of het verwijderen van bias na het trainen, maar bieden beperkte mogelijkheden voor menselijke interventie om de reden achter een voorspelling te corrigeren.

Het paper onderzoekt of Explanatory Interactive Learning (XIL) een effectieve strategie is om deze bias te detecteren en te verminderen. XIL integreert uitlegbaarheid (XAI) in de feedback-loop, zodat gebruikers niet alleen labels kunnen corrigeren, maar ook kunnen aangeven welke beeldregio's relevant of irrelevant zijn voor een voorspelling.

Methodologie

De auteurs onderzoeken twee bestaande state-of-the-art XIL-strategieën en stellen een nieuwe hybride aanpak voor:

1. CAIPI (Counterfactual Augmentation for Interactive Learning):

   • Deze methode genereert synthetische tegenvoorbeelden (counterexamples).
   • Gebaseerd op segmentatiemaskers (die de relevante persoon aangeven), worden transformaties (zoals kleurveranderingen, posterisatie, etc.) toegepast op de irrelevante regio's van de afbeelding, terwijl het label ongewijzigd blijft.
   • Dit dwingt het model om te leren dat veranderingen in de achtergrond of kleding de classificatie niet mogen beïnvloeden.

2. RRR (Right for the Right Reasons):

   • Deze methode voegt een extra term toe aan de verliesfunctie (loss function).
   • Naast de standaard cross-entropy (voor het juiste antwoord), straft de "Right Reasons"-term grote gradiënten in door de gebruiker als irrelevant gemarkeerde regio's.
   • Het doel is dat het model het juiste antwoord geeft, maar om de juiste redenen (d.w.z. gebaseerd op de relevante regio's).

3. Hybride Aanpak:

   • Een combinatie van beide methoden: eerst wordt de dataset verrijkt met CAIPI-augmentaties, waarna het model wordt getraind met de RRR-verliesfunctie.

Experimenteel Opzet:

• Dataset: Een handmatig gecurateerde subset van MS COCO (1.830 afbeeldingen, evenwichtig verdeeld over man/vrouw) met pixel-accurate segmentatiemaskers.
• Basismodellen: Zes CNN-architecturen (o.a. EfficientNet-B0, ResNet50, VGG16) voorgeïmplementeerd op ImageNet.
• Uitlegbaarheid (XAI): Twee methoden worden gebruikt om te visualiseren waar het model naar kijkt:
  • GradCAM: Een post-hoc methode die warmtekaarten genereert op basis van gradiënten.
  • BLA (Bounded Logit Attention): Een zelf-verklarende module die tijdens het trainen wordt meegelerend en inherent betrouwbare uitleggen biedt.
• Selectiestrategieën: Onzekerheidsselectie (uncertainty sampling) en hoge-zekerheidsselectie (high-confidence sampling) om te bepalen welke afbeeldingen voor feedback worden gebruikt.

Kernbijdragen

1. Systematisch Onderzoek: Een grondige evaluatie van de capaciteit van XIL om genderbias in beeldclassificatoren te mitigeren.
2. Hybride Strategie: Voorstel en validatie van een nieuwe combinatie van CAIPI en RRR om zowel nauwkeurigheid als eerlijkheid te optimaliseren.
3. Kwalitatieve Analyse: Een analyse van hoe goed modellen leren focussen op relevante regio's, vergeleken tussen post-hoc (GradCAM) en zelf-verklarende (BLA) methoden.

Resultaten

De resultaten zijn geëvalueerd op basis van classificatienauwkeurigheid en specifieke bias-metrics (DICE-score, Foreground Focus Proportion, Background Saliency Ratio).

• Bias Mitigatie: Alle XIL-methoden verbeterden de focus op relevante regio's (de persoon) en verminderden de aandacht voor irrelevante achtergronden.
  • CAIPI presteerde het beste in het verbeteren van de DICE-score (overlap tussen model-attentie en ground truth), vooral bij het gebruik van hoge-zekerheidsstalen.
  • De Hybride aanpak toonde de sterkste vermindering van achtergrond-afhankelijkheid (laagste BFP en BSR waarden).
  • RRR had een minder uitgesproken effect op de bias-vermindering vergeleken met CAIPI.
• Nauwkeurigheid: Over het algemeen leidde bias-mitigatie tot een lichte daling in classificatienauwkeurigheid (enkele procentpunten).
  • Uitzondering: CAIPI met onzekerheidsstalen en $k=1$ resulteerde zelfs in een lichte verbetering van de nauwkeurigheid (van 74,58% naar 75,42%), wat aantoont dat eerlijkheid niet per se ten koste hoeft te gaan van prestaties.
• Fairness: De verhouding tussen misclassificaties voor mannen en vrouwen werd meer in evenwicht gebracht. In de baseline werden vrouwen vaker verkeerd geclassificeerd (53,8%) dan mannen (46,2%); bij de XIL-methoden naderden deze percentages elkaar.
• Invloed van XAI en Sampling:
  • High-confidence sampling bleek effectiever dan uncertainty sampling voor XIL (in tegenstelling tot traditioneel Active Learning).
  • BLA leverde over het algemeen betere resultaten op dan GradCAM, waarschijnlijk omdat BLA tijdens het trainen wordt meegelerend en dus consistenter is met het model.

Betekenis en Conclusie

Dit paper demonstreert dat Explanatory Interactive Learning een krachtig instrument is om bias in visuele AI-systemen te bestrijden. Door gebruikersfeedback te integreren op het niveau van uitleggen (waar kijkt het model naar?), kunnen modellen worden gestuurd om zich te richten op semantisch relevante kenmerken in plaats van stereotypen.

De belangrijkste bevindingen zijn:

1. XIL-methoden verbeteren de transparantie en eerlijkheid van modellen, vaak met slechts een minimale prijs in nauwkeurigheid.
2. De combinatie van data-augmentatie (CAIPI) en verlies-functie regularisatie (RRR) in een hybride model biedt de meest robuuste oplossing.
3. Het gebruik van zelf-verklarende modellen (BLA) en het selecteren van stalen met hoge zekerheid zijn cruciale factoren voor succes.

De auteurs merken op dat de huidige studie gebruikmaakte van gesimuleerde gebruikersfeedback (via segmentatiemaskers). De volgende stap is het testen van deze methoden met echte menselijke gebruikers in een interactieve setting om de praktische bruikbaarheid verder te valideren.