Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions

Technische Samenvatting: Bias Laat Een Gradiëntspoor Achter

Probleemstelling
Moderne visuele classifiers bereiken vaak hoge nauwkeurigheid binnen de trainingsverdeling door te profiteren van schijnbare correlaties (shortcuts) in plaats van causale kenmerken. Hoewel deze modellen goed presteren op trainingsdata, falen ze bij verdelingsverschuivingen waarbij deze correlaties verdwijnen. Bestaande methoden voor het mitigeren en analyseren van bias vereisen doorgaans verzorgde datasets met bekende schijnbare attributen of groepslabels, of ze maken hertraining van het model noodzakelijk. In real-world deploy-scenario's staan practitioners echter vaak voor een "bevroren" model zonder toegang tot de oorspronkelijke trainingspiplijn, bias-annotaties of groepslabels. De uitdaging is om deze verborgen schijnbare concepten te identificeren en post-hoc te mitigeren zonder hertraining of extra supervisie.

Methodologie
De auteurs stellen een label-vrije, post-hoc methode voor om schijnbare concepten in bevroren visuele modellen te identificeren en te mitigeren, uitsluitend gebruikmakend van standaard klasselabels uit een terzijde gelegde audit-dataset. De aanpak bestaat uit drie hoofdfasen:

1. Niet-negatieve Conceptdecompositie:

   • Het model $f$ wordt ontbonden in $h \circ g$, waarbij $g$ invoer afbeeldt op intermediate representaties $a$.
   • Voor een doelpuntklasse $y$ verzamelen de auteurs patches van invoer die als $y$ zijn voorspeld en passen Niet-negatieve Matrixfactorisatie (NMF) toe op de activaties $A_y$.
   • Dit levert een klasse-voorwaardelijke bank van interpreteerbare conceptvectoren ($W_y$) en bijbehorende coëfficiënten ($U_y$) op, waardoor de representatie wordt ontbonden in niet-negatieve, semantisch betekenisvolle richtingen.

2. Gradiëntgebaseerde Biasidentificatie:

   • De kernhypothese is dat schijnbare attributen zich manifesteren als onderscheidende conceptrichtingen die asymmetrisch reageren op gradiëntupdates op verkeerd geclassificeerde voorbeelden.
   • Voor verkeerd geclassificeerde voorbeelden (False Negatives en False Positives) berekenen de auteurs de gradiënt van de loss met betrekking tot de representatie ($\nabla_a L$) en passen ze een enkele gradiëntstap toe om een verstoord representatie $a'$ te creëren.
   • Ze observeren hoe de conceptcoëfficiënten veranderen tussen $a$ en $a'$.
   • Intuïtie: Om een False Negative (het missen van de doelpuntklasse) te corrigeren, neigt het model ertoe de schijnbare aanwijzing toe te voegen; om een False Positive (onjuist voorspellen van de doelpuntklasse) te corrigeren, neigt het ertoe de schijnbare aanwijzing te verwijderen. Intrinsieke concepten (ware bewijslast) vertonen dit sterke asymmetrische patroon niet.
   • Een Bias Score ($S_{y,k}$) wordt berekend voor elk concept $k$ op basis van de consistentie van deze toevoegingen en verwijderingen over de audit-set. Concepten met hoge scores worden gerangschikt als kandidaat-biasrichtingen.

3. Mitigatie op Inference-tijd:

   • Zodra biasconcepten zijn geïdentificeerd, worden ze onderdrukt op inference-tijd zonder modelparameters bij te werken.
   • De methode voegt klasse-voorwaardelijke conceptbanken samen, clusterd soortgelijke concepten en projecteert de invoerrepresentatie op de deelruimte orthogonaal aan de geïdentificeerde biasconcepten.
   • De onderdrukte representatie wordt herschaald om de oorspronkelijke activatienorm te behouden voordat classificatie plaatsvindt.

Belangrijkste Bijdragen

• Label-vrije Ontdekking: Een methode om schijnbare concepten in bevroren modellen te identificeren zonder bias- of groepsannotaties, uitsluitend leunend op standaard klasselabels.
• Gradiëntprobes: Een nieuw scoremechanisme dat de interactie tussen conceptactivaties en gradiëntstappen gebruikt om biasconcepten te onderscheiden van intrinsieke bewijslast.
• Hanteerbare Mitigatie: Een praktische onderdrukkingsmethode op inference-tijd die de nauwkeurigheid van de slechtste groep verbetert zonder hertraining of parameterupdates.
• Interpreteerbaarheid: De methode output conceptvectoren met bijbehorende activerende patches, waardoor een interpreteerbare audit mogelijk is van waarop het model zich baseert.

Experimentele Resultaten
De methode werd geëvalueerd op drie standaard benchmarks: Colored MNIST (CMNIST), Waterbirds en CelebA.

• Conceptuitlijning: Op Waterbirds en CMNIST herstelde de NMF-decompositie betrouwbaar concepten die uitgelijnd waren met bekende schijnbare attributen (bijvoorbeeld achtergrondtype voor vogels, kleur voor cijfers).
• Bias-scoren: De voorgestelde gradiëntgebaseerde score slaagde erin bias-uitgelijnde concepten hoger te rangschikken dan intrinsieke. Een drempelwaarde van 0,55 bleek effectief om biasconcepten te scheiden.
• Mitigatieprestaties:
  • Waterbirds: Het onderdrukken van de best gerangschikte concepten verbeterde de nauwkeurigheid van de slechtste groep met 17,9 procentpunten (van 45,9% naar 63,8%) en de nauwkeurigheid van de slechtste klasse met 8,5 punten.
  • CelebA: Hoewel de geïdentificeerde concepten slechts gedeeltelijk samenvielen met het geannoteerde geslachtsattribuut (het vangen van haardikte/haarlengte in plaats van alleen kleur), verbeterde onderdrukking de nauwkeurigheid van de slechtste groep met 10,4 procentpunten (van 43,4% naar 53,8%).
  • CMNIST: De resultaten waren gemengd; hoewel biasconcepten werden geïdentificeerd, verbeterde onderdrukking de nauwkeurigheid van de slechtste groep niet consequent, waarschijnlijk vanwege de strakke verstrengeling van kleur en vorm in de specifieke decompositierang die werd gebruikt.
• Vergelijking: De methode presteerde beter dan een willekeurige onderdrukkingsablatie, wat bevestigt dat de geïdentificeerde richtingen specifiek bias-uitgelijnd zijn. Het werkt zonder de groepslabels of hertraining die nodig zijn voor gesuperviseerde baselines zoals Group DRO of DFR, hoewel het de absolute prestatieniveaus van die hergetrainde modellen niet bereikt.

Betekenis en Claims
Het artikel claimt zowel een interpreteerbaar auditinstrument als een hanteerbare debiasinggreep te bieden voor ingezette visuele modellen. De primaire betekenis ligt in het adresseren van het "ontdekkingsprobleem" waarbij de bias onbekend is en hertraining onhaalbaar is.

• De auteurs benadrukken dat de methode beslissingsrelevante schijnbare richtingen identificeert die niet perfect hoeven samen te vallen met geannoteerde attributen (zoals gezien bij CelebA), en subtiele proxies zoals haarlengte of achtergrondtextuur vangen die modelfouten aandrijven.
• De aanpak wordt gepresenteerd als een kostenloze, post-hoc interventie die kan worden toegepast voordat wordt besloten of meer ingrijpende hertraining gerechtvaardigd is.
• Het artikel erkent beperkingen, waarbij wordt opgemerkt dat decompositie op één schaal van patches moeite kan hebben met ruimtelijk verspreide biases (zoals geslacht op CelebA) en dat de methode een voldoende aantal verkeerd geclassificeerde voorbeelden in de audit-set vereist om effectief te functioneren.