Debugging Concept Bottleneck Models through Removal and Retraining

Titel: Debugging Concept Bottleneck Models Through Removal and Retraining

Auteurs: Eric Enouen en Sainyam Galhotra (Cornell University)

---

1. Het Probleem

Concept Bottleneck Models (CBM's) zijn een krachtige architectuur voor interpreteerbare visuele classificatie. Ze voorspellen een eindlabel via een tussenlaag van menselijk interpreteerbare concepten (bijv. "snavel", "achtergrond"). Hoewel dit experts toestaat om de redenering van het model te controleren en ingrijpen tijdens het testen (bijv. het corrigeren van een verkeerd voorspeld concept), blijken deze ingrepen vaak ontoereikend voor systematische fouten.

Het kernprobleem is misalignement tussen het model en de expertise van de domain expert. Modellen leren vaak "shortcuts" (spurious correlations) uit gebiosteerde data. Bijvoorbeeld, een model dat vogels classificeert, kan leren dat vogels op de achtergrond "zee" of "strand" zijn in plaats van op de kenmerken van de vogel zelf.

• Beperking van bestaande methoden: Testtijd-ingrepen lossen alleen oppervlakkige fouten op; de onderliggende redeneringsfouten blijven bestaan en treden opnieuw op bij nieuwe data.
• Huidige oplossingen: Supervised CBM's vereisen dure concept-annotaties en zijn vatbaar voor "concept leakage". Unsupervised CBM's zijn flexibeler maar kunnen concepten leren die afwijken van expertkennis. Bestaande debug-methoden missen vaak een systematische aanpak om de modelredenering globaal aan te passen aan expertfeedback.

2. Methodologie: Het CBDebug Framework

De auteurs stellen een algemeen interpreteerbaar debug-framework voor dat bestaat uit twee stappen: Verwijdering (Removal) en Opnieuw Trainen (Retraining). Het doel is om het model te laten vertrouwen op de juiste redenen ("right for the right reasons").

Stap 1: Verwijdering (Removal)

• Een domain expert inspecteert de concept-uitingen van een getraind CBM.
• De expert identificeert en markeert een subset van ongewenste concepten ($C_{spur}$), zoals achtergrondconcepten die niet relevant zijn voor de taak.
• Deze concepten worden uit het conceptvocabulaire verwijderd. Echter, alleen verwijderen is vaak niet genoeg omdat resterende concepten nog steeds signalen van de verwijderde concepten kunnen dragen, of omdat het model door het verwijderen van de "shortcut" zijn prestaties verliest.

Stap 2: Opnieuw Trainen (Retraining) met CBDebug

Om het model effectief aan te passen, introduceren de auteurs CBDebug. Deze methode behandelt expertfeedback als een causale interventie en volgt drie sub-stappen:

1. Labeling (Genereren van hulplabels):

   • De expertfeedback (welke concepten zijn ongewenst) wordt omgezet in sample-level hulplabels.
   • Het model wordt gebruikt om activatiescores te verzamelen voor de ongewenste concepten ($C_{spur}$) over de volledige trainingsset. Deze scores vormen een geschatte matrix van hulplabels ($\hat{V}$).

2. Reweighting (Hergewichten):

   • Er wordt gebruik gemaakt van Permutation Weighting (Arbour et al., 2021).
   • Het doel is om de correlatie tussen de hulplabels ($\hat{V}$) en de echte labels ($Y$) te doorbreken.
   • Er wordt een dataset $D$ gemaakt (de oorspronkelijke, geconfundeerde verdeling) en een dataset $D'$ (waarbij de labels $Y$ willekeurig zijn gepermuteerd, wat de onconfundeerde verdeling simuleert).
   • Een binary predictor leert het verschil tussen $D$ en $D'$. De output wordt gebruikt om gewichten ($U$) te berekenen voor elke sample. Samples die sterk correleren met de ongewenste concepten krijgen een lagere weging, en vice versa. Dit forceert het model om minder te vertrouwen op de bias.

3. Augmentatie:

   • Om het probleem van onbalans in de dataset en instabiel trainen (door extreme gewichten) op te lossen, worden nieuwe samples gegenereerd.
   • Samples met een lage weging (die sterk correleren met de bias) worden verrijkt.
   • Voor ProtoPNets: CutMix wordt toegepast met patches van ongewenste concepten.
   • Voor VLM-CBM's: Mixup wordt toegepast met afbeeldingen gegenereerd door text-to-image modellen die de ongewenste concepten voorstellen.
   • Dit creëert een rijker trainingsdistributie die de spurious correlaties vermindert zonder de echte labels te veranderen.

Het model wordt vervolgens opnieuw getraind op de verrijkte dataset ($X_{aug}$) met de berekende gewichten ($U$).

3. Belangrijkste Bijdragen

1. Interpreteerbaar Debug Framework: Een generiek raamwerk dat experts in staat stelt om de redenering van CBM's globaal aan te passen door ongewenste concepten te verwijderen en het model daarop te hertrainen.
2. CBDebug: Een nieuwe retrainingsmethode die concept-level feedback omzet in sample-level labels. Het combineert permutatie-gewichten en data-augmentatie om de afhankelijkheid van ongewenste concepten te verminderen.
3. Empirische Validatie: Uitgebreide evaluatie op meerdere CBM-architecturen (PIP-Net en Post-hoc CBM) en datasets met bekende spurious correlaties (Waterbirds, MetaShift, CelebA, ISIC).
4. Automatisering: Het framework werkt zowel met feedback van echte experts als met geautomatiseerde feedback via Large Language Models (LLMs).

4. Resultaten

De auteurs evalueren CBDebug tegenover baselines zoals alleen verwijderen, standaard hertraining, en bestaande methoden zoals ProtoPDebug.

• Prestaties: CBDebug verbetert significant de Worst-Group Accuracy (WGA) (prestaties op de minst goed presterende subgroep) ten opzichte van de originele modellen en andere methoden.
  • Op de Waterbirds-dataset met Post-hoc CBM verbeterde CBDebug de WGA met 26,1% (van 25,8% naar 51,9% in sommige setups, en tot 58,3% met automatische feedback).
  • Op MetaShift werden vergelijkbare verbeteringen gezien.
• Robuustheid: In tegenstelling tot simpele hertraining (die vaak weer terugvalt in de oude shortcuts), zorgt CBDebug ervoor dat het model nieuwe, robuuste concepten leert.
• Visuele Analyse: Visualisaties tonen aan dat na het debuggen ongewenste concepten (zoals "strand" of "bamboe" voor vogels) verdwijnen uit de top-concepten en worden vervangen door taakrelevante concepten (zoals "snavel" of "veren").
• Automatisering: Het gebruik van LLM's voor het identificeren van spurious concepten levert resultaten op die vergelijkbaar zijn met die van menselijke experts, wat de schaalbaarheid van de methode bevestigt.

5. Significantie

Dit paper is significant omdat het de kloof overbrugt tussen interpreteerbaarheid en bias-mitigatie.

• Het biedt een praktische oplossing voor het "shortcut learning"-probleem in CBM's, waarbij experts niet alleen kunnen kijken naar fouten, maar het model ook fundamenteel kunnen corrigeren.
• Het introduceert een causale benadering (via counterfactual distribution) die specifiek is afgestemd op de unieke structuur van CBM's.
• Het toont aan dat menselijke expertise (of gesimuleerde expertise via LLM's) effectiever is in het elimineren van bias dan pure, onbewuste algoritmen die alleen op trainingsdynamiek vertrouwen.

De methode is vooral waardevol in high-stakes domeinen zoals gezondheidszorg en wetenschap, waar het belangrijk is dat modellen niet alleen accuraat zijn, maar ook voor de juiste redenen beslissingen nemen.