Debugging Concept Bottleneck Models through Removal and Retraining

1. Problemstellung

Concept Bottleneck Models (CBMs) sind eine Architektur für interpretierbare Bildklassifizierung, die Vorhersagen in zwei Stufen aufteilt: Zuerst werden menschenverständliche Konzepte extrahiert, und darauf aufbauend wird die endgültige Klassenbezeichnung vorhergesagt. Dies ermöglicht es Experten, die Logik des Modells zu überprüfen und bei Bedarf direkt in die Konzepte einzugreifen (z. B. einen falsch vorhergesagten „Fleck" korrigieren).

Das zentrale Problem, das dieses Paper adressiert, ist die systemische Fehlausrichtung zwischen dem gelernten Modell und dem Expertenwissen. Oft lernen CBMs „Abkürzungen" (Shortcuts) aus verzerrten Daten (z. B. lernt ein Vogel-Klassifikator, dass der Hintergrund „Wasser" ist, um „Wasservögel" zu erkennen, anstatt die Merkmale des Vogels selbst zu nutzen).

• Limitierung bestehender Interventionen: Das bloße Korrigieren von Konzepten zur Laufzeit (Test-Time Intervention) behebt nur Oberflächenfehler. Die zugrundeliegende Fehlausrichtung bleibt bestehen, und das Modell wird bei neuen Daten denselben Fehler wiederholen.
• Limitierung bestehender Debugging-Ansätze: Bisherige Methoden zum Entfernen unerwünschter Konzepte sind oft unzureichend, da verbleibende Konzepte noch Informationen aus den entfernten enthalten können oder das Modell nach dem Entfernen nicht mehr in der Lage ist, gute Vorhersagen zu treffen, weil es zu stark von den falschen Konzepten abhängig war.

2. Methodik: Der CBDebug-Rahmen

Die Autoren stellen ein allgemeines, interpretierbares Debugging-Framework vor, das einen zweistufigen Prozess aus Entfernung (Removal) und Neu-Training (Retraining) durchläuft.

Schritt 1: Entfernung (Removal)

Ein Domänenexperte inspiziert die gelernten Konzepte und deren Erklärungen (z. B. Bildausschnitte bei PIP-Net oder Textbeschreibungen bei VLM-CBMs). Der Experte markiert eine Teilmenge von Konzepten $C_{spur}$ als unerwünscht (spurious) und entfernt sie aus dem Konzept-Vokabular. Dies ist ein binärer Feedback-Mechanismus, der keine detaillierten Annotationen pro Stichprobe erfordert.

Schritt 2: Neu-Training mit CBDebug

Das Kernstück der Arbeit ist CBDebug, eine Methode, die das Experten-Feedback nutzt, um das Modell neu zu trainieren und seine Abhängigkeit von den unerwünschten Konzepten zu brechen. CBDebug behandelt das Experten-Feedback als kausale Intervention und folgt drei Unter-Schritten:

1. Labeling (Konzept-zu-Stichprobe-Übersetzung):
   Da Experten nur Konzepte markieren, aber keine Labels für einzelne Datenpunkte geben, nutzt CBDebug den trainierten CBM, um für jede Stichprobe im Trainingsdatensatz Aktivierungsscores für die unerwünschten Konzepte $C_{spur}$ zu sammeln. Diese Scores dienen als approximierte hilfsweise Labels (auxiliary labels) $\hat{V}$.

2. Reweighting (Permutations-Gewichtung):
   Um die Korrelation zwischen den unerwünschten Konzepten ($\hat{V}$) und den Klassenlabels ($Y$) zu reduzieren, wird eine Permutations-Gewichtung (basierend auf Arbour et al., 2021) angewendet.

   • Es wird ein Klassifikator trainiert, der unterscheidet, ob eine Stichprobe aus der ursprünglichen (verzerrten) Verteilung stammt oder aus einer „unverzerrten" Verteilung, bei der die Labels $Y$ gegenüber $\hat{V}$ zufällig permutiert wurden.
   • Daraus werden Gewichte $U$ für jede Stichprobe berechnet. Stichproben, die stark mit den unerwünschten Konzepten korrelieren, erhalten höhere Gewichte, um das Modell zu zwingen, robustere Merkmale zu lernen.

3. Augmentierung:
   Um die Instabilität zu vermeiden, die durch extreme Gewichte bei stark unausgewogenen Gruppen entstehen kann, wird eine gezielte Daten-Augmentierung durchgeführt.

   • Stichproben mit niedrigen Gewichten (die stark vom Bias betroffen sind) werden mit einer bestimmten Wahrscheinlichkeit augmentiert.
   • Bei PIP-Net: Es wird CutMix verwendet, indem Patches von unerwünschten Konzepten (z. B. Hintergrund) durch Patches relevanter Konzepte ersetzt werden.
   • Bei VLM-CBMs: Es wird Mixup mit Bildern aus einer Text-zu-Bild-generierten Konzeptbank durchgeführt.
   • Ziel ist es, eine reichhaltigere Trainingsverteilung zu schaffen, die die spurious Korrelationen verwässert, ohne die wahren Labels zu ändern.

Das Modell wird schließlich auf dem augmentierten und gewichteten Datensatz neu trainiert.

3. Wichtige Beiträge

1. Allgemeines Debugging-Framework: Ein Framework, das es Experten ermöglicht, global die Abhängigkeit eines CBM von unerwünschten Konzepten zu bearbeiten und sicherzustellen, dass Vorhersagen „aus den richtigen Gründen" getroffen werden.
2. CBDebug-Algorithmus: Eine neuartige Methode, die interpretierbares Feedback auf Konzeptebene in Stichproben-Level-Hilfslabels übersetzt und diese nutzt, um durch Gewichtung und Augmentierung eine kontrafaktische Verteilung zu approximieren.
3. Umfassende Validierung: Das Framework wurde auf verschiedenen CBM-Architekturen (PIP-Net, Post-hoc CBM) und Datensätzen mit bekannten Verzerrungen (Waterbirds, MetaShift, CelebA, ISIC) getestet.

4. Ergebnisse

Die Evaluation zeigt, dass CBDebug signifikant besser abschneidet als bestehende Methoden:

• Verbesserung der Worst-Group Accuracy (WGA): CBDebug verbessert die Genauigkeit für die am schlechtesten performenden Untergruppen drastisch.
  • Auf dem Waterbirds-Datensatz mit Post-hoc CBM stieg die WGA um 26,1 % im Vergleich zum Originalmodell.
  • Auf MetaShift wurden ebenfalls signifikante Verbesserungen erzielt (z. B. +4,9 % bei PIP-Net, +4,8 % bei Post-hoc CBM).
• Vergleich mit Baselines:
  • Das einfache Entfernen von Konzepten ohne Neu-Training führt oft zu einem Leistungsabfall oder nur marginalen Verbesserungen.
  • Das einfache Neu-Training auf dem verzerrten Datensatz führt dazu, dass das Modell die gleichen Abkürzungen wieder lernt.
  • CBDebug übertrifft den bisherigen State-of-the-Art-Debugger (ProtoPDebug) und ist stabiler als reine Gewichts- oder Augmentierungs-Methoden.
• Automatisiertes Feedback: Das Framework funktioniert auch effektiv, wenn das Experten-Feedback durch ein Large Language Model (LLM) automatisiert wird, was die Anwendbarkeit in Szenarien ohne menschliche Experten erweitert.
• Qualitative Analyse: Visualisierungen zeigen, dass CBDebug erfolgreich die Abhängigkeit von Hintergrundmerkmalen (z. B. „Strand", „Bambus") entfernt und durch robuste, objektspezifische Merkmale (z. B. „Schnabelform", „Flügelfarbe") ersetzt.

5. Bedeutung und Fazit

Die Arbeit adressiert eine kritische Lücke im Bereich der interpretierbaren KI: Die Fähigkeit, nicht nur zu sehen, warum ein Modell falsch liegt, sondern das Modell so nachzubilden, dass es diese Fehler nicht mehr macht.

• Praktische Relevanz: Besonders in hochriskanten Bereichen wie der Medizin (z. B. Hautkrebs-Diagnose auf dem ISIC-Datensatz) ist es entscheidend, dass Modelle nicht auf Artefakte (wie Haar oder Messlineale), sondern auf pathologische Merkmale reagieren. CBDebug bietet einen Weg, dies systematisch zu erreichen.
• Methodischer Fortschritt: Die Brücke zwischen interpretierbarem Debugging und Bias-Mitigation durch die Umwandlung von Konzept-Feedback in Stichproben-Gewichte ist ein innovativer Ansatz, der die Grenzen rein unsupervierter Bias-Mitigation überwindet, indem er menschliches Domänenwissen direkt in den Lernprozess integriert.

Zusammenfassend bietet CBDebug einen robusten, generalisierbaren Weg, um CBMs von verzerrten Daten zu befreien und sicherzustellen, dass sie tatsächlich das lernen, was Experten für relevant halten.