Caption-Driven Explainability: Probing CNNs for Bias via CLIP

Diese Arbeit stellt eine caption-basierte XAI-Methode vor, die durch die Integration eines zu erklärenden CNNs in das CLIP-Modell mittels eines neuartigen Netzwerkchirurgie-Ansatzes dominante Konzepte identifiziert, um die Robustheit von Modellen gegenüber Kovariatenverschiebungen zu erhöhen und irreführende Salienz-Karten zu vermeiden.

Das Wesentliche

Das große Problem: Der „Blinde" KI-Optimist

Stell dir vor, du hast einen sehr klugen Schüler (die KI), der gelernt hat, Handzettel zu lesen. Er soll die Zahlen „5" und „8" erkennen.
In der Schule (dem Trainingsdatensatz) hat der Lehrer ihm aber einen Trick beigebracht, ohne es zu merken: Alle „5"-Zettel waren rot, alle „8"-Zettel waren grün.

Der Schüler lernt schnell: „Rot = 5, Grün = 8". Er macht in der Schule 100 % gute Noten. Aber wenn er dann auf die echte Welt trifft, wo die Zettel zufällig blau, gelb oder schwarz sind, ist er völlig verwirrt. Er denkt immer noch: „Oh, das ist rot, also muss es eine 5 sein!" – auch wenn es eigentlich eine 8 ist.

Das nennt man Covariate Shift (eine Art Verzerrung). Die KI hat nicht gelernt, wie eine Zahl aussieht, sondern nur, welche Farbe sie hat. Das ist gefährlich, besonders in Bereichen wie der Medizin, wo ein falscher Ratschlag schaden kann.

Das alte Werkzeug: Der „Lichtstrahl" (Saliency Maps)

Bisher haben Forscher versucht, herauszufinden, worauf die KI schaut, indem sie ein Saliency Map (eine Art „Highlighter") benutzten. Das ist wie ein Lichtstrahl, der auf die Pixel zeigt, die der Schüler am meisten beachtet.
Das Problem: Wenn die rote Farbe genau dort ist, wo die Form der „5" ist, leuchtet der Lichtstrahl auf beides. Man sieht nicht, ob der Schüler die Form oder die Farbe sieht. Es ist wie ein Nebel, der die wahre Ursache verschleiert.

Die neue Lösung: Der „Übersetzer" (Caption-Driven XAI)

Die Autoren dieses Papers haben eine clevere Idee entwickelt, die wir „Caption-Driven XAI" nennen. Stell dir das wie einen Übersetzer vor, der zwei Welten verbindet:

1. Die KI (der Schüler): Sie kennt nur Bilder.
2. CLIP (der Übersetzer): Das ist eine super-intelligente KI, die sowohl Bilder als auch Text versteht. Sie weiß genau, was ein „rotes Dreieck" oder eine „grüne Kurve" ist.

Der Trick: Die „Chirurgie" (Network Surgery)

Hier kommt der kreative Teil. Die Forscher führen eine Art KI-Chirurgie durch:
Sie nehmen das Gehirn des „Schülers" (die KI, die die Farben lernte) und tauschen Teile davon gegen Teile des „Übersetzers" (CLIP) aus.

• Der Vergleich: Sie nehmen die „Gedanken" (Aktivierungen) des Schülers und vergleichen sie mit den Gedanken des Übersetzers.
• Die Frage: Wenn wir dem Übersetzer sagen: „Schau mal, ist das hier eine rote Farbe oder eine fünfförmige Kurve?", welche Antwort passt besser zu dem, was der Schüler gerade „denkt"?

Was passiert dabei?

Stell dir vor, du hast zwei Listen von Begriffen:

• Liste A: „Rot", „Grün", „Blau"
• Liste B: „Kreis", „Ecke", „Kurve"

Die neue Methode prüft nun: Wenn die KI eine Zahl sieht, welche Liste feuert am stärksten?

• Ergebnis bei der verzerrten KI: Die Liste mit den Farben feuert extrem stark. Die KI schreit: „ROT! ROT! ROT!" – sie ignoriert die Form komplett.
• Ergebnis bei der korrigierten KI: Wenn man die Farben aus dem Training entfernt (alles wird grau) und die KI neu lernt, feuert plötzlich die Liste mit den Formen. Sie schreit: „KURVE! ECKE!"

Warum ist das genial?

1. Kein Nebel mehr: Selbst wenn Farbe und Form genau auf demselben Pixel liegen (wie bei den roten 5ern), kann diese Methode unterscheiden, ob die KI die Farbe oder die Form „sieht". Sie entlarvt den Betrug.
2. Vorher sagen, was passiert: Bevor man die KI in die echte Welt schickt, kann man testen: „Hey, bist du sicher, dass du nicht nur auf Farben achtest?"
3. Bessere Robustheit: Sobald man weiß, dass die KI auf Farben fixiert ist, kann man sie zwingen, die Farben zu ignorieren (z. B. durch Graustufen). Dann lernt sie die echte Form und wird viel zuverlässiger.

Zusammenfassung in einem Satz

Die Forscher haben eine Methode erfunden, die wie ein ehrlicher Dolmetscher funktioniert: Sie zwingt die KI, ihre Gedanken in Worte zu fassen, und deckt so auf, ob sie wirklich den Inhalt versteht oder nur auf unwichtige Details (wie Farben) hereinfällt. Das macht KI sicherer und robuster für die echte Welt.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert das kritische Problem der Robustheit von Machine-Learning-Modellen (ML), insbesondere im Kontext von Covariate Shifts (Verschiebungen der Datenverteilung zwischen Trainings- und Realwelt-Daten).

• Herausforderung: Herkömmliche Methoden zur Erklärbarkeit (XAI), wie z. B. Saliency Maps (z. B. Grad-CAM), heben zwar die Pixel hervor, die das Modell am stärksten aktivieren. Dies kann jedoch irreführend sein, wenn zufällige (spuriose) und saliente Merkmale in überlappenden Pixelbereichen auftreten. Das Modell könnte dann auf falsche Korrelationen (z. B. Hintergrundfarbe statt Objektfarbe) statt auf das eigentliche Merkmal lernen.
• Ziel: Es ist notwendig, die internen Konzepte eines Modells zu verstehen, um zu erkennen, ob das Modell auf irrelevante Merkmale (wie eine spezifische Farbe in den Trainingsdaten) statt auf die eigentliche Struktur (Form) reagiert, bevor es in der realen Welt eingesetzt wird.

2. Methodik: Caption-Driven XAI via CLIP und Network Surgery

Die Autoren schlagen eine neue Methode vor, die Caption-Driven Explainability (erklärbarkeit durch Bildunterschriften) nutzt und ein zu erklärendes Standalone-Modell in das CLIP-Modell (Contrastive Language-Image Pre-training) integriert.

Kernkomponenten:

• CLIP als Basis: CLIP wird als Referenzmodell verwendet, da es über einen starken semantischen Raum verfügt, der Bilder und Text (Unterschriften/Captions) verbindet.
• Network Surgery (Netzchirurgie): Dies ist der innovative Kern der Methode. Anstatt das Modell neu zu trainieren, werden die Aktivierungskarten (Activation Maps) des zu erklärenden Modells (ein vortrainiertes ResNet-50) gegen die des CLIP-Image-Encoders ausgetauscht.
  • Architektur: Der zu erklärende Encoder (ResNet-50, 49 Faltungsschichten) wird mit dem CLIP-Encoder (modifiziertes ResNet-52, 51 Faltungsschichten) verglichen.
  • Selektion: Um den konzeptionellen Raum von CLIP zu bewahren, werden nur die Aktivierungskarten der letzten Schichten der Stufen 2 bis 5 des CLIP-Encoders ausgetauscht. Die erste Stufe bleibt unberührt, da sie niedrigstufige Konzepte erfasst, die in beiden Modellen ähnlich sind.
• Activation Matching (Aktivierungsabgleich):
  • Da die Anzahl der Aktivierungskarten unterschiedlich ist (22.720 im Standalone-Modell vs. 3.840 in CLIP), muss eine Auswahl getroffen werden.
  • Zuerst werden die Aktivierungskarten auf die gleiche Größe skaliert (bilineare Interpolation) und normalisiert (StandardScaler basierend auf Mittelwert und Standardabweichung).
  • Anschließend wird die Korrelation zwischen den skalierten Aktivierungskarten berechnet, um eine Ähnlichkeitsmatrix zu erstellen.
  • Die besten Übereinstimmungen werden identifiziert und die entsprechenden Schichten im CLIP-Encoder durch die des Standalone-Modells ersetzt.

Funktionsweise der Erklärung:

Nach dem Austausch wird das modifizierte CLIP-Modell mit verschiedenen Text-Captions (z. B. „ein rotes Bild", „ein grünes Bild", „eine Form") abgefragt. Die Cosine-Similarity zwischen den Bild-Embeddings (des modifizierten Encoders) und den Text-Embeddings zeigt auf, welches Konzept (Farbe vs. Form) das ursprüngliche Modell dominiert.

3. Experimente und Ergebnisse

Das Verfahren wurde an einem verzerrten Datensatz getestet, bei dem die Ziffern 5 und 8 aus dem MNIST-Dataset verwendet wurden.

• Setup: Im Trainingsdatensatz waren alle Fünfen rot und alle Achten grün. Im Testdatensatz (Realwelt-Simulation) waren die Farben zufällig verteilt. Ein klassisches Modell würde hier die Farbe statt der Form lernen (Covariate Shift).
• Ergebnisse:
  • Das Caption-Driven XAI-Modell identifizierte erfolgreich, dass Farbe das dominierende Konzept für die Vorhersagen des verzerrten Modells war, nicht die Form.
  • Dies wurde durch eine hohe Cosine-Similarity zu Farb-Captions („rot", „grün") im Vergleich zu Form-Captions nachgewiesen.
  • Validierung: Nachdem das Dataset bereinigt wurde (Farbe entfernt, Graustufen) und das Modell neu trainiert wurde, zeigte das XAI-Verfahren einen klaren Shift: Das dominierende Konzept war nun die Form.
  • Das System konnte auch bei Graustufen-Bildern (die technisch immer noch RGB-Kanäle haben, aber gleiche Werte) korrekt erkennen, dass die Farbinformation nicht mehr als Merkmal genutzt wird, obwohl CLIP hier noch minimale Restsignale zeigt.

4. Wichtige Beiträge

1. Neue XAI-Methode: Einführung einer caption-basierten Methode, die die Stärken von CLIP nutzt, um die internen Konzepte von CNNs zu entschlüsseln.
2. Network Surgery: Entwicklung eines Verfahrens, um ein beliebiges Standalone-Modell nahtlos in die Architektur von CLIP zu integrieren, ohne das Modell neu zu trainieren.
3. Robustheitsanalyse: Nachweis, dass diese Methode in der Lage ist, Covariate Shifts (hier: Farb-Bias) zu erkennen, selbst wenn spuriose und saliente Merkmale überlappen – ein Szenario, in dem Saliency Maps oft versagen.
4. Praxisrelevanz: Die Methode dient nicht nur als Debugging-Tool, sondern als notwendige Vorstufe vor dem Deployment, um sicherzustellen, dass Modelle auf den richtigen Konzepten basieren.

5. Bedeutung und Fazit

Die Arbeit unterstreicht, dass ein tiefes Verständnis der dominanten Konzepte in neuronalen Netzen essenziell für die Robustheit ist.

• Überlegenheit gegenüber Saliency Maps: Im Gegensatz zu Saliency Maps, die nur Pixelgewichte anzeigen, liefert die Caption-Methode eine semantische Erklärung („Das Modell schaut auf die Farbe, nicht auf die Form").
• Anwendungsgebiete: Besonders relevant für hochriskante Bereiche wie die Medizin, wo Fehlvorhersagen schwerwiegende Folgen haben können. Die Methode kann helfen, vorgefasste Meinungen von Ärzten zu bestätigen oder zu widerlegen, indem sie zeigt, worauf das KI-Modell tatsächlich achtet.
• Zukunft: Die Autoren plädieren dafür, solche XAI-Methoden als Standard vor dem Einsatz von Computer-Vision-Modellen in der realen Welt zu etablieren, um Verzerrungen (Bias) proaktiv zu eliminieren.