Why Does It Look There? Structured Explanations for Image Classification

Die Arbeit stellt I2X vor, ein Framework, das aus unstrukturierten Interpretierbarkeitsmethoden strukturierte Erklärungen für Bildklassifizierungsmodelle ableitet, um deren Entscheidungsfindung während des Trainings nachvollziehbar zu machen und durch gezielte Optimierung der unsicheren Prototypen die Vorhersagegenauigkeit zu verbessern.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungspapier „Why Does It Look There?" (Warum schaut es dorthin?) auf Deutsch, verpackt in anschauliche Bilder und Metaphern.

Das große Rätsel: Der schwarze Kasten

Stell dir vor, du hast einen genialen Koch (das KI-Modell), der dir sagt, ob auf einem Foto eine Katze oder ein Hund zu sehen ist. Er hat eine 99-prozentige Erfolgsquote. Aber wenn du ihn fragst: „Warum hast du das so entschieden?", zuckt er nur mit den Schultern. Er ist ein schwarzer Kasten. Er gibt dir das Ergebnis, aber keine Erklärung.

Bisherige Methoden, um diesen Kasten zu öffnen, waren wie ein Kind, das auf ein Bild zeigt und sagt: „Hier ist etwas Wichtiges!" (eine sogenannte Saliency Map). Das hilft ein bisschen, aber es ist unstrukturiert. Es ist wie eine Liste von Hinweisen ohne Zusammenhänge. Wir wissen nicht, wie der Koch diese Hinweise kombiniert, um zu entscheiden.

Die Lösung: I2X – Der Koch, der sein Kochbuch schreibt

Die Autoren dieses Papiers haben eine neue Methode namens I2X (Interpretability to Explainability) entwickelt. Stell dir I2X wie einen Dokumentarfilmer vor, der den Koch über die gesamte Zeit beobachtet, wie er lernt, zu kochen.

Hier ist, wie I2X funktioniert, Schritt für Schritt:

1. Die „Bausteine" finden (Prototypen)

Statt sich auf das ganze Bild zu konzentrieren, zerlegt I2X das Bild in kleine, wiederkehrende Muster.

• Die Analogie: Stell dir vor, du lernst, die Zahl „7" zu erkennen. Du merkst nicht sofort „Das ist eine 7", sondern du erkennst Muster: „Ah, da ist ein Strich oben", „Da ist ein Strich schräg nach unten".
• I2X sammelt diese Muster und nennt sie Prototypen. Es sind wie die Grundbausteine, aus denen das Modell seine Entscheidungen baut.

2. Die Reise beobachten (Während des Trainings)

Das Modell wird nicht einfach fertig geliefert; es lernt durch Übung. I2X schaut sich an, wie sich das Modell während des Trainings verändert.

• Die Analogie: Stell dir vor, der Koch lernt, Pizza zu machen.
  • Am Anfang (Checkpoint 1) denkt er vielleicht: „Wenn ich Tomaten sehe, ist es Pizza."
  • Später (Checkpoint 10) merkt er: „Moment, Tomaten gibt es auch auf Salaten. Ich muss auf den Käse achten."
  • I2X zeichnet auf, welche Bausteine (Prototypen) wann wichtig wurden und wie sich das Vertrauen des Modells in seine Antwort verändert hat.

3. Die Geschichte erzählen (Strukturierte Erklärung)

Am Ende hat I2X nicht nur eine Liste von Hinweisen, sondern eine Geschichte.

• Es kann sagen: „Das Modell hat zuerst die Zahl 7 von der 6 unterschieden, weil die 6 den schrägen Strich unten fehlt. Dann hat es die 7 von der 2 unterschieden, weil die 2 keine spitze Ecke oben hat."
• Das ist wie ein Kochbuch, das nicht nur die Zutaten auflistet, sondern erklärt, warum man sie in dieser Reihenfolge hinzufügt.

Das Problem mit dem „verwirrenden Baustein"

Während der Analyse stellten die Forscher etwas Interessantes fest: Manchmal gibt es einen Baustein, der das Modell verwirrt.

• Die Analogie: Stell dir vor, der Koch sieht ein Bild, das aussieht wie eine Katze, aber hat eine orange Schnauze. Ein anderer Koch (ein anderes Modell) sieht ein Bild von einem Hund mit einer orange Schnauze.
• Das Modell wird verwirrt: „Ist das eine Katze oder ein Hund?" Dieser verwirrende Baustein (z. B. „orange Kante") führt zu Fehlern.

Der Clou: Gezieltes Nachbessern (Fine-Tuning)

Das Coolste an I2X ist, dass es nicht nur erklärt, sondern auch hilft, das Modell besser zu machen.

Da I2X genau weiß, welcher Baustein (z. B. die „orange Kante") das Modell verwirrt, können die Forscher eine spezielle Übung für den Koch erstellen:

1. Sie nehmen alle Bilder, die diesen verwirrenden Baustein enthalten, und entfernen sie aus der Trainingsmenge für einen Moment.
2. Der Koch lernt jetzt, Katzen und Hunde nur anhand der klaren Merkmale zu unterscheiden, ohne von der Farbe abgelenkt zu werden.
3. Danach geben sie ihm wieder die normalen Bilder.

Das Ergebnis: Das Modell macht weniger Fehler! Es ist wie ein Schüler, der extra an seinen Schwachstellen übt, bevor er zur großen Prüfung geht.

Zusammenfassung in einem Satz

I2X ist wie ein Detektiv, der nicht nur sagt, dass ein KI-Modell einen Fehler gemacht hat, sondern die genaue Geschichte erzählt, wie es gelernt hat, und dann dem Modell hilft, seine verwirrenden Gedanken zu ordnen, damit es schlauer wird.

Warum ist das wichtig?

• Vertrauen: Wir verstehen endlich, warum eine KI entscheidet, was sie entscheidet (z. B. in der Medizin: „Warum denkst du, der Patient hat Krebs?").
• Bessere KI: Wir können KI-Modelle gezielt verbessern, indem wir genau die Teile finden, die sie verwirren, und sie trainieren, diese zu ignorieren.
• Transparenz: Es macht die „Magie" der künstlichen Intelligenz greifbar und nachvollziehbar.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Why Does It Look There? Structured Explanations for Image Classification" auf Deutsch:

Titel: Why Does It Look There? Strukturierte Erklärungen für die Bildklassifizierung (I2X)

Autoren: Jiarui Li, Zixiang Yin, Samuel J. Landry, Zhengming Ding, Ramgopal R. Mettu (Tulane University)

---

1. Problemstellung

Trotz der hervorragenden Vorhersageleistung von Deep-Learning-Modellen bleibt deren „Black-Box"-Charakter ein zentrales Hindernis für Transparenz und Vertrauen, insbesondere in kritischen Bereichen wie Medizin und Biologie.

• Limitierung bestehender XAI-Methoden: Die meisten existierenden Methoden der Explainable AI (XAI) liefern nur unstrukturierte Interpretierbarkeit (z. B. Saliency Maps wie GradCAM oder Listen von Konzepten). Diese zeigen zwar wo das Modell hinschaut, erklären aber nicht warum oder wie das Modell diese Regionen für die Inferenz organisiert.
• Abhängigkeit von Hilfsmodellen: Viele Ansätze nutzen externe Modelle (wie GPT oder CLIP), um Saliency Maps zu beschreiben. Dies führt zu einem Verlust der „Treue" (Faithfulness) zum ursprünglichen Modell und kann Halluzinationen erzeugen.
• Forschungsfrage: Wie kann man die inhärente, strukturierte Logik eines Modells extrahieren, um zu verstehen, wie es während des Trainings und der Inferenz Entscheidungen trifft („Warum sieht es dort hin?")?

2. Methodik: Das I2X-Framework

Die Autoren schlagen Interpretability to Explainability (I2X) vor, ein Framework, das aus unstrukturierten Interpretationen (Saliency Maps) direkt strukturierte Erklärungen ableitet, indem es die Evolution des Modells während des Trainings verfolgt.

Der Prozess gliedert sich in folgende Schritte:

1. Extraktion unstrukturierter Interpretationen:

   • Nutzung von Post-hoc-Methoden (z. B. GradCAM) zur Generierung von Saliency Maps ($I_t$) für Trainingsdaten an ausgewählten Checkpoints ($t$) während des Trainings.

2. Abstrakte Prototypen (Abstract Prototypes):

   • Anstatt einzelne Pixel zu betrachten, werden die latenten Merkmalsvektoren des Modells mittels PCA und K-Means-Clustering gruppiert.
   • Es entstehen $K$ abstrakte Prototypen (Zentren der Cluster), die wiederkehrende Muster im Datensatz repräsentieren (z. B. „diagonale Striche" oder „Ecken").
   • Jedes Bild wird durch eine Zuordnung dieser Prototypen zu räumlichen Regionen beschrieben.

3. Prototypen-Intensität und Konfidenz-Tracking:

   • Prototypen-Intensität ($P^t_k$): Für jedes Bild wird berechnet, wie stark ein bestimmter Prototyp im Saliency Map aktiviert ist. Dies quantifiziert die „Beweiskraft" eines Prototyps für eine Vorhersage.
   • Konfidenz-Änderung ($\Delta \hat{y}^t$): Die Änderung der Vorhersagekonfidenz zwischen zwei Checkpoints wird analysiert.
   • Clustering der Konfidenz-Änderungen: Mit HDBSCAN werden Stichproben gruppiert, die ähnliche Muster in der Konfidenzänderung aufweisen.

4. Strukturierte Zuordnung (Mapping):

   • Es wird eine Beziehung zwischen der Evolution der Prototypen-Intensität und der Änderung der Modellkonfidenz hergestellt.
   • Mittels Ridge-Regression wird ein Koeffizientenmatrix $\beta^t$ berechnet, die quantifiziert, wie stark Änderungen in der Intensität eines Prototyps die Konfidenz für eine Klasse beeinflussen.

5. Assemblierung der Erklärung:

   • Durch Aggregation über den gesamten Trainingsverlauf entsteht eine globale Sichtweise.
   • Unterscheidung zwischen geteilten Prototypen (unterstützen die Klasse konsistent) und spezialisierten Prototypen (unterscheiden Untergruppen).
   • Identifikation von unsicheren Prototypen, die zwischen Klassen hin- und herwechseln und Verwirrung stiften.

3. Wichtige Beiträge

• Paradigmenwechsel: Übergang von unstrukturierter Interpretierbarkeit (Saliency Maps) zu strukturierter Erklärbarkeit, die kausale Verantwortung für Modellentscheidungen zuweist.
• Intrinsische Analyse: Das Framework nutzt das Modell selbst zur Erklärung, ohne auf externe Sprachmodelle angewiesen zu sein.
• Dynamische Verfolgung: I2X zeigt nicht nur den Endzustand, sondern den Lernpfad: Wie trennt das Modell Klassen schrittweise voneinander?
• Praktische Optimierung: Die Methode identifiziert nicht nur Probleme, sondern bietet einen Weg zur gezielten Verbesserung durch Fine-Tuning.

4. Ergebnisse

Die Methode wurde auf MNIST (ResNet-50, InceptionV3) und CIFAR-10 (ResNet-50) evaluiert.

• Visualisierung des Lernprozesses:

  • Bei der Ziffer 7 (MNIST) zeigte I2X, dass das Modell zunächst klare Unterschiede zu Ziffern wie 2 und 6 nutzt (z. B. fehlende diagonale Striche), bevor es schwierigere Fälle wie 1 oder 9 löst.
  • Es wurde gezeigt, dass die Reihenfolge der Trainingsdaten die Strategie beeinflusst: Unterschiedliche Trainingsläufe führen zu unterschiedlichen Prototypen-Sequenzen und Inferenzstrategien.

• Identifikation unsicherer Prototypen:

  • Ein spezifischer Prototyp (z. B. P-17 bei MNIST oder P-72 bei CIFAR-10) wurde als „unsicher" identifiziert, da er zwischen zwei Klassen (z. B. 7 vs. 2 oder Katze vs. Hund) hin- und herwechselte und Verwirrung verursachte.
  • Beispiel CIFAR-10: Der Prototyp P-72 (Kante zwischen schwarz und orange) führte zu Verwechslungen zwischen orangefarbenen Katzen und Hunden.

• Gezieltes Fine-Tuning (Perturbation):

  • Experiment: Fine-Tuning auf einem „kuratierten" Datensatz, aus dem Samples mit den identifizierten unsicheren Prototypen entfernt wurden.
  • Ergebnis:
    • Reduktion der Verwechslungen zwischen den betroffenen Klassen signifikant (z. B. von 14,80 auf 8,40 bei MNIST Ziffern 2/7).
    • Steigerung der Gesamtgenauigkeit (z. B. von 81,43% auf 84,02% bei CIFAR-10).
    • Erhöhung der Stabilität des Modells.

5. Bedeutung und Fazit

I2X stellt einen bedeutenden Fortschritt dar, da es Deep-Learning-Modelle nicht nur „erklärbar", sondern auch „steuerbar" macht.

• Transparenz: Es liefert eine kausale, strukturierte Darstellung, wie ein Modell interne Repräsentationen nutzt, um Entscheidungen zu treffen.
• Optimierung: Die Fähigkeit, unsichere Prototypen zu identifizieren und gezielt zu entfernen, bietet einen datenzentrierten Ansatz zur Verbesserung der Modellleistung und Robustheit.
• Generalisierbarkeit: Das Framework funktioniert über verschiedene Architekturen (CNNs, Inception) und Datensätze hinweg.

Zukünftige Arbeiten planen die Integration von I2X in „Explain-by-Design"-Ansätze (wie ProtoPNet), um die Abhängigkeit von Post-hoc-Methoden zu reduzieren und Unsicherheitsmetriken für das Training zu entwickeln.