Aligned explanations in neural networks

Die Arbeit stellt PiNets als ein neues Modellierungsframework vor, das durch eine pseudo-lineare Struktur und das Prinzip der Modelllesbarkeit sicherstellt, dass Erklärungen für neuronale Netze nicht nur rationalisierend, sondern tatsächlich die Vorhersagen begründen (ausgerichtet) und dabei gleichzeitig aussagekräftig, robust und hinreichend sind.

Das Wesentliche

Das Grundproblem: Der „Weiß-Anstrich" für das Blackbox-Modell

Stellen Sie sich einen hochintelligenten, aber verschlossenen Kellner vor (das neuronale Netzwerk). Er bringt Ihnen das perfekte Essen (die Vorhersage), aber wenn Sie fragen: „Warum haben Sie genau dieses Gericht gewählt?", zuckt er nur mit den Schultern oder gibt eine Ausrede, die nicht ganz stimmt.

In der KI-Forschung versuchen wir oft, solche Kellner zu verstehen, indem wir ihnen hinterherlaufen und raten, was sie gedacht haben könnten. Das nennt man Feature Attribution (Zuordnung von Merkmalen). Das Problem: Diese Methoden sind oft nur ein „Weiß-Anstrich" (White-painting). Sie machen die Blackbox optisch weiß und durchsichtig, aber im Inneren ist sie immer noch undurchsichtig. Die Erklärung passt nicht wirklich zu dem, was das Modell tatsächlich getan hat. Es ist wie eine Rechtfertigung nachträglich, nicht der eigentliche Gedankengang.

Die Lösung: Ein Kellner, der laut denkt

Die Autoren (Lobet und Chiaromonte) schlagen vor: Wir brauchen einen Kellner, der laut denkt, während er bestellt. Das Modell soll nicht erst das Essen bringen und dann raten, warum. Es soll die Begründung vor der Entscheidung formulieren.

Sie nennen dies „Explanatory Alignment" (Ausgerichtete Erklärung).

• Die Regel: Die Erklärung muss der direkte Baustein der Entscheidung sein.
• Das Ziel: Wenn das Modell sagt „Das ist eine Katze", dann muss es vorher genau die Pixel gefunden haben, die eine Katze ausmachen, und diese Entdeckung nutzen, um auf „Katze" zu tippen. Keine Nachbetrachtung, keine Ausreden.

Die Erfindung: PiNets (Die „Zweimal-Hinschau"-Maschine)

Wie baut man so einen Kellner? Die Autoren entwickeln ein neues Modell namens PiNet (Pointwise-interpretable Network).

Stellen Sie sich einen PiNet wie einen Künstler vor, der in zwei Schritten arbeitet:

1. Der erste Blick (Encoder): Der Künstler schaut sich das Bild an und merkt sich alle Details (Farben, Formen, Schatten). Das ist wie ein Gedächtnis.
2. Der zweite Blick (Decoder & Second Look): Hier passiert das Magische. Der Künstler schaut sich das Bild noch einmal an, aber dieses Mal fragt er sich: „Welche dieser Details sind eigentlich wichtig für meine Entscheidung?" Er erstellt eine Art Highlight-Stift, der genau die wichtigen Stellen markiert.
3. Die Entscheidung: Erst nachdem er diese Markierungen gemacht hat, sagt er: „Okay, basierend auf diesen markierten Stellen ist das eine Katze."

Das Besondere: Die Markierung (die Erklärung) und die Entscheidung sind untrennbar miteinander verbunden. Wenn die Markierung falsch wäre, wäre auch die Entscheidung falsch. Das macht das Modell lesbar (readable). Man kann den letzten Schritt einfach lesen: „Ich habe diese Pixel markiert, also ist es eine Katze."

Der MARS-Test: Wie gut ist die Erklärung?

Nur weil eine Erklärung „laut gedacht" wurde, heißt das noch nicht, dass sie gut ist. Die Autoren haben einen Test namens MARS erfunden, um die Qualität zu prüfen:

• M (Meaningful - Sinnvoll): Findet der Highlight-Stift wirklich die Katze oder malt er nur zufällig irgendwo hin? (Wie ein Detektiv, der die richtigen Spuren findet).
• A (Aligned - Ausgerichtet): Passt die Erklärung wirklich zu dem, was das Modell getan hat? (Keine Lügen).
• R (Robust - Stabil): Hält die Erklärung auch, wenn sich der Hintergrund ändert? (Wenn der Kellner eine Katze erkennt, egal ob sie auf einem Sofa oder im Regen steht, ist er robust. Wenn er nur Katzen auf Sofas kennt, ist er „fragil").
• S (Sufficient - Ausreichend): Reicht die Erklärung aus, um die Entscheidung zu treffen? Wenn man nur den Schwanz der Katze markiert, reicht das vielleicht nicht, um zu sagen „Das ist eine Katze".

Was haben die Experimente gezeigt?

Die Forscher haben PiNets an zwei Aufgaben getestet:

1. Künstliche Bilder (ToyShapes): Hier mussten sie Dreiecke in bunten Quadraten finden.
   • Ergebnis: Normale Modelle (wie Grad-CAM) waren oft gut in der Vorhersage, aber ihre Erklärungen waren chaotisch. PiNets, besonders wenn man sie mit Tricks wie „Ensembling" (viele Modelle zusammenarbeiten lassen) oder „Recursion" (sich selbst überprüfen lassen) trainierte, fanden die Dreiecke nicht nur richtig, sondern markierten sie auch perfekt.
2. Echte Satellitenbilder (Hochwasser): Hier ging es darum, überflutete Gebiete zu erkennen.
   • Ergebnis: Selbst ohne dass man dem Modell genau gesagt hat, welche Pixel Wasser sind (nur die Gesamtfläche des Wassers), lernte das PiNet, die Wasserkanten sehr präzise zu markieren. Es organisierte sein Wissen so, dass die Erklärung sinnvoll wurde.

Warum ist das wichtig?

Bisher mussten wir oft zwischen hoher Genauigkeit (das Modell ist klug) und guten Erklärungen (wir verstehen es) wählen. PiNets zeigen, dass man beides haben kann, wenn man die Architektur des Modells von Anfang an so baut, dass es „laut denkt".

Zusammenfassend in einem Satz:
Statt einem schwarzen Kasten, der uns nachträglich Ausreden liefert, bauen wir mit PiNets eine Maschine, die ihre Gedanken laut ausspricht, bevor sie handelt – und zwar so klar, dass wir ihr zuhören und ihr vertrauen können.

Technische Zusammenfassung

Titel: Ausgerichtete Erklärungen in neuronalen Netzen (Aligned explanations in neural networks)

Autoren: Corentin Lobet und Francesca Chiaromonte

---

1. Problemstellung: Das Dilemma der Erklärbarkeit

Das Paper adressiert ein zentrales Problem im Bereich der Explainable AI (xAI): Die Diskrepanz zwischen den Erklärungen, die für die Vorhersagen komplexer Modelle (wie neuronale Netze) generiert werden, und dem tatsächlichen Entscheidungsprozess des Modells.

• Mangelnde Ausrichtung (Misalignment): Die meisten existierenden Methoden (z. B. SHAP, LIME, Grad-CAM) sind post-hoc (nachträglich). Sie versuchen, die Attributionsgewichte $\pi$ eines Modells $f$ zu schätzen, ohne direkten Zugriff auf dessen interne Logik zu haben. Das Paper argumentiert, dass diese Methoden oft nur „Rationalisierungen" liefern und nicht den wahren Entscheidungsprozess widerspiegeln. Sie „malen den Blackbox weiß" (white-painting), statt ihn zu öffnen.
• Gefahr der Fehlattribution: Bei nicht-intrinsischen Methoden kann es zu Mehrdeutigkeiten kommen (z. B. durch Multikollinearität), bei denen mehrere Erklärungen möglich sind, von denen nur eine dem wahren Modell entspricht.
• Notwendigkeit intrinsischer Lösungen: Um Vertrauen zu schaffen, müssen Erklärungen intrinsisch (vom Modell selbst generiert), unmittelbar vorangehend (vor der Vorhersage berechnet) und vollständig interpretierbar sein.

2. Methodik und Konzept

A. Explanatory Alignment (Erklärungs-Ausrichtung)

Die Autoren definieren „Explanatory Alignment" als Zustand, bei dem die Erklärung $\pi$ direkt der Vorhersage $y$ zugrunde liegt.

• Definition: Ein Modell ist ausgerichtet, wenn es eine vollständig interpretierbare Merkmalsmenge $z$ und eine einfache Aggregationsfunktion $g$ gibt, sodass $y = g(\pi, z)$.
• Lesbarkeit (Readability): Als Designprinzip wird „Lesbarkeit" eingeführt. Ein Modell ist lesbar, wenn seine Vorhersage als einfache Funktion von Attributionsgewichten und interpretierbaren Merkmalen geschrieben werden kann.

B. Pseudo-lineare Modelle und PiNets

Um Lesbarkeit in tiefen neuronalen Netzen zu erreichen, schlagen die Autoren PiNets (Pointwise-interpretable Networks) vor.

• Architektur: PiNets basieren auf einer pseudo-linearen Struktur:
  1. Encoder: Wandelt Eingabedaten $x$ in reiche, aber potenziell nicht-interpretierte Encodings $h(x)$ um.
  2. Decoder: Generiert aus $h(x)$ instanzspezifische Koeffizienten $\pi(x)$ (die Attributionsgewichte).
  3. Second Look (Zweiter Blick): Die Koeffizienten $\pi(x)$ werden elementweise mit den interpretierbaren Merkmalen $z$ multipliziert ($\pi(x) \circ z$). Dies zwingt das Modell, die Daten nach der Extraktion von Informationen erneut zu „betrachten".
  4. Linearer Aggregator: Die Vorhersage $y$ wird durch eine einfache lineare Kombination (z. B. Summation) berechnet.
• Vorteil: Im Gegensatz zu herkömmlichen Netzen, die komplexe interne Features lernen, lernen PiNets komplexe Koeffizienten für interpretierbare Features. Dies gewährleistet, dass die Erklärung $\pi$ die Vorhersage $y$ direkt bestimmt.

C. Das MARS-Evaluierungsframework

Um die Qualität der Erklärungen über die reine Ausrichtung hinaus zu messen, führen die Autoren das MARS-Framework ein:

• Meaningful (Sinnvoll): Die Erklärung erfasst relevante Signale (Ground Truth).
• Aligned (Ausgerichtet): Die Erklärung spiegelt den Vorhersageprozess wider (durch das PiNet-Design garantiert).
• Robust (Robust): Die Erklärung ist nicht stark von kontextuellen Störsignalen abhängig.
• Sufficient (Ausreichend): Die gefilterten Signale ($\pi \circ z$) reichen aus, um die ursprüngliche Vorhersage wiederherzustellen.

D. Trainings-Techniken zur Verbesserung der Treue (Faithfulness)

Um PiNets auch in den Kriterien M, R und S zu optimieren, werden drei Techniken vorgeschlagen:

1. Recursive Stabilization (Rekursive Stabilisierung): Ein Feedback-Loss wird hinzugefügt, der die Diskrepanz zwischen der initialen Erklärung und der Erklärung, die aus dem gefilterten Eingabesignal ($\pi(x) \circ z$) rekursiv generiert wird, bestraft. Dies fördert Robustheit und Suffizienz.
2. Ensembling: Die Kombination mehrerer PiNets. Da die Summe pseudo-linearer Modelle wieder ein pseudo-lineares Modell ist, bleibt die Lesbarkeit erhalten, während die Varianz der Erklärungen reduziert wird.
3. Strong Supervision (Starke Überwachung): Wenn Ground-Truth-Attributions ($\pi^*$) verfügbar sind, wird ein zusätzlicher Loss-Term verwendet, um die gelernten Attributionsgewichte direkt an die Wahrheit anzupassen.

3. Ergebnisse

Die Autoren evaluieren PiNets in zwei Szenarien:

A. ToyShapes (Synthetische Bilddaten)

• Aufgabe: Binäre Klassifikation (Vorhandensein von Dreiecken in Quadranten).
• Vergleich: PiNets vs. Grad-CAM (Baseline auf CNNs).
• Ergebnisse:
  • Lesbarkeit & Ausrichtung: PiNets sind per Design ausgerichtet.
  • Sinnhaftigkeit (Meaningfulness): Ohne sorgfältiges Design (z. B. „PiNet Naive" mit ungeeignetem Decoder) erreichen PiNets hohe Vorhersagegenauigkeit, liefern aber zufällige Erklärungen. Mit einem geeigneten Decoder und dem „Second Look" übertrifft das Modell Grad-CAMs in der Erkennung relevanter Pixel.
  • Stabilität: Ensembling und rekursive Feedback-Loops verbessern die Stabilität der Erklärungen über verschiedene Trainingsläufe hinweg.
  • Feinabstimmung: PiNets benötigen weniger Feinabstimmung des Schwellenwerts (Thresholding) als Grad-CAMs, um qualitativ hochwertige Erklärungen zu erzielen.
  • Rekursive Stabilität: PiNets zeigen geringere Genauigkeitsverluste bei rekursiven Vorhersagen (Suffizienz), insbesondere bei Ensembles.

B. Flood Mapping (Semantische Segmentierung auf Satellitenbildern)

• Aufgabe: Detektion von überfluteten Gebieten (Sen1Floods11 Dataset).
• Vergleich: PiNet (trainiert auf Bild-Level-Flächenangaben) vs. SegNet (trainiert auf Pixel-Level-Segmentierung).
• Ergebnisse:
  • Obwohl das PiNet nur auf aggregierten Flächeninformationen trainiert wurde (keine Pixel-Labels), erzeugt es sinnvolle Segmentierungskarten.
  • Die IoU (Intersection over Union) für Wasserflächen ist nur geringfügig schlechter als bei der stark überwachenden SegNet-Baseline, während das PiNet gleichzeitig interpretierbare Attributionskarten liefert.
  • Dies zeigt, dass PiNets auch mit weniger granularer Zielvariable sinnvolle Erklärungen lernen können.

4. Hauptbeiträge

1. Konzeptuelle Klärung: Einführung des Begriffs „Explanatory Alignment" und die Argumentation, dass Erklärungen intrinsisch und vor der Vorhersage generiert werden müssen, um Vertrauen zu schaffen.
2. Neues Framework (PiNets): Entwicklung einer Architektur, die tiefe Lernfähigkeit mit pseudo-linearer Struktur verbindet, um instanzspezifische, lineare Vorhersagen auf interpretierbaren Features zu ermöglichen.
3. MARS-Framework: Definition eines ganzheitlichen Evaluierungsstandards (Meaningfulness, Alignment, Robustness, Sufficiency) für Erklärungen.
4. Technische Innovation: Vorstellung von Trainingsmethoden (rekursive Stabilisierung, Ensembling, starke Überwachung), die die Treue der Erklärungen ohne Verlust der Vorhersagegenauigkeit steigern.
5. Empirische Validierung: Nachweis, dass PiNets in synthetischen und realen Szenarien (Bilder, Satellitendaten) konkurrenzfähige oder überlegene Erklärungen im Vergleich zu State-of-the-Art-Methoden (Grad-CAM) liefern.

5. Bedeutung und Ausblick

Das Paper stellt einen Paradigmenwechsel dar: Statt Erklärungen nachträglich zu schätzen, werden sie als integraler Bestandteil der Modellarchitektur vor der Vorhersage konstruiert.

• Vertrauenswürdigkeit: PiNets bieten eine höhere Garantiestufe für die Korrektheit von Erklärungen, da diese nicht nur Approximationen, sondern die eigentliche Berechnungsgrundlage der Vorhersage sind.
• Anwendbarkeit: Das Framework ist flexibel und kann auf verschiedene Datentypen (Text, Audio, Graphen) erweitert werden, indem der Feature-Raum $Z$ für die Erklärung angepasst wird, während der Eingaberaum $X$ komplex bleibt.
• Zukunft: Die Autoren sehen Potenzial in der Nutzung von PiNets für Aufgaben mit schwachen Labels (z. B. Segmentierung ohne vollständige Pixel-Annotationen) und in der ethischen Gestaltung von Erklärungen durch starke Überwachung, um Verzerrungen zu minimieren.

Zusammenfassend demonstriert das Paper, dass es möglich ist, tief neuronale Netze so zu gestalten, dass sie „klar sprechen" – sie liefern nicht nur präzise Vorhersagen, sondern auch Erklärungen, die diesen Vorhersagen strukturell und inhaltlich entsprechen.