🤖 AI

Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification

Dieses Paper führt Visual-TCAV ein, ein neuartiges Erklärbarkeits-Framework, das die Lücke zwischen Saliency- und konzeptbasierten Methoden schließt, indem es klassenagnostische Saliency-Maps generiert, um Konzepte in Eingabebildern zu lokalisieren, und deren Attribution zu spezifischen Klassenvorhersagen unter Verwendung einer Verallgemeinerung von Integrated Gradients schätzt.

Ursprüngliche Autoren: Antonio De Santis, Riccardo Campi, Matteo Bianchi, Marco Brambilla

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Antonio De Santis, Riccardo Campi, Matteo Bianchi, Marco Brambilla

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter, der ein Foto betrachten und Ihnen genau sagen kann, was darauf zu sehen ist. Vielleicht sieht er ein Zebra und sagt: „Das ist ein Zebra!“ Aber hier liegt das Problem: Der Roboter ist eine Black Box. Sie können sehen, was er „isst“ (das Foto) und was er „ausspuckt“ (die Antwort), aber Sie haben keine Ahnung, wie er zu dieser Entscheidung gekommen ist. Er könnte auf die Streifen achten, oder er schaut vielleicht nur auf das Gras im Hintergrund.

Lange Zeit verfügten Wissenschaftler über zwei verschiedene Werkzeuge, um in diese Black Box hineinzuschauen, aber beide hatten eine große Schwachstelle:

Das „Spotlight“-Werkzeug (Saliency Maps): Dieses Werkzeug wirft ein helles Licht auf die Teile des Fotos, auf die der Roboter achtet. Es ist großartig, um zu sagen: „Der Roboter schaut auf die Streifen!“ Aber es kann nicht erklären, warum die Streifen wichtig sind. Sind die Streifen wichtig, weil sie schwarz sind? Weil sie weiß sind? Weil sie gekrümmt sind? Es kennt das Konzept nicht.
Das „Sensitivitäts“-Werkzeug (TCAV): Dieses Werkzeug fragt: „Ist dem Roboter ‚Streifen‘ wichtig?“ Es kann sagen: „Ja, der Roboter reagiert sehr empfindlich auf das Konzept der Streifen.“ Aber es kann nicht sagen, wo im Foto der Roboter die Streifen gesehen hat, noch kann es sagen, wie sehr diese Streifen tatsächlich geholfen haben, um diese spezifische Entscheidung des Roboters zu treffen.

Visual-TCAV: Die Lupe des Detektivs

Die Autoren dieses Papers haben ein neues Werkzeug namens Visual-TCAV entwickelt. Betrachten Sie es als einen Detektiv, der das Beste aus beiden Welten kombiniert. Er sagt Ihnen nicht nur, was der Roboter denkt oder wohin er schaut; er sagt Ihnen, wo er ein bestimmtes Konzept gefunden hat und wie viel dieses Konzept zu der endgültigen Antwort beigetragen hat.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Dem Roboter ein neues Wort beibringen (Das CAV)

Zuerst müssen Sie dem Roboter beibringen, wie ein bestimmtes Konzept aussieht. Angenommen, Sie möchten wissen, ob der Roboter „Dimples“ (wie bei einem Golfball) versteht. Sie zeigen dem Roboter 30 Bilder von Golfbällen (positive Beispiele) und 500 zufällige Bilder von Dingen, die keine Golfbälle sind (negative Beispiele).

Das Werkzeug erstellt einen „mentalen Fingerabdruck“ für „Dimples“. Es ist so, als würde man dem Roboter eine spezielle Brille geben, die nur Dimples hervorhebt.

2. Die „Wo“-Karte (Concept Map)

Sobald der Roboter seine „Dimple-Brille“ hat, setzt Visual-TCAV diese beim Roboter auf und lässt ihn ein neues Foto betrachten. Es zeichnet dann eine Heatmap auf das Foto.

Rote Bereiche: „Hier sieht der Robot eindeutig Dimples.“
Blaue Bereiche: „Hier sieht der Roboter nichts, was mit Dimplen zu tun hat.“

Dies löst das Problem des „Sensitivitäts“-Werkzeugs, das nicht zeigen konnte, wo das Konzept war. Jetzt können Sie genau sehen, welchen Teil des Golfballs der Roboter analysiert.

3. Der „Wie vielても“-Score (Concept Attribution)

Das ist der magische Teil. Das Werkzeug sagt nicht nur: „Der Roboter hat Dimples gesehen.“ Es berechnet einen Score, um die Frage zu beantworten: „Wie sehr hat das Sehen dieser Dimples dem Roboter geholfen, zu entscheiden, dass dies ein Golfball ist?“

Stellen Sie sich vor, der Roboter ist ein Richter, der einen Fall entscheidet.

Alte Werkzeuge konnten sagen: „Der Richter hat die Beweise betrachtet.“ (Saliency) oder „Der Richter legt Wert auf diese Art von Beweisen.“ (TCAV).
Visual-TCAV sagt: „Der Richter hat die Beweise (die Dimples) in der oberen rechten Ecke betrachtet, und dieses spezifische Beweisstück hat zu 40 % zum endgültigen Urteil beigetragen.“

Dies geschieht durch eine mathematische Technik namens „Integrated Gradients“, die im Grunde den Pfad der Entscheidungsfindung des Roboters von einem leeren Bildschirm bis zum fertigen Foto nachverfolgt und misst, wie sehr jeder Schritt seine Meinung geändert hat.

Warum ist das wichtig? (Der „Gotcha“-Test)

Die Autoren testeten dies mit einem cleveren Experiment. Sie trainierten Roboter, drei Dinge zu erkennen: eine Gurke, ein Taxi und ein Zebra. Aber sie spielten einen Streich: Sie fügten ein zufälliges Zeichen (wie ein „Z“) in ein farbiges Quadrat auf den Bildern hinzu.

Das Setup: Einige Roboter wurden mit Bildern ohne die Buchstaben trainiert. Andere wurden mit Bildern mit den Buchstaben trainiert.
Die Falle: Sie testeten die Roboter auf Bildern, in denen der Buchstabe nicht zum Tier passte (z. B. ein Zebra mit einem „C“ darauf).
Das Ergebnis:
- Die Roboter, die auf die „buchstabenreichen“ Bilder trainiert wurden, hörten auf, die eigentlichen Tiere zu betrachten. Sie suchten nur nach den Buchstaben. Wenn sie ein „C“ sahen, tippten sie auf „Gurke“, selbst wenn es ein Zebra war.
- Visual-TCAV hat dies sofort erkannt. Es zeigte, dass für die „buchstabenreichen“ Roboter das Konzept „Zebra“ fast null Bedeutung hatte, während das Konzept „Der Buchstabe C“ eine riesige Wichtigkeit aufwies.
- Die alten Werkzeuge (TCAV) waren verwirrt. Sie sagten: „Der Roboter reagiert sowohl auf das Zebra als auch auf den Buchstaben!“, aber sie konnten Ihnen nicht sagen, dass der Roboter das Zebra tatsächlich ignorierte und nur auf den Buchstaben achtete. Visual-TCAV sah den Unterschied in der Größenordnung (wie viel sie wichtig waren), nicht nur in der Richtung.

Das Fazit

Visual-TCAV ist eine neue Art, mit KI zu kommunizieren. Es ermöglicht Ihnen zu fragen:

Wo hast du die „Streifen“ gesehen? (Es zeichnet eine Karte).
Wie sehr haben die „Streifen“ dir geholfen, dich zu entscheiden? (Es gibt einen Score).

Dies hilft Menschen, KI mehr zu vertrauen, weil sie verifizieren können, dass der Roboter tatsächlich auf die richtigen Dinge achtet (wie die Streifen eines Zebras) und nicht nur schummelt, indem er auf den Hintergrund oder einen zufälligen Buchstaben schaut. Es überbrückt die Lücke zwischen „Ich sehe, worauf du schaust“ und „Ich verstehe, warum du diese Wahl getroffen hast“.

Technisches Resümee: Visual-TCAV

Problemstellung

Convolutional Neural Networks (CNNs) haben bemerkenswerte Leistungen in der Bildklassifizierung erzielt, bleiben jedoch „Black-Box“-Modelle, was das Vertrauen und das Debugging in kritischen Bereichen wie dem Gesundheitswesen oder dem autonomen Fahren erschwert. Bestehende Methoden der erklärbaren KI (Explainable AI, XAI) leiden unter komplementären Einschränkungen:

Saliency-Methoden (z. B. Grad-CAM, Integrated Gradients): Liefern lokale, pixelbasierte Erklärungen, die zeigen, wo eine Klasse identifiziert wurde, versäumen es jedoch zu erklären, welche hochgradigen semantischen Konzepte (z. B. „gestreift“, „Grübchen“) die Vorhersage vorangetrieben haben.
Konzeptbasierte Methoden (z. B. TCAV): Erklären, wie sensitiv ein Netzwerk global auf menschendefinierte Konzepte reagiert, können jedoch die Bedeutung eines Konzepts nicht einer spezifischen Vorhersageinstanz zuordnen, noch können sie die räumliche Lage dieser Konzepte innerhalb des Eingabebildes visualisieren.

Folglich besteht eine Lücke bei Methoden, die gleichzeitig räumliche Verankerung (Lokalisierung von Konzepten), Instanz-spezifische Attribuierung (Quantifizierung der Konzeptrelevanz für eine spezifische Vorhersage) und Aggregierbarkeit (Generierung globaler Erkenntnisse) bieten können.

Methodik: Visual-TCAV

Visual-TCAV ist ein Framework, das darauf ausgelegt ist, die Lücke zwischen Saliency-Methoden und konzeptbasierten Methoden zu schließen. Es operiert auf jeder CNN-Schicht, die Feature-Maps erzeugt, und generiert zwei primäre Ausgaben: eine Konzeptkarte (räumliche Lokalisierung) und eine Konzept-Attribuierung (numerische Wichtigkeit).

1. CAV-Generierung und Spatial Pooling

Folgend dem TCAV-Paradigma berechnet die Methode zunächst einen Concept Activation Vector (CAV) mittels des „Difference of Means“-Ansatzes. Dies beinhaltet:

Das Sammeln von Feature-Maps aus benutzerdefinierten positiven Konzeptbeispielen und negativen (zufälligen) Beispielen.
Die Berechnung des arithmetischen Mittelwerts (Schwerpunkt) für beide Mengen.
Die Ableitung des CAV als Differenz zwischen dem Konzept-Schwerpunkt und dem Zufalls-Schwerpunkt.
Die Anwendung von Global Average Pooling (GAP) auf den CAV, um einen pooled-CAV zu erstellen. Dieser Vektor repräsentiert die Korrelation zwischen dem Konzept und jedem Feature-Map-Kanal, unabhängig von der räumlichen Lage.

2. Konzeptkarte (Räumliche Verankerung)

Um zu lokalisieren, wo ein Konzept $c$ in einem Eingabebild erkannt wird, generiert Visual-TCAV eine Konzeptkarte $M^c$ :

Es berechnet eine gewichtete Summe der Feature-Maps des Eingabebildes ( $F$ ), wobei die Gewichte die Elemente des pooled-CAV ( $p^c_i$ ) sind.
Eine ReLU-Funktion wird angewendet, um nur Regionen beizubehalten, die positiv mit dem Konzept korrelieren.
Normalisierung: Um die Vergleichbarkeit über Bilder hinweg zu gewährleisten, wird die Karte mittels einer benutzerdefinierten Min-Max-Skalierung normalisiert. Die Grenzen ( $\ell_c, u_c$ ) werden heuristisch aus den Median-Kontraharmonischen Mittelwerten der aus positiven bzw. negativen Beispielmengen generierten Konzeptkarten abgeleitet.
Das Ergebnis ist eine klassenunabhängige Visualisierung, die die räumlichen Regionen hervorhebt, in denen das Netzwerk das Konzept erkennt.

3. Konzept-Attribuierung (Instanz-spezifische Wichtigkeit)

Um das Ausmaß des Beitrags eines Konzepts zu einer spezifischen Klassenvorhersage abzuschätzen, erweitert die Methode Integrated Gradients (IG):

Feature-Map IG: Anstatt die Gradienten von Eingabepixeln zu integrieren, wird IG im Raum der Feature-Maps einer gewählten Schicht berechnet. Dies misst die Attribuierung der Feature-Map-Aktivierungen auf das Logit der Zielklasse relativ zu einer Baseline (Null-Tensor).
Gewichtung durch Konzept-Ausrichtung: Die normalisierten IG-Attribuierungen werden durch den normalisierten pooled-CAV ( $\hat{p}^c$ ) gewichtet. Dies betont Feature-Maps, die stark mit dem Konzept korrelieren, und gewichtet andere ab.
Räumliches Maskieren: Die gewichteten Attribuierungen werden elementweise mit der normalisierten Konzeptkarte ( $\hat{M}^c$ ) multipliziert, was als räumliche Maske fungiert, um konzeptrelevante Regionen zu isolieren.
Aggregation: Die Summation über alle räumlichen Positionen ergibt eine skalare Konzept-Attribuierung ( $a_{c,k}$ ), welche den Beitrag des Konzepts $c$ zur Klasse $k$ für einen spezifischen Input quantifiziert.

4. Globale Erklärungen

Globale Erkenntnisse werden durch die Mittelung der pro Instanz berechneten Konzept-Attribuierungen über einen Satz von Eingabebildern für eine ausgewählte Klasse gewonnen, wodurch die allgemeine Bedeutung eines Konzepts für diese Klasse quantifiziert wird.

Kernbeiträge

Einheitliches Framework: Visual-TCAV integriert die Stärken von Saliency-Maps und konzeptbasierten Methoden und erfüllt drei Desiderata: (D1) räumliche Verankerung, (D2) Instanz-spezifische Attribuierung und (D3) Aggregierbarkeit.
Magnituden-bewusste Attribuierung: Im Gegensatz zu TCAV, das sich ausschließlich auf die Vorzeichen gerichteter Ableitungen (Sensitivität) stützt, nutzt Visual-TCAV die Größenordnung (Magnitude) der Gradienten (via Integrated Gradients), um den tatsächlichen Einfluss eines Konzepts auf den Vorhersagewert zu messen.
Visuelle Validierung: Die Generierung von Konzeptkarten ermöglicht eine qualitative Validierung, ob der CAV mit dem intendierten Konzept des Benutzers übereinstimmt, ohne dass eine Aktivierungsmaximierung erforderlich ist.
Validierung durch Ground Truth: Die Autoren führen ein kontrolliertes Experiment mit synthetischen Datensätzen (Gurke, Taxi, Zebra mit künstlichen Tags) durch, bei denen die Ground Truth für die Konzeptwichtigkeit bekannt ist, und demonstrieren, dass Visual-TCAV besser mit der Ground Truth übereinstimmt als Standard-TCAV.

Ergebnisse

Die Methode wurde mit ResNet50V2, InceptionV3 und VGG16 (ImageNet) sowie einem auf CelebA trainierten ResNet50V2 evaluiert.

Lokale Erklärungen: Visual-TCAV visualisierte erfolgreich, dass hochgradige Konzepte (z. B. „Auto“) in tieferen Schichten erkannt werden, während feingliedrige Konzepte in früheren Schichten erscheinen. Es identifizierte zudem, dass Fehlklassifikationen (z. B. ein „Ochse“, der als „Dalmatiner“ fehlklassifiziert wurde) durch spezifische Konzepte (z. B. „gefleckt“) getrieben wurden, die signifikant zum falschen Klassen-Logit beitrugen.
Globale Erklärungen: Aggregierte Attribuierungen stimmten mit intuitiven Erwartungen überein (z. B. ist „gestreift“ stark zu „Zebra“ attribuiert). Die Methode hob auch potenzielle Modell-Biases hervor, wie etwa die übermäßige Abhängigkeit von spezifischen Merkmalen.
Quantitative Validierung: In dem kontrollierten Tag-basierten Experiment spiegelten die Visual-TCAV-Attribuierungen korrekt die Ground Truth wider: Mit zunehmendem Prozentsatz an getaggten Bildern, auf denen das Modell trainiert wurde, verschob sich die Attribuierung vom Entität (z. B. „Zebra“) zum Tag (z. B. „Z“).
Vergleich mit TCAV: Während TCAV-Scores auch dann hoch blieben, wenn Modelle nicht mehr zwischen Entitäten und Tags unterscheiden konnten (aufgrund der Abhängigkeit von Gradienten-Vorzeichen), konnte Visual-TCAV die relative Wichtigkeit korrekt unterscheiden, indem es die Gradienten-Magnituden maß, was eine nahezu Null-Attribuierung für irrelevante Konzepte in überangepassten Modellen zeigte.

Signifikanz und Ansprüche

Das Paper behauptet, dass Visual-TCAV eine umfassendere Erklärung bietet als bestehende Methoden, da es quantifiziert, wie sehr ein Konzept eine Vorhersage beeinflusst, und nicht nur, ob das Netzwerk darauf sensitiv reagiert.

Es adressiert die Limitation von TCAV bei der Bewertung von Fehlklassifikationen und der Verifizierung der räumlichen Verankerung.
Es bietet einen Mechanismus, um zu erkennen, wann Modelle auf Abkürzungen (Shortcuts) zurückgreifen (z. B. Tags statt Objekte), was für sicherheitskritische Anwendungen entscheidend ist.
Die Autoren merken bescheiden an, dass die Sammlung von Konzeptbeispielen Fachwissen erfordert und die Methode keine Vollständigkeitsgarantie bietet (d. h. sie kann nicht verifizieren, ob die getesteten Konzepte erschöpfend sind für das, was das Modell gelernt hat).
Zukünftige Arbeiten schlagen die Anwendung der Methode auf Vision Transformer (ViTs) und Regressionsaufgaben vor, wobei die Autoren die Herausforderungen der räumlichen Verankerung in auf Attention basierenden Architekturen anerkennen.