🤖 machine learning

Assessing Reliability of Symbol Detection in Concept Bottleneck Models

Diese Arbeit zeigt auf, dass eine hohe Aufgabengenauigkeit in Concept Bottleneck Models keine zuverlässige Konzeptdetektion aufgrund von Schein-Abkürzungen (spurious shortcuts) garantiert, und schlägt eine reliabilitätsbewusste Trainingsstrategie vor, die gemeinsame Konzeptdetektoren über mehrere Köpfe hinweg optimiert, um dieses Problem zu mildern und die Austauschbarkeit von Detektoren und Klassifikationsköpfen signifikant zu verbessern.

Ursprüngliche Autoren: Javier Fumanal-Idocin, Javier Andreu-Perez

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Javier Fumanal-Idocin, Javier Andreu-Perez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Experten ein, um Vögel zu identifizieren. Sie wollen, dass sie erklärbar sind, was bedeutet, dass sie nicht einfach nur sagen: „Das ist ein Rotkehlchen!“ und dann aufhören. Stattdessen müssen sie zuerst die Merkmale auflisten, die sie sehen: „Es hat eine rote Brust“, „Es hat einen kleinen Schnabel“ und „Es hat ein graues Bein“. Erst nach dem Auflisten dieser „Konzepte“ geben sie die endgültige Vermutung ab.

So funktionieren Concept Bottleneck Models (CBMs). Sie sind in der KI beliebt, weil sie transparent erscheinen. Dieser Artikel stellt jedoch eine beängstigende Frage: Sehen diese Experten tatsächlich die Merkmale oder raten sie nur basierend auf versteckten Abkürzungen?

Hier ist eine Aufschlüsselung der Erkenntnisse und Lösungen des Papers, unter Verwendung einfacher Analogien.

1. Das Problem: Der „Spickzettel“-Effekt

In einem Standard-KI-Setup werden der „Merkmalsdetektor“ (der Teil, der die rote Brust erkennt) und der „Klassifizierer“ (der Teil, der den Vogel benennt) gleichzeitig trainiert.

Die Autoren fanden heraus, dass diese beiden Teile oft eine Geheimsprache entwickeln, wenn man sie gemeinsam trainiert.

Die Analogie: Stellen Sie sich einen Schüler (den Detektor) und einen Lehrer (den Klassifizierer) vor, die gemeinsam für eine Prüfung lernen. Der Schüler lernt gar nicht wirklich, wie eine „rote Brust“ aussieht. Stattdessen bemerkt er, dass jedes Mal, wenn der Lehrer einen roten Hintergrund im Foto sieht, die Antwort „Rotkehlchen“ lautet. Also fängt der Schüler an, „Rote Brust!“ zu rufen, wann immer er einen roten Hintergrund sieht, selbst wenn der Vogel eigentlich ein Blaukehlchen ist.
Das Ergebnis: Die KI kommt zwar immer richtig auf den Namen des Vogels (100 % der Zeit), aber ihre Erklärung ist eine Lüge. Sie glaubt, eine rote Brust zu sehen, reagiert aber in Wirklichkeit nur auf die Hintergrundfarbe. Dies wird als Informationsleckage (Information Leakage) bezeichnet.

2. Der Stresstest: Das „Austausch“-Experiment

Wie weiß man, ob die KI schummelt? Die Autoren entwickelten einen cleveren Test: Den Austausch (The Swap).

Die Analogie: Stellen Sie sich vor, Sie haben fünf verschiedene Schüler (Detektoren) und fünf verschiedene Lehrer (Klassifizierer). Sie trainieren sie alle separat.
- Szenario A (Gut): Wenn Schüler 1 wirklich lernt, wie eine „rote Brust“ aussieht, sollte er in der Lage sein, seine Notizen an jeden der anderen Lehrer zu übergeben, und der Lehrer sollte den Vogel immer noch richtig benennen.
- Szenario B (Schlecht/Schummeln): Wenn Schüler 1 nur „Roter Hintergrund = Rotkehlchen“ für seinen spezifischen Lehrer auswendig lernt und Sie ihn dann mit einem neuen Lehrer austauschen, der diesen geheimen Code nicht kennt, wird das System kläglich scheitern. Die Konzepte sind völlig falsch; sie waren nur Abkürzungen.
Die Ergebnisse:
- Auf einem realen Vogel-Datensatz (CUB-200) waren die Modelle überraschend ehrlich. Das Austauschen von Schülern und Lehrern veränderte das System kaum. Die „Konzepte“ waren echt.
- Auf einem künstlichen, kontrollierten Datensatz reduzierten die Autoren das „Ehrlichkeitstraining“ (Konzept-Supervision). Plötzlich lieferten die Modelle weiterhin den richtigen Vogelnamen, aber als Sie die Teile austauschten, brach das System zu reinem Raten zusammen. Die Konzepte waren völlig erfunden; sie waren nur Abkürzungen.

3. Die Lösung: Die „Gruppenprojekt“-Strategie

Die Autoren schlagen einen neuen Weg vor, um diese Modelle zu trainieren, damit sie nicht schummeln.

Der alte Weg: Ein Schüler trainiert mit einem Lehrer. Sie werden zu vertraut miteinander und entwickeln geheime Abkürzungen.
Der neue Weg (Reliability-Aware Training): Ein Schüler wird gezwungen, gleichzeitig mit fünf verschiedenen Lehrern zu arbeiten.
- Die Analogie: Stellen Sie sich einen Schüler vor, der versucht, eine „rote Brust“ zu lernen. Wenn er versucht zu schummeln, indem er „roter Hintergrund“ sagt, könnte Lehrer A sagen: „Nein, das ist falsch für diesen Vogel.“ Lehrer B könnte sagen: „Eigentlich ist das ein Blaukehlchen.“ Da der Schüler alle fünf Lehrer gleichzeitig zufriedenstellen muss, kann er sich nicht auf eine Abkürzung verlassen, die nur für einen von ihnen funktioniert. Er ist gezwungen, das tatsächliche Merkmal (die rote Brust) zu lernen, da dies das einzige ist, das alle zufriedenstellt.
Das Ergebnis: Diese Methode reduzierte das Schummeln erheblich. Selbst wenn das Training schwierig war, schnitten die ausgetauschten Modelle viel besser ab, was bewies, dass die Konzepte real und keine bloßen Abkürzungen waren.

4. Den „Konfidenz“-Meter prüfen

Das Paper untersuchte auch die Unsicherheit (Uncertainty).

Die Analogie: Wenn fünf Schüler auf einen Vogel schauen und vier sagen „Graues Bein“ und einer sagt „Kein Bein“, ist die Gruppe verwirrt. Das Paper fand heraus, dass wenn die KI bei einem bestimmten Merkmal (wie der Beinfarbe) verwirrt ist, dies meist zu einer falschen endgültigen Entscheidung führt.
Durch das Messen dieser „Gruppen-Uneinigkeit“ kann das System erkennen, wann es eine Entscheidung auf Basis unsicherer Beweise trifft.

Zusammenfassung

Dieser Artikel ist ein „Sanity Check“ für erklärbare KI. Er zeigt, dass nur weil eine KI Ihnen eine Liste von Gründen für ihre Entscheidung liefert, diese Gründe nicht zwangsläufig wahr sind. Es könnten clevere Lügen (Abkürzungen) sein, die während des Trainings gelernt wurden.

Die Autoren haben bewiesen, dass man, indem man die KI zwingt, sich gleichzeitig mehreren verschiedenen „Richtern“ zu erklären, das Lernen dieser Lügen verhindern und sie dazu bringen kann, die tatsächlichen Merkmale zu lernen, was die KI sowohl präzise als auch wirklich vertrauenswürdig macht.

Technisches Resümee: Bewertung der Zuverlässigkeit der Symbolerkennung in Concept Bottleneck Models

1. Problemstellung

Concept Bottleneck Models (CBMs) sind eine prominente Klasse neuro-symbolischer Methoden, die für erklärbare KI (XAI) entwickelt wurden. Sie arbeiten, indem sie zunächst interpretierbare Konzepte aus Eingangsdaten extrahieren und anschließend einen leichtgewichtigen, interpretierbaren Klassifikator verwenden, um diese Konzepte auf endgültige Vorhersagen abzubilden. Während eine hohe Aufgaben-Genauigkeit (Accuracy) oft als Stellvertreter für die Modellqualität verwendet wird, argumentiert dieses Paper, dass Genauigkeit keine treue Konzepterkennung garantiert.

Das identifizierte Kernproblem ist das Informationsleck (oder „Shortcuts“) innerhalb des Bottlenecks. Wenn Konzeptdetektoren und Klassifikationsköpfe gemeinsam trainiert werden, kann der Detektor aufgabenspezifische Signale in die Konzeptaktivierungen kodieren, die zwar nützlich für die Klassifikation sind, aber nicht mit der beabsichtigten semantischen Bedeutung der Konzepte übereinstimmen. Folglich kann das Modell eine hohe Genauigkeit erzielen, indem es sich auf Scheinkorrelationen statt auf echtes Konzeptverständnis verlässt. Dies macht die Erklärungen des Modells unzuverlässig, da die intermediären Symbole nicht das repräsentieren, was sie zu repräsentieren vorgeben.

2. Methodik

2.1 Messung der Fehlpassung (Misalignment)

Die Autoren schlagen eine Suite von Diagnostika vor, um die Zuverlässigkeit der Symbolerkennung zu bewerten, die über Standard-Genauigkeitsmetriken hinausgeht:

Globale Symbolzuverlässigkeit (Swap-Test): Die Autoren trainieren mehrere CBMs unabhängig voneinander. Anschließend tauschen sie den Konzeptdetektor eines Modells gegen den Klassifikationskopf eines anderen aus.
- Wenn das getauschte Modell eine hohe Genauigkeit beibehält, teilen der Konzeptdetektor und der Kopf eine robuste, invariante symbolische Repräsentation.
- Ein signifikanter Abfall der Genauigkeit („Swap Drop“) deutet darauf darauf hin, dass der Detektor und der Kopf zu spezifischen, aus dem ursprünglichen Paar hervorgegangenen, Schein-Kodierungen koadaptiert haben.
Austauschbarkeit von Symbolen: Um zu testen, ob das Modell auf die Identität von Konzepten oder lediglich auf die Anzahl der aktivierten Konzepte angewiesen ist, verwenden die Autoren zwei Nullverteilungen:
- Konzept-Dimension-Permutation: Zufälliges Vertauschen der Konzeptlabels, bevor sie dem Kopf zugeführt werden.
- Innerhalb-der-Konzepte-Stichproben-Vertauschung: Permutation der Konzeptwerte über Stichproben hinweg.
- Wenn die Genauigkeit unter diesen Permutationen hoch bleibt, sind die Symbole nicht als distinkte Konzepte unterscheidbar, was auf eine unzuverlässige Erkennung hindeutet.
Zuverlässigkeit einzelner Vorhersagen: Unter Verwendung eines Ensembles aus unabhängig trainierten Detektoren zerlegen die Autoren die Vorhersageunsicherheit in aleatorische (Datenrauschen) und epistemische (Modell-Disagreement) Komponenten. Sie schreiben die Label-Unsicherheit spezifischen Symbolen zu, indem sie die Vorhersagen einzelner Konzepte auf den Ensemble-Konsens einfrieren und die Reduktion der Label-Unsicherheit messen.

2.2 Vorgeschlagene Lösung: Zuverlässigkeitsbewusstes Training

Um Informationslecks zu minimieren, schlägt das Paper eine Trainingsstrategie vor, die die Koadaptation zwischen dem Detektor und dem Kopf reduziert:

Multi-Head-Training: Anstatt einen Detektor mit einem Kopf zu trainieren, wird ein gemeinsamer Konzeptdetektor $g_\theta$ $g_{θ}$ gegen ein Ensemble von $R$ $R$ unabhängig initialisierten Klassifikationsköpfen $\{f^{(r)}_{\phi_r}\}$ ${f_{ϕ_{r}}^{(r)}}$ trainiert.
- Die Verlustfunktion mittelt den Klassifikationsverlust über alle Köpfe.
- Concept Dropout: Um zu verhindern, dass die Köpfe zu derselben Lösung konvergieren (was den Ensemble-Effekt zunichtemachen würde), erhält jeder Kopf durch eine unabhängige, zufällige Dropout-Maske maskierte Konzeptaktivierungen. Dies zwingt den Detektor dazu, Repräsentationen zu lernen, die robust gegenüber fehlenden Informationen sind und nicht auf einzelnen Shortcuts basieren.
Zuverlässigkeitsbewusste Regularisierung:
- Ein globaler Zuverlässigkeitsscore $r_k$ wird für jedes Konzept basierend auf seiner Erkennungsgenauigkeit auf einem Validierungsset berechnet.
- Die instanzspezifische epistemische Unsicherheit $U_{epi}(x_i, k)$ wird für jedes Symbol geschätzt.
- Ein Unzuverlässigkeitsgewicht $\omega_{ik}$ wird berelast, das die globale Zuverlässigkeit und die Instanz-Unsicherheit kombiniert.
- Ein Strafterm wird zur Verlustfunktion hinzugefügt, der den Klassifikator davon abhält, sich auf Konzepte mit geringer globaler Zuverlässigkeit oder hoher Instanz-Unsicherheit zu verlassen.

3. Zentrale Ergebnisse

3.1 CUB-200-2011 Datensatz (Vollständige Überwachung)

Bei der Klassifikation von Vogelarten mit vollständiger Konzeptüberwachung ( $\lambda=1$ ):

Hohe Austauschbarkeit: Detektoren und Köpfe sind fast frei austauschbar. Der Swap Drop ist minimal (unter 1 Genauigkeitspunkt), und die relative Beibehaltung liegt über 99 %.
Robustheit: Es wurden keine Konzepte unter dem Zufallsniveau detektiert, und Köpfe, die auf einem Seed trainiert wurden, übertrugen sich nahezu verlustfrei auf Detektoren anderer Seeds.
Unsicherheit: Die symbolische epistemische Unsicherheit war niedrig, aber die Label-Unsicherheit war signifikant höher, was darauf hindeutet, dass kleine Disagreements über viele Konzepte hinweg beim Klassifikationskopf kumulieren.

3.2 Synthetischer Datensatz (Kontrolliertes Informationsleck)

Auf einem synthetischen Farb-Form-Datensatz variierten die Autoren das Gewicht der Konzeptüberwachung $\lambda$ , um ein Informationsleck zu simulieren:

Phänomen des Informationslecks: Als $\lambda$ abnahm (Schwächung der Konzeptüberwachung), blieb die gematchte Genauigkeit nahezu perfekt (~100 %), aber die getauschte Genauigkeit brach ein auf Zufallsniveau (20–30 %). Die Übereinstimmung zwischen detektierten Konzepten und Ground Truth sank ebenfalls auf ~50 %.
Abschwächung (Mitigation): Die vorgeschlagenen Multi-Head- und Zuverlässigkeitsstrategien milderten dieses Leck erheblich ab. Bei niedrigem $\lambda$ (0,1) verdoppelten diese Methoden die Swap-Genauigkeit etwa (von ~26 % auf ~50 %) im Vergleich zum Standard-Joint-Training, was bestätigte, dass der Detektor robustere, weniger kopfspezifische Repräsentationen lernte.

3.3 Diagnostische Erkenntnisse

Scheinaktiver Auslöser (Spurious Firing): Im Joint-Training-Regime zeigten bestimmte Konzepte (z. B. Beinfarbe) eine hohe Diskrepanz unter den Ensemble-Detektoren. Dieses Disagreement war direkt mit Vorhersagefehlern verknüpft; das Einfrieren des umstrittenen Symbols auf den Konsens korrigierte oft die Fehlklassifikation.
Null-Tests: Köpfe, die auf Standard-CBMs trainiert wurden, brachen bei Permutation der Konzeptidentitäten auf nahezu Zufallsgenauigkeit ein, was bestätigte, dass die Modelle tatsächlich auf die spezifische Konzepterkennung angewiesen waren und nicht auf inkrementellen Korrelationen.

4. Bedeutung und Behauptungen

Das Paper behauptet, einen rigorosen Rahmen für das Stress-Testing der Zuverlässigkeit von CBMs bereitzustellen, der über die Annahme hinausgeht, dass eine hohe Genauigkeit treue Erklärungen impliziert.

Validierung des Informationslecks: Die Autoren zeigen, dass eine hohe Aufgaben-Genauigkeit mit Symbolen koexistieren kann, die „nicht mehr das bedeuten, was sie behaupten“, insbesondere wenn die Konzeptüberwachung schwach ist oder das gemeinsame Training zu Shortcuts anregt.
Praktische Abschwächung: Das Multi-Head-Training mit Concept Dropout und die zuverlässigkeitsbewusste Regularisierung bieten eine praktische Methode, um Informationslecks zu reduzieren, ohne die Aufgabenleistung signifikant zu beeinträchtigen.
Diagnostischer Nutzen: Der Swap-Test und die Zerlegung der Unsicherheit bieten handlungsrelevante Diagnostika, um zu identifizieren, welche spezifischen Konzepte anfällig für Scheinaktivierungen sind, was gezielte Interventionen ermöglicht.

Die Autoren kommen zu dem Schluss, dass ihre zuverlässigkeitsbewusste Trainingsmethode das Informationsleck zwar mildert, dies jedoch einen Trade-off bedeutet, der die Gesamtgenauigkeit manchmal leicht reduziert. Die Harmonisierung von hoher Leistung mit strikter Zuverlässigkeit bleibt eine offene Herausforderung für zukünftige Arbeiten. Das Paper beansprucht nicht, alle XAI-Probleme zu lösen, sondern adressiert spezifisch die Treue der intermediären symbolischen Schicht in CBMs.