📊 statistics

CB-SLICE: Concept-Based Interpretable Error Slice Discovery

Das Papier stellt CB-SLICE vor, eine konzeptbasierte Methode zur Entdeckung von Fehler-Slices, die Concept-Bottleneck-Modelle nutzt, um systematische Modellfehler durch Gruppierung von Stichproben mit gemeinsamen Konzeptvorhersagefehlern zu identifizieren und dadurch glaubwürdigere und interpretierbarere Erklärungen als bestehende Ansätze zu liefern.

Ursprüngliche Autoren: Yael Konforti, Mateo Espinosa Zarlenga, Elaf Almahmoud, Mateja Jamnik

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yael Konforti, Mateo Espinosa Zarlenga, Elaf Almahmoud, Mateja Jamnik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten, der die meisten Aufgaben hervorragend meistert, aber gelegentlich seltsame, spezifische Fehler macht. Vielleicht hält er ein Bild eines Vogels auf einem See für einen Wasservogel, obwohl es ein Landvogel ist, oder er verwechselt eine bestimmte Hunderasse mit einer Katze.

Wenn diese Roboter versagen, können wir normalerweise nur sagen: „Es hat es falsch gemacht." Wir wissen nicht, warum es falsch gemacht hat. Hat es auf den Hintergrund geachtet? Hat es ein bestimmtes Merkmal übersehen? Traditionelle Methoden, diese Fehler zu finden, sind wie die Einstellung eines Detektivs, der das Ergebnis des Roboters betrachtet und basierend auf allgemeinem Wissen, nicht aber auf dem tatsächlichen „Gehirn" des Roboters, ratet, was schiefgelaufen ist. Dieser Detektiv könnte recht haben, aber oft rät er nur und könnte die wahre Ursache übersehen.

CB-SLICE: Der Detektiv für die „innere Logik"

Die Arbeit stellt ein neues Werkzeug namens CB-SLICE vor. Stellen Sie sich dieses Werkzeug als einen Detektiv vor, der nicht nur die endgültige Antwort des Roboters betrachtet, sondern tatsächlich die Muttersprache des Roboters spricht.

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Der „Gedankenprozess" des Roboters (Concept Bottleneck Models)

Um CB-SLICE zu verwenden, muss der Roboter auf eine spezielle Weise gebaut sein, die Concept Bottleneck Model (CBM) genannt wird.

Normaler Roboter: Betrachtet ein Bild und rät sofort „Hund" oder „Katze". Es ist eine Blackbox; wir kennen seine Schritte nicht.
CBM-Roboter: Betrachtet ein Bild und listet zuerst seine „Gedanken" oder Konzepte laut auf. Zum Beispiel: „Ich sehe Fell", „Ich sehe spitze Ohren", „Ich sehe einen Schwanz". Dann nutzt er diese Gedanken, um „Hund" zu raten.

Da der Roboter zuerst seine Gedanken sagen muss, können wir ihnen zuhören. CB-SLICE nutzt diese Eigenschaft zu seinem Vorteil.

2. Die „schlechten Gedanken" finden (fehleranfällige Konzepte)

Wenn der CBM-Roboter einen Fehler macht, fragt CB-SLICE: „Welche Ihrer Gedanken haben Sie in die Irre geführt?"

Es betrachtet die „Gedanken" (Konzepte) des Roboters für die Bilder, die er falsch erkannt hat.
Es verwendet einen speziellen Test, um zu sehen, welche Gedanken, wenn sie geändert würden, den Fehler beheben würden.
Es filtert die „guten Gedanken" heraus und konzentriert sich nur auf die fehleranfälligen Konzepte – die spezifischen Ideen (wie „mittlere Größe" oder „rote Farbe"), die den Roboter konsistent verwirren.

3. Die Fehler gruppieren (Slicing)

Jetzt, da wir wissen, welche Gedanken Probleme verursachen, gruppiert CB-SLICE die Fehler zusammen.

Stellen Sie sich einen Haufen falscher Antworten vor. CB-SLICE sortiert sie in Eimer, basierend darauf, warum sie falsch waren.
Eimer A: Alle Fehler, bei denen der Roboter dachte, der Vogel sei „mittlere Größe", er aber tatsächlich klein war.
Eimer B: Alle Fehler, bei denen der Roboter dachte, der Hintergrund sei „Ozean", er aber tatsächlich ein „See" war.

Diese Eimer werden Fehler-Slices genannt. Anstatt eines unordentlichen Haufens von Fehlern haben Sie nun saubere, organisierte Gruppen spezifischer Fehlertypen.

4. Die „Warum"-Erklärung (Schlüsselwort-Entdeckung)

Für jeden Eimer generiert CB-SLICE eine einfache Erklärung mit Schlüsselwörtern.

Anstatt zu sagen: „Das Modell ist bei 500 Bildern gescheitert", sagt es: „Das Modell scheitert, wenn es einen Landvogel auf einem See-Hintergrund sieht, weil es fälschlicherweise annimmt, der Vogel sei von mittlerer Größe."
Das ist mächtig, weil es Ihnen genau sagt, was der Roboter falsch interpretiert. Es ist, als würde der Roboter zugeben: „Ich war verwirrt, weil ich dachte, dieser kleine Vogel sei eigentlich einer mittlerer Größe."

Warum ist das besser als der alte Weg?

Alter Weg (Der externe Detektiv): Verwendet eine separate KI, um zu raten, warum der Roboter versagt hat. Es könnte sagen: „Oh, der Roboter ist bei dunklen Hauttönen gescheitert, weil es wie Nacht aussieht." Aber das ist nur eine Vermutung einer anderen KI. Es könnte falsch liegen oder den wahren Grund übersehen.
CB-SLICE (Der interne Detektiv): Betrachtet direkt die eigenen „Gedanken" des Roboters. Wenn der Roboter dachte, „dunkle Haut" sei „Nacht", sieht CB-SLICE diesen spezifischen Gedanken und meldet ihn. Es ist treu zur tatsächlichen Logik des Roboters.

Reale Beispiele aus der Arbeit

Die Forscher testeten dies an mehreren Datensätzen:

Vögel: Sie fanden heraus, dass der Roboter Landvögel auf Wasserhintergründen oft mit Wasservögeln verwechselte. CB-SLICE erklärte, dass der Roboter speziell durch das Konzept der „mittleren Größe" verwirrt war, wenn es mit einem „See"-Hintergrund kombiniert wurde.
Gesichter: Es fand heraus, dass der Roboter bei Männern mit „blonden Haaren" und „keiner großen Nase" Schwierigkeiten hatte, einer spezifischen Kombination, die der Roboter während des Trainings nicht oft genug gesehen hatte.
Ziffern: Es entdeckte, dass der Roboter die Zahl „3" in bestimmten Positionen systematisch mit „2" verwechselte, was zu falschen Summen führte.

Das Fazit

CB-SLICE ist ein Werkzeug, das Entwicklern hilft, ihre KI-Modelle zu debuggen, indem es Fehler basierend auf den spezifischen „Gedanken" (Konzepten) gruppiert, die das Modell falsch erkannt hat. Es verwandelt einen verwirrenden Haufen von Fehlern in klare, organisierte Listen mit einfachen Erklärungen und hilft Menschen, das Gehirn des Roboters genau dort zu reparieren, wo es Hilfe benötigt.

Wichtiger Hinweis: Die Arbeit betont, dass dieses Werkzeug am besten funktioniert, wenn der Roboter bereits so gebaut ist, dass er in Konzepten „denkt" (ein CBM). Wenn der Roboter eine Standard-„Blackbox" ist, die ihre Gedanken nicht auflistet, kann dieses spezifische Werkzeug nicht direkt verwendet werden.

Technischer Überblick: CB-SLICE: Konzeptbasierte Entdeckung interpretierbarer Fehler-Slices

Problemstellung

Deep-Learning-Modelle erzielen häufig eine starke Durchschnittsleistung, weisen jedoch systematische Fehler bei bestimmten Bevölkerungsgruppen auf, die als Fehler-Slices bekannt sind. Die Identifizierung dieser Gruppen und ihrer Ursachen ist entscheidend für das Debugging und die Minderung von Verzerrungen. Bestehende Methoden zur Entdeckung von Fehler-Slices (SDMs) stoßen jedoch auf eine grundlegende Einschränkung: Sie verlassen sich typischerweise auf auxiliary sprachbasierte Modelle (z. B. CLIP), um Erklärungen zu generieren. Folglich sind diese Erklärungen vom internen Inferenzprozess des analysierten Modells getrennt und approximieren die Fehlerquelle, anstatt sie offenzulegen. Diese Trennung führt zu Erklärungen, die ungenau, irreführend oder durch das auxiliary Modell selbst verzerrt sein können. Darüber hinaus versagen bestehende Methoden oft darin, zu erklären, warum ein Fehler auftritt, und zwar in Bezug auf die spezifischen Konzepte, auf die das Modell sich stützt.

Methodik: CB-SLICE

Die Autoren schlagen CB-SLICE vor, eine konzeptbasierte SDM, die Concept Bottleneck Models (CBMs) nutzt, um die Entdeckung von Fehler-Slices und die Erklärung von Verzerrungen in einen einzigen, modellbewussten Prozess zu integrieren. CBMs sind interpretierbare Architekturen, die zunächst menschlich verständliche semantische Konzepte (z. B. „dunkle Haut", „Asymmetrie") vorhersagen und dann basierend auf diesen Konzepten die finale Aufgabenbeschriftung vorhersagen. CB-SLICE arbeitet in drei distincten Schritten:

1. Filterung fehleranfälliger Konzepte

Die Methode identifiziert zunächst eine Teilmenge von Konzepten, die am wahrscheinlichsten für nachgelagerte Fehlklassifikationen verantwortlich sind.

Mechanismus: Sie nutzt den Expected Change in Target Prediction (ECTP)-Score. Für jedes Konzept $i$ quantifiziert der ECTP-Score die erwartete Änderung in der Verteilung der nachgelagerten Aufgabe bei Intervention an diesem Konzept (Setzen seines Wertes auf 0 oder 1).
Prozess: Der ECTP-Score wird klassenweise berechnet, um Ungleichgewichte zu mildern. Die top- $t_e$ Konzepte mit den höchsten Scores für jede Klasse werden ausgewählt, um den Satz fehleranfälliger Konzepte ( $C_{err}$ ) zu bilden. Dies stellt sicher, dass sich die nachfolgende Slice-Bildung ausschließlich auf Konzepte konzentriert, die Fehler vorantreiben.

2. Bildung von Fehler-Slices

Sobald die fehleranfälligen Konzepte identifiziert sind, gruppiert die Methode fehlerhafte Validierungsstichproben, um kohärente Fehler-Slices zu bilden.

Repräsentation: Anstatt Wahrscheinlichkeitsräume zu verwenden, nutzt CB-SLICE Konzept-Logits ( $H$ ), die auf den fehleranfälligen Satz $C_{err}$ beschränkt sind. Diese Logits kodieren das Vertrauen des Modells und lassen sich gut durch Gaußsche Verteilungen approximieren.
Clustering: Ein Gaussian Mixture Model (GMM) wird trainiert, um diese Logits zu clustern. Die Zielfunktion kombiniert:
- GMM-Likelihood ( $L_{GMM}$ ): Um semantische Kohärenz sicherzustellen.
- Auxiliary Losses ( $L_{ctrue}$ und $L_{cpred}$ ): Zwei lineare Klassifikatoren sagen basierend auf Slice-Mitgliedschaftswahrscheinlichkeiten jeweils die Ground-Truth-Konzeptbeschriftungen und die vorhergesagten Konzeptbeschriftungen voraus. Diese Losses fördern es, dass Slices Stichproben gruppieren, die dieselben wahren und vorhergesagten Konzeptwerte teilen, wodurch sichergestellt wird, dass die Slices kohärente Fehlermuster auf Konzeptebene erfassen.
Ausgabe: Eine Menge von Slices $S = \{S_1, \dots, S_{t_g}\}$ .

3. Erklärung von Fehlermodi

Für jeden entdeckten Slice identifiziert die Methode die spezifischen Konzepte, die für seine Bildung verantwortlich sind.

Mechanismus: Die Methode erweitert den ECTP-Score, um die Expected Change in Slice Assignment (ECSA) zu messen. Sie quantifiziert, wie die Intervention an einem spezifischen Konzept die Posterior-Wahrscheinlichkeit ändert, dass eine Stichprobe zu einem bestimmten Slice gehört.
Ausgabe: Die top- $t_k$ Konzepte mit den höchsten ECSA-Scores werden als Schlüsselwort-Konzepte für den Slice ausgewählt. Das Vorhandensein oder Fehlen dieser Konzepte wird durch den gewichteten Durchschnitt ihrer Vorhersagen über die Slice-Mitglieder hinweg bestimmt.

Priorisierung von Slices

Um die Unpraktikabilität der Analyse aller entdeckten Slices zu adressieren, führt CB-SLICE eine Priorisierungsstrategie basierend auf einem Informativitäts-Score (SI) ein. Dieser Score kombiniert:

Kohärenz der Fehlvorhersagen (MC): Die Konsistenz von nachgelagerten Aufgaben-Fehlvorhersagen innerhalb eines Slices.
Semantische Kompaktheit (SC): Der Grad, in dem Slice-Mitglieder im Konzept-Logit-Raum konzentriert sind.
Straffaktor: Ein Faktor, der sehr kleine Slices herunterstuft, um Rauschen zu vermeiden.

Hauptbeiträge

CB-SLICE-Framework: Eine neuartige SDM, die entdeckte erklärende Schlüsselwörter direkt mit der internen Entscheidungslogik des Modells über CBMs verknüpft und so die Trennung vermeidet, die bei Ansätzen auf Basis auxiliary Modelle inhärent ist.
Identifikation fehleranfälliger Konzepte: Eine prinzipielle Methode unter Verwendung von ECTP-Scores, um Konzepte sowohl für die Slice-Bildung als auch für die Charakterisierung von Fehlermoden zu filtern.
Priorisierung von Slices: Eine Strategie, um Praktiker zu den informativsten Slices für gezielte Analysen zu führen.
Empirische Validierung: Nachgewiesene konsistente Verbesserungen gegenüber State-of-the-Art-Baselines über mehrere Benchmarks hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten CB-SLICE auf vier Datensätzen mit bekannten Fehler-Slices: Waterbirds, CelebA, MetaShift und MNIST-Sum. Sie verglichen CB-SLICE mit Baselines wie Domino, GEORGE, HiBug2, Spotlight und K-Means.

Wiederherstellung bekannter Verzerrungen (Precision@10): CB-SLICE schnitt bei der Wiederherstellung von Ground-Truth-Fehler-Slices konsistent besser als alle Baselines ab. Beispielsweise erreichte CB-SLICE auf dem Waterbirds-Datensatz mit einem gemeinsam trainierten CBM eine Precision@10 von 0,83, was die zweitbeste Methode (Domino mit 0,62) deutlich übertraf.
Ausrichtung der Fehlermoden (MGF): CB-SLICE erzeugte Slices mit einer höheren Matched Ground-Truth Group Frequency (MGF), was darauf hindeutet, dass die entdeckten Slices homogener waren und spezifische zugrunde liegende Fehlermoden zuverlässig erfassten.
Fidelity der Erklärungen: Eine qualitative Analyse zeigte, dass CB-SLICE vertrauenswürdige, modellbasierte Erklärungen lieferte.
- Beispiel: Bei Waterbirds identifizierte CB-SLICE, dass Fehlklassifikationen von Landvögeln auf Wasserhintergründen durch systematische Fehlvorhersagen von größenbezogenen Konzepten (z. B. „mittlere Größe") getrieben wurden, und nicht nur durch den Hintergrund.
- Beispiel: Bei MNIST-Sum deckte es einen Fehlermodus auf, bei dem die Ziffer „3" systematisch als „2" fehlgelesen wurde, eine Nuance, die von textbasierten Baselines übersehen wurde.
Slice-Auswahl: Die Arbeit zeigt, dass die Konvergenz der CB-SLICE-Loss-Funktion mit der Stabilisierung von Leistungsmetriken übereinstimmt und somit ein prinzipielles Kriterium für die Auswahl der Anzahl der Slices ohne Ground-Truth-Beschriftungen bietet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CB-SLICE die Entdeckung von Fehler-Slices als einen modellbewussten Prozess neu definiert. Indem es Erklärungen in den Repräsentationen verankert, die das Modell tatsächlich lernt (Konzept-Logits), vermeidet es Ungenauigkeiten und potenzielle Verzerrungen, die durch nachgelagerte auxiliary Modelle eingeführt werden.

Die Autoren betonen, dass CB-SLICE zwischen verschiedenen Fehlertypen unterscheidet:

Slices, die durch systematische Konzept-Fehlvorhersagen getrieben werden (wo der Konzept-Encoder $g$ versagt).
Slices, die aus seltenen, korrekt vorhergesagten Konzeptkombinationen entstehen (wo der Label-Vorhersager $f$ aufgrund fehlender Trainingsdaten für spezifische Konzept-Schnittpunkte versagt).

Die Arbeit positioniert CBMs als prinzipielle Grundlage für das Debugging und bietet im Vergleich zu bestehenden Methoden reichhaltigere und vertrauenswürdigere Erklärungen von Fehlerquellen. Die Autoren weisen darauf hin, dass die Wirksamkeit der Methode von der Verfügbarkeit vollständiger und vertrauenswürdiger Konzept-Annotationen abhängt, eine Einschränkung, die der CBM-Architektur selbst inhärent ist.