💻 computer science

On the Faithfulness of Post-Hoc Concept Bottleneck Models

Diese Arbeit zeigt auf, dass Post-Hoc Concept Bottleneck Modelle eine hohe Vorhersagegenauigkeit erreichen können, während sie aufgrund von Kovariatenverschiebungen und Label-Rauschen semantisch bedeutungslose Konzeptprojektionen erlernen, und schlägt neuartige Metriken vor, um die Konzepttreue unabhängig von der Aufgabenleistung zu entkoppeln und zu evaluieren.

Ursprüngliche Autoren: Laines Schmalwasser, Jan Blunk, Niklas Penzel, Julia Niebling, Joachim Denzler

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Laines Schmalwasser, Jan Blunk, Niklas Penzel, Julia Niebling, Joachim Denzler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, aber geheimnisvollen Koch (eine Deep-Learning-KI), der fantastische Gerichte zubereiten kann (komplexe Probleme lösen), sich aber weigert, Ihnen zu sagen, warum das Essen so gut schmeckt. Sie fragen: „Ist es das Salz? Die Hitze? Die spezifische Art von Pfeffer?“ Der Koch zuckt nur mit den Schultern und sagt: „Ich weiß einfach, dass es funktioniert.“

Um dies zu beheben, erfanden Wissenschaftler ein „Concept Bottleneck“ (Konzept-Engpass). Dies ist so, als würde man den Koch dazu zwingen, eine Liste der Zutaten (Konzepte) aufzuschreiben, bevor er das Gericht serviert. Beispielsweise muss die KI, bevor sie „Vogel“ vorhersagt, zuerst „Gelber Bauch“ und „Schwarze Krone“ identifizieren. Wenn die KI die Zutaten richtig identifiziert, vertrauen wir ihrer endgültigen Entscheidung.

Vor kurzem wurde eine neue Methode namens Post-Hoc Concept Bottleneck Models populär. Anstatt der KI beizubringen, die Zutaten von Grund auf neu zu lernen, versuchen diese Modelle, die Zutaten zu erraten, nachdem die KI bereits gelernt hat zu kochen. Sie nutzen zwei Haupttricks, um die Zutaten zu erraten:

Der „Ähnlichkeits“-Trick: Sie schauen sich ein anderes, vorab beschriftetes Kochbuch (einen Hilfsdatensatz) an und versuchen, diese Zutatenregeln auf das neue Gericht anzuwenden.
Der „KI-Assistent“-Trick: Sie fragen einen superintelligenten KI-Assistenten (ein Vision-Language-Modell wie CLIP), um die Zutaten für sie zu beschreiben.

Das Problem:
Die Autoren dieser Arbeit haben eine erschreckende Wahrheit entdeckt: Nur weil die KI das fertige Gericht richtig zubereitet hat (hohe Genauigkeit), bedeutet das nicht, dass sie tatsächlich die Zutaten kennt.

Sie fanden heraus, dass die KI manchmal das richtige Ergebnis erzielen kann, selbst wenn sie völlig zufällige, unsinnige „Zutaten“ verwendet. Es ist wie ein Koch, der versehentlich das richtige Rezept errät, indem er eine Münze wirft, aber Sie halten ihn dennoch für einen Meisterkoch, weil das Essen gut schmeckt.

Die Autoren identifizieren zwei spezifische Wege, wie diese „Zutaten-Rater“ uns täuschen können:

1. Das „Falsche Küchen“-Problem (Covariate Shift)

Stellen Sie sich vor, Sie bringen einem Koch bei, „Rote Äpfel“ anhand eines Kochbuchs voller glänzender, perfekter Äpfel aus dem Supermarkt zu erkennen. Dann bitten Sie ihn dann, „Rote Äpfel“ in einem chaotischen, echten Obstgarten zu identifizieren.

Obwohl das Konzept immer noch „Roter Apfel“ ist, hat sich das Aussehen des Apfels verändert. Die Arbeit zeigt, dass, wenn die „Trainingsküche“ (der Hilfsdatensatz) zu sehr von der „echten Küche“ (der Zielaufgabe) abweicht, die Zutatenliste der KI ungetreu wird. Sie könnte anfangen zu denken, dass „Rot“ gleichbedeutend mit „Geschrumpelte Schale“ ist, weil das das war, was sie im Trainingsbuch gesehen hat.

Die Lösung: Die Autoren entwickelten einen „Stresstest“. Sie messen, wie unterschiedlich die beiden Küchen aussehen. Wenn der Test ergibt, dass die Küchen sehr verschieden sind, wissen wir, dass die Zutatenliste der KI wahrscheinlich unzuverlässig ist, selbst wenn das fertige Gericht gut schmeckt.

2. Das „Voreingenommene Assistenten“-Problem (Systematische Label-Fehler)

Stellen Sie sich nun vor, Sie bitten einen KI-Assistenten, Ihre Zutaten zu beschreiben. Wenn der Assistent zufällige Fehler macht (manchmal ein „Quadrat“ als „Kreis“ bezeichnet und ein anderes Mal einen „Kreis“ als „Quadrat“), kann der Koch es trotzdem noch herausfinden, weil sich die Fehler gegenseitig aufheben.

Die Arbeit fand jedoch ein schlimmeres Problem: Systematische Verzerrung (Bias).
Was ist, wenn der Assistent immer „Boot“ sagt, wann immer er „Wasser“ sieht, selbst wenn gar kein Boot da ist? Oder wenn er immer „Himmel“ mit „Wolken“ verknüpft? Der Koch lernt diese falsche Regel: „Wenn ich Wasser sehe, muss ich 'Boot' sagen.“

Die KI macht nicht nur zufällige Fehler; sie lernt eine konsistente Lüge. Da der Fehler jedes Mal im gleichen Muster auftritt, hält der Koch (die Haupt-KI) diese Lüge für eine echte Zutat. Das fertige Gericht mag immer noch gut schmecken (hohe Genauigkeit), aber die Zutatenliste ist völlig gefälscht.

Die Lösung: Die Autoren entwickelten einen neuen „Lügendetektor“. Anstatt nur zu prüfen, ob der Assistent richtig oder falsch liegt, prüfen sie, ob die Fehler des Assistenten mit den Beobachtungen des Kochs verknüpft sind. Wenn die Fehler immer auftreten, wenn der Koch ein bestimmtes Muster sieht, markiert das System die Zutatenliste als ungetreu.

Das Wichtigste in Kürze

Die Arbeit argumentiert, dass wir diesen KI-Modellen nicht einfach vertrauen können, nur weil sie hohe Punktzahlen in Tests erreichen. Hohe Punktzahlen sind eine Illusion.

Zufällige Vermutungen können manchmal hohe Punktzahlen erzielen.
Falsche Küchen können zu gefälschten Zutaten führen.
Voreingenommene Assistenten können die KI mit konsistenten Lügen unterrichten.

Die Autoren stellen neue Werkzeuge (Metriken) bereit, um hinter den Vorhang zu blicken und zu prüfen, ob die KI tatsächlich Konzepte versteht oder nur Muster auswendig lernt, um eine gute Note zu bekommen. Sie beweisen, dass wir, um einer KI wirklich zu vertrauen, die Zutaten direkt prüfen müssen, und nicht nur den Geschmack des fertigen Gerichts.

Technisches Resümee: Zur Treue von Post-Hoc Concept Bottleneck Modellen

Problemstellung

Post-Hoc Concept Bottleneck Models (post-hoc CBMs) zielen darauf ab, die Lücke zwischen opaken Deep-Learning-Repräsentationen und menschlichem Verständnis zu schließen, indem sie latente Merkmale auf interpretierbare Konzepträume projizieren. Im Gegensatz zu Standard-CBMs erfordern post-hoc Varianten keine dichten Konzeptannotationen für die Zielaufgabe; stattdessen verlassen sie sich auf (1) Hilfsdatensätze für Konzepte (z. B. Broden) oder (2) Surrogat-Konzeptlabels, die durch Vision-Language Models (VLMs) generiert wurden.

Das zentrale adressierte Problem ist, dass aktuelle Evaluierungspraktiken stark auf der Genauigkeit der Downstream-Aufgabe basieren, um den Erfolg dieser Modelle zu beurteilen. Die Autoren argumentieren, dass eine hohe Genauigkeit ein unzureichender Metrik für die Konzepttreue (Concept Faithfulness) ist – also den Grad, in dem die gelernte Projektion $\pi_\theta$ tatsächlich die intendierten semantischen Konzepte extrahiert. Empirische Belege deuten darauf hin, dass zufällige, semantisch bedeutungslose Projektionen aufgrund von Eigenschaften der Informationserhaltung (verwandt mit dem Johnson-Lindenstrauss-Lemma) konkurrenzfähige Downstream-Genauigkeiten erreichen können, wodurch verschleiert wird, ob das Modell tatsächlich über Konzepte schlussfolgert oder lediglich prädiktive Artefakte ausnutzt.

Methodik

Theoretischer Rahmen

Das Paper formalisiert Treue (Faithfulness) als Minimierung des erwarteten Risikos über die wahre Aufgabenverteilung $P_{task}(x, c)$ , wobei die Projektion $\pi_\theta$ die Ground-Truth-Konzepte $c$ aus den Aktivierungen $f(x)$ wiederherstellt. Die Autoren identifizieren zwei primäre Quellen der Ungetreue:

Covariate Shift in Hilfsdatensätzen: Wenn $\pi_\theta$ auf einem Hilfsdatensatz $X_{aux}$ trainiert wird, der vom Ziel-Datensatz $X_{task}$ verschieden ist, kann ein geometrischer Shift im Merkmalsraum die Projektion ungültig machen. Die Autoren leiten eine obere Schranke für den Generalisierungsfehler der Zielaufgabe basierend auf der Domänenanpassungstheorie [8] ab:
$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$
Sie schlagen vor, die empirische $\mathcal{H}\Delta\mathcal{H}$ -Divergenz (approximiert über einen Domänen-Diskriminator) als praktischen Metrik für Treue zu verwenden, unter der Annahme eines Covariate Shifts (wobei $P(c|x)$ konstant bleibt, aber $P(x)$ sich ändert).
Systematisches Label-Rauschen in der Surrogat-Supervision: Wenn VLMs verwendet werden, um Surrogat-Labels $\tilde{c}$ zu generieren, entsteht Ungetreue nicht nur durch die Magnitude von Fehlern, sondern durch systematische Fehler. Durch die Modellierung der Projektion als Multivariate Generalized Linear Model (GLM) zeigen die Autoren, dass der Gradient des wahren Objekts am Surrogat-Optimum proportional zum äußeren Produkt des Surrogat-Fehlers $\delta(x) = \tilde{c}(x) - c^*(x)$ und der Backbone-Aktivierungen $f(x)$ ist.
- Treue-Bedingung: Das Modell bleibt treu, wenn die Surrogat-Fehler entweder präzise sind ( $\delta \approx 0$ ) oder in Erwartung orthogonal zum Aktivationsraum liegen ( $\mathbb{E}[\delta(x) \otimes f(x)] = 0$ ).
- Versagensmodus: Systematische Fehler (z. B. wenn ein VLM konsistent "Himmel" vorhersagt, wann immer "Wolken" vorhanden sind) erzeugen nicht-orthogonale Fehlerkomponenten, was zu ungetreuen Projektionen führt, selbst wenn die Surrogat-Labels im Durchschnitt korrekt erscheinen.

Vorgeschlagene Metriken

Um Treue von der prädiktiven Genauigkeit zu entkoppeln, führen die Autoren ein:

$\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ Divergenz: Ein Proxy für den Fehler, der durch Covariate Shifts eingeführt wird, wenn Hilfsdatensätze verwendet werden.
Surrogat-Fehler-Orthogonalität: Die absolute Pearson-Korrelation $|\rho|$ zwischen den Surrogat-Label-Fehlern und den Backbone-Aktivierungen. Eine hohe Korrelation deutet auf ein systematisches Versagen hin.

Experimenteller Aufbau

Die Autoren validieren diese Erkenntnisse an:

Realweltlichen Benchmarks: CUB-200 (Vögel) und CIFAR-10/100.
Synthetischem Datensatz: Elements [48], der Ground-Truth-Konzeptannotationen (Form, Farbe, Textur) bereitstellt, um die Ausrichtung direkt zu messen.
Modellen: Verschiedene post-hoc CBM-Implementierungen einschließlich PCBM (Hilfsdaten), LFCBM (VLM-Text-Embeddings) und VLG-CBM (grounded Object Detection).

Zentrale Ergebnisse

Genauigkeit ist täuschend: Experimente bestätigen, dass zufällige Konzeptprojektionen eine Downstream-Genauigkeit erreichen können, die mit Modellen vergleichbar ist, die auf bedeutungsvollen Konzeptquellen (z. B. Broden, CLIP) trainiert wurden. Wenn die Bottleneck-Dimension $K$ steigt, bewahren Zufallsprojektionen genügend geometrische Informationen, um es dem Downstream-Klassifikator zu ermöglichen, die ursprünglichen Aktivierungen zu rekonstruieren, was die Genauigkeit zu einem unzuverlässigen Proxy macht.
Auswirkung des Covariate Shift: Modelle, die auf Out-of-Distribution-Hilfsdaten (z. B. abstrakte Muster) trainiert wurden, weisen eine signifikant geringere Konzepttreue (gemessen an der Kosinus-Ähnlichkeit zu Ground Truth) auf als In-Domain-Training, obwohl sie eine hohe Downstream-Genauigkeit beibehalten. Die vorgeschlagene $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ -Metrik korreliert stark mit diesem Abfall der Treue.
Systematisches vs. Zufälliges Rauschen:
- Zufälliges Rauschen: Das Hinzufügen von 25 % zufälligem Label-Rauschen zu Ground-Truth-Daten führt zu treuen Projektionen, da sich die Fehler herausmitteln (Orthogonalität hält an).
- Systematisches Rauschen: VLMs (CLIP, DINOv3, Grounding DINO) führen systematische Fehler ein, die mit spezifischen Merkmalen korreliert sind. Beispielsweise hat Grounding DINO Schwierigkeiten mit geometrischen Formen auf weißem Hintergrund, was korrelierte Fehler erzeugt, die zu ungetreuen Projektionen führen. Die vorgeschlagene Korrelationsmetrik identifiziert diese Fehler erfolgreich, wo Standard-Genauigkeitsmetriken versagen.

Bedeutung und Ansprüche

Das Paper beansprucht, den ersten rigorosen theoretischen und empirischen Rahmen zur Evaluierung der Treue (Faithfulness) von post-hoc CBMs unabhängig von der prädiktiven Leistung bereitzustellen.

Theoretischer Beitrag: Es formalisiert die Bedingungen, unter denen Zufallsprojektionen semantisches Schließen imitieren können (via der Manifold Johnson-Lindenstrauss Lemma) und leitet die spezifischen Bedingungen (Fehler-Orthogonalität) her, unter denen die Surrogat-Supervision versagt.
Praktischer Beitrag: Es führt neue Metriken ein, die es Praktikern ermöglichen, ungetreue Verhaltensweisen zu erkennen – insbesondere Covariate Shifts und systematische VLM-Biases – die durch Standard-Genauigkeitsbewertungen unsichtbar bleiben.
Implikation: Die Autoren argumentieren, dass die ausschließliche Abhängigkeit von der Downstream-Genauigkeit eine "Illusion" von Interpretierbarkeit schafft. Wahre Interpretierbarkeit erfordert die direkte Inspektion der Konzeptprojektion $\pi_\theta$ , um sicherzustellen, dass sie mit der menschlichen Semantik übereinstimmt, was den Einsatz der vorgeschlagenen Treue-Metriken notwendig macht.

Die Arbeit schlägt keine neuen Trainingsalgorithmen vor, sondern dient vielmehr als kritischer Evaluierungsrahmen, um sicherzustellen, dass der "Bottleneck" in Concept Bottleneck Models tatsächlich ein Bottleneck aus menschlich verständlichen Konzepten ist und nicht eine komprimierte Repräsentation von Rohmerkmalen.