🤖 machine learning

Towards Faithful Multimodal Concept Bottleneck Models

Die Arbeit stellt f-CBM vor, ein multimodales Konzept-Flaschenhals-Modell, das durch eine differenzierbare Leakage-Verlustfunktion und einen Kolmogorov-Arnold-Netzwerk-Vorhersagekopf gleichzeitig die Konzepterkennung verbessert und Informationsleckagen reduziert, um so eine hohe Vorhersagegenauigkeit mit vertrauenswürdigen Erklärungen zu vereinen.

Ursprüngliche Autoren: Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

Veröffentlicht 2026-03-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas verschlossenen Assistenten. Wenn Sie ihn nach einer Entscheidung fragen (z. B. „Ist das Bild ein Sportartikel oder ein Musikartikel?"), antwortet er sofort mit dem Ergebnis. Aber Sie wissen nicht, warum er das sagt. Das ist wie bei vielen modernen KI-Modellen: Sie sind „Black Boxes" – man sieht das Ergebnis, aber nicht den Gedankengang.

Um das zu ändern, haben Forscher Konzept-Engpass-Modelle (CBMs) entwickelt. Das ist wie ein Assistent, der nicht sofort das Endergebnis nennt, sondern erst eine Liste von verständlichen Zwischenschritten abarbeitet: „Ich sehe ein Trikot, ich sehe einen Ball, ich sehe ein Stadion." Erst danach sagt er: „Also ist es Sport."

Das Problem: Dieser Assistent ist oft nicht ehrlich. Er könnte zwar „Trikot" und „Ball" erkennen, aber im Hintergrund schummeln. Vielleicht hat er gelernt, dass bei Sportartikeln oft bestimmte Wörter im Text stehen, die nichts mit dem Trikot zu tun haben, aber ihm trotzdem helfen, die richtige Antwort zu geben. Er „schmuggelt" also geheime Informationen durch den Engpass, um schneller ans Ziel zu kommen. Das nennt man Leckage (Leakage). Wenn Sie ihm dann sagen: „Nein, das ist kein Trikot!", aber er trotzdem „Sport" sagt, weil er die geheime Information im Hintergrund nutzt, dann ist sein Erklärungsmodell unbrauchbar.

Die Autoren dieses Papers haben eine Lösung namens f-CBM entwickelt. Hier ist die einfache Erklärung, wie sie das Problem gelöst haben, mit ein paar anschaulichen Vergleichen:

1. Der neue Assistent (f-CBM)

Stellen Sie sich den f-CBM als einen sehr disziplinierten Übersetzer vor, der Bilder und Texte gleichzeitig versteht (multimodal). Seine Aufgabe ist es, die Eingabe in klare Konzepte zu übersetzen und dann das Ergebnis zu liefern. Aber er hat zwei neue Tricks, um ehrlich zu bleiben:

Trick A: Der „Leckage-Wächter" (Differentiable Leakage Loss)

Stellen Sie sich vor, der Assistent hat einen strengen Lehrer an der Seite. Dieser Lehrer schaut sich an, was der Assistent über die Konzepte (z. B. „Trikot") denkt.

Das Problem: Wenn der Assistent beim Konzept „Trikot" auch noch heimlich weiß, dass es um „Fußball" geht (obwohl das Konzept nur „Trikot" sein sollte), ist das ein Fehler.
Die Lösung: Der Lehrer bestraft den Assistenten sofort, wenn er merkt, dass der Assistent zu viel über das Endergebnis (die Klasse) weiß, ohne dass es zum Konzept gehört. Es ist wie ein Detektiv, der prüft: „Hast du wirklich nur das Trikot gesehen, oder hast du auch den Ball im Kopf gehabt, obwohl du nur vom Trikot sprechen sollst?" Wenn ja, gibt es Minuspunkte. So wird der Assistent gezwungen, sich wirklich nur auf das zu konzentrieren, was er erklären soll.

Trick B: Der flexible Denker (Kolmogorov-Arnold Network - KAN)

Früher war der letzte Schritt des Assistenten sehr starr, wie ein einfacher Rechner, der nur „Wenn A, dann B" kann. Das zwang den Assistenten, die Konzepte manchmal zu verzerren, um die schwierige Aufgabe zu lösen.

Die Lösung: Die Autoren haben diesen starren Rechner durch einen flexiblen Denker (KAN) ersetzt. Stellen Sie sich das wie einen Künstler vor, der nicht nur mit Lineal und Zirkel zeichnet, sondern mit fließenden, geschwungenen Linien. Dieser neue Denker ist so geschickt, dass er die Konzepte genau so nehmen kann, wie sie sind, und trotzdem das perfekte Ergebnis liefert. Er braucht keine „geheimen Tricks" mehr, um die Aufgabe zu lösen, weil er selbst schon clever genug ist.

2. Warum ist das so wichtig? (Das Experiment)

Die Forscher haben ihren neuen Assistenten an verschiedenen Aufgaben getestet:

Nachrichten lesen: Bilder und Texte von Artikeln (z. B. Sport, Musik, Essen).
Vögel erkennen: Bilder von Vögeln mit Beschreibungen.
Text-only: Nur Textdaten.

Das Ergebnis:
Der alte Assistent (die Konkurrenz) war entweder sehr gut im Lösen der Aufgabe, aber unehrlich (er schummelte), oder er war sehr ehrlich, aber dumm (er machte viele Fehler).
Der f-CBM ist der Gewinner: Er ist fast so gut wie die „schummligen" Black-Box-Modelle beim Lösen der Aufgabe, aber er ist zu 100% ehrlich.

3. Der ultimative Test: Die „Intervention"

Das ist der coolste Teil des Papers. Stellen Sie sich vor, Sie sind ein Experte und sagen dem Assistenten: „Hey, auf dem Bild ist gar kein Trikot, das ist ein Hemd!"

Bei den alten Modellen würde der Assistent trotzdem „Sport" sagen, weil er im Hintergrund geheime Informationen nutzte, die durch Ihre Korrektur zerstört wurden. Er würde also schlechter werden, wenn Sie ihm helfen wollen.
Bei f-CBM passiert das Gegenteil: Wenn Sie ihm sagen „Kein Trikot", verbessert er seine Antwort sofort. Er folgt wirklich Ihrer Logik, weil er keine geheimen Tricks im Hintergrund hat.

Zusammenfassung in einem Satz

Die Autoren haben einen KI-Assistenten gebaut, der nicht nur klug genug ist, um Aufgaben zu lösen, sondern auch diszipliniert genug, um nur das zu benutzen, was er wirklich erklären kann – ohne heimliche Tricks. Das macht ihn nicht nur verständlich, sondern auch verlässlich, wenn wir Menschen ihn korrigieren wollen.

Die Metapher:
Früher war die KI wie ein Schüler, der die Antwort auswendig gelernt hat, aber wenn man ihn fragt, wie er darauf kam, erfindet er eine Geschichte. Der f-CBM ist wie ein Schüler, der wirklich den Lösungsweg verstanden hat. Wenn Sie ihm einen Fehler im Weg zeigen, findet er sofort die richtige Lösung, weil er keine Abkürzungen nimmt.

1. Problemstellung

Concept Bottleneck Models (CBMs) sind interpretierbare KI-Modelle, die Vorhersagen über eine Zwischenschicht von menschlich verständlichen Konzepten (z. B. „hat Flügel", „ist rot") leiten. Obwohl CBMs in der Bildverarbeitung und NLP gut erforscht sind, bleiben sie im multimodalen Kontext (Kombination aus Bild und Text) weitgehend unerforscht.

Das zentrale Problem ist die Glaubwürdigkeit (Faithfulness) der Erklärungen. Für eine glaubwürdige Erklärung müssen zwei Bedingungen erfüllt sein:

Korrekte Konzepterkennung: Die Konzepte müssen im Modell genau erkannt werden.
Kein Informationsleck (Leakage): Die Konzeptdarstellungen dürfen nur die beabsichtigte Semantik enthalten. Sie dürfen keine zusätzlichen, für die Aufgabe relevanten Informationen oder Informationen über andere Konzepte „schmuggeln".

Bestehende Ansätze behandeln die Verbesserung der Konzepterkennung und die Reduzierung von Lecks oft als getrennte Probleme. Dies führt häufig zu einem Trade-off: Entweder wird die Vorhersagegenauigkeit geopfert, um Lecks zu minimieren, oder die Lecks bleiben bestehen, was zu irreführenden Erklärungen führt.

2. Methodik: f-CBM

Die Autoren stellen f-CBM (faithful Multimodal Concept Bottleneck Model) vor, ein Framework, das auf einem Vision-Language-Backbone (CLIP) basiert und zwei komplementäre Strategien kombiniert, um sowohl die Erkennung als auch die Glaubwürdigkeit zu verbessern:

A. Architektur und Backbone

Multimodaler Input: Das Modell nutzt CLIP als Backbone, um Bild- ( $f^v$ ) und Text-Embeddings ( $f^t$ ) zu extrahieren. Diese werden zu einem einzigen Vektor $z$ verkettet.
Concept Bottleneck Layer (CBL): Dieser Layer bildet den multimodalen Vektor auf ein Vektor von Konzeptaktivierungen ab.
Vorhersagekopf (Prediction Head): Anstelle einer herkömmlichen linearen Schicht wird eine Kolmogorov-Arnold Network (KAN)-Schicht verwendet.
- Zweck: KANs bieten eine höhere Ausdruckskraft (Expressiveness) durch lernbare Funktionen auf den Kanten (basierend auf Basisfunktionen), während sie die Interpretierbarkeit bewahren. Dies ermöglicht eine bessere Entkopplung der Konzepte von der finalen Klassifizierung und reduziert den Druck auf die CBL, zusätzliche Informationen zu kodieren.

B. Differenzierbarer Leakage-Loss

Um Informationslecks zu minimieren, führen die Autoren einen neuen, differenzierbaren Loss ein, der auf der Schätzung der gegenseitigen Information (Mutual Information) basiert.

Konzept-Aufgabe-Leakage (Task Leakage): Misst, ob die vorhergesagten Konzepte mehr Information über das Label $y$ enthalten als die wahren Konzepte.
Technik: Statt diskreter Binning-Methoden (die Gradienten zerstören), wird Kernel Density Estimation (KDE) verwendet, um die gegenseitige Information $I(\hat{c}_i; y)$ kontinuierlich und differenzierbar zu schätzen.
Loss-Funktion: Der Loss bestraft die Differenz zwischen der Information in den vorhergesagten Konzepten und den wahren Konzepten. Dies zwingt das Modell, nur die intendierte Semantik zu kodieren.

C. Trainingsstrategie

Das Modell wird jointly (gemeinsam) trainiert, um Konzepterkennung und Klassifizierung zu optimieren. Die Gesamt-Loss-Funktion lautet:
$L = L_{cls} + \tilde{\lambda} L_C + \tilde{\lambda}_{leak} \alpha L_{leak}$

$L_{cls}$ : Kreuzentropie für die Klassifizierung.
$L_C$ : MSE für die Konzeptvorhersage.
$L_{leak}$ : Der neue Leakage-Loss.
$\alpha$ : Ein Faktor, der über das Training hinweg von 0 auf 1 ansteigt (Cosine Annealing), um zu verhindern, dass der Leakage-Loss das frühe Lernen der Konzepte stört.

3. Schlüsselbeiträge

Erste CLIP-basierte multimodale CBM-Architektur: Ein Framework, das Bild- und Textdaten in einem einzigen Konzept-Bottleneck verarbeitet.
Analyse der Glaubwürdigkeit: Eine Vorstudie zeigt, dass in multimodalen CBMs eine positive Korrelation zwischen schlechter Konzepterkennung und hohem Leakage besteht. Zudem treten Task-Leakage und Inter-Concept-Leakage häufig gemeinsam auf.
Differenzierbarer Leakage-Maßstab: Einführung einer Methode zur direkten Minimierung von Task-Leakage während des Trainings ohne Verzicht auf Interpretierbarkeit.
KAN-basierter Vorhersagekopf: Ersetzung der linearen Schicht durch eine KAN-Schicht, um die Ausdruckskraft zu erhöhen und die Notwendigkeit zu verringern, dass die CBL „schmuggelt".

4. Ergebnisse

Die Experimente wurden auf vier Datensätzen durchgeführt (N24News, CUB-200, AGNews, DBpedia) mit CLIP-Base und CLIP-Large als Backbones.

Leistungsbalance: f-CBM erreicht die beste Balance zwischen Aufgaben-Genauigkeit, Konzept-Erkennung (niedriger RMSE) und Leakage-Reduktion. Es erreicht eine Genauigkeit, die mit Black-Box-Modellen vergleichbar ist.
Leakage-Reduktion: f-CBM reduziert Task-Leakage (CTL) und Inter-Concept-Leakage (ICL) drastisch im Vergleich zu State-of-the-Art-Methoden (wie Indep.-CBM, Label-free, CT-CBM). Auf allen Datensätzen und Backbones erzielt f-CBM die niedrigsten Leakage-Werte.
Ablation-Studie:
- Der Einsatz von KAN verbessert die Konzepterkennung signifikant (ca. -51% RMSE) und reduziert Leakage, ohne die Aufgaben-Genauigkeit zu beeinträchtigen.
- Der Leakage-Loss reduziert Task-Leakage um ca. 73% und hat nur marginale Auswirkungen auf die Genauigkeit.
- Interessanterweise reduziert die Bekämpfung von Task-Leakage auch automatisch das Inter-Concept-Leakage.
Interventionsanalyse: Dies ist der wichtigste Test für Glaubwürdigkeit. Wenn man die vorhergesagten Konzeptwerte durch Ground-Truth-Werte ersetzt (Intervention), sollte die Genauigkeit steigen, wenn das Modell wirklich auf Konzepten basiert.
- f-CBM ist die einzige Methode, die konsistent von solchen Korrekturen profitiert (Genauigkeitssteigerung).
- Andere Methoden (wie CT-CBM) zeigen bei Interventionen einen Leistungsabfall, was beweist, dass sie auf „geschmuggelten" Informationen basieren, die durch die Korrektur zerstört werden.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Glaubwürdigkeit (Faithfulness) in CBMs kein theoretisches Ideal, sondern eine praktische Voraussetzung für den Einsatz ist.

Vertrauenswürdigkeit: Nur Modelle mit geringem Leakage erlauben es Nutzern, das Modell durch Korrektur von Konzepten zu steuern (Concept Intervention).
Multimodalität: f-CBM zeigt, dass CBMs erfolgreich auf multimodale Daten erweitert werden können, ohne die Interpretierbarkeit zu opfern.
Interpretierbarkeit: Die KAN-Schicht liefert nicht nur bessere Vorhersagen, sondern auch interpretierbare Antwortkurven (Response Curves), die nicht-lineare Beziehungen zwischen Konzepten und Klassen aufzeigen.

Zusammenfassend bietet f-CBM einen robusten Weg, um interpretierbare KI-Modelle zu bauen, die sowohl genau als auch ehrlich in ihrer Entscheidungsfindung sind, indem sie Informationslecks aktiv unterdrücken und die Ausdruckskraft des Vorhersagekopfes erhöhen.