Prototype-Grounded Concept Models for Verifiable Concept Alignment

1. Problemstellung

Das Paper adressiert ein fundamentales Limit bestehender Concept Bottleneck Models (CBMs). CBMs zielen darauf ab, die Interpretierbarkeit von Deep-Learning-Modellen zu verbessern, indem Vorhersagen über menschenverständliche Konzepte (z. B. „hat Streifen", „ist metallisch") strukturiert werden.
Das Hauptproblem ist jedoch die fehlende Verifizierbarkeit der semantischen Ausrichtung (Alignment):

• In CBMs werden Konzepte als abstrakte, hochlevelige Skalare vorhergesagt.
• Es gibt keine Möglichkeit für den Menschen zu überprüfen, ob das gelernte Konzept tatsächlich der intendierten Bedeutung entspricht (z. B. ob „Streifen" wirklich auf Streifenmuster basiert oder auf spuriosen Hintergrundtexturen).
• Dies zwingt den Nutzer zu einer starken, oft unbegründeten Annahme, dass die gelernten Konzepte korrekt sind, was die eigentliche Interpretierbarkeit untergräbt.

2. Methodik: Prototype-Grounded Concept Models (PGCMs)

Die Autoren stellen PGCMs vor, ein hybrides Framework, das CBMs um gelernte visuelle Prototypen erweitert, um Konzepte explizit zu verankern (grounding).

Architektur und Ablauf:
Das Modell folgt einem dreistufigen Mapping: $x \to p \to c \to y$ (Eingabebild $\to$ Prototypen-Similarität $\to$ Konzept $\to$ Aufgabenvorhersage).

1. Segmentierung: Das Eingabebild $x$ wird durch ein Segmentierungsnetzwerk in $n$ Bildteile (image parts) $\{x_i\}$ zerlegt, um räumlich informative Regionen zu isolieren.
2. Probabilistisches Graphisches Modell (PGM):
   • Latente Variable $S_i$: Repräsentiert die Auswahl eines Prototyps für einen Bildteil.
   • Prototypen-Embeddings: Jeder der $m$ Prototypen $j$ besitzt ein lernbares Embedding $e_j$.
   • Generative Komponenten (für Interpretierbarkeit):
     • Image Decoder $p(x_i|S_i=j)$: Generiert eine konkrete Bildrepräsentation (visuelles Exemplar) für den Prototypen $j$ (modelliert als Gauß-Verteilung).
     • Concept Decoder $p(c_i|S_i=j)$: Generiert eine Verteilung über die hochleveligen Konzepte für den Prototypen $j$.
   • Diskriminative Komponenten (für Inferenz):
     • Prototype Selector $q(S_i|x_i)$: Ordnet jedem Bildteil eine Wahrscheinlichkeitsverteilung über die Prototypen basierend auf der Ähnlichkeit (z. B. Dot-Product) zwischen dem Bildteil-Embedding und den Prototypen-Embeddings zu.
3. Inferenz: Die Konzeptvorhersage für ein Bildteil ergibt sich aus der gewichteten Summe der Konzeptverteilungen der ausgewählten Prototypen. Die finale Aufgabenvorhersage erfolgt über die aggregierten Konzeptvorhersagen.

Training:
Das Modell wird durch Maximierung der Evidence Lower Bound (ELBO) trainiert, die aus vier Komponenten besteht:

• Task Loss: Vorhersage der finalen Aufgabe.
• Concept Loss: Vorhersage der Konzepte (überwacht durch Labels).
• Reconstruction Loss: Sicherstellt, dass der Image Decoder das Bildteil aus dem Prototypen-Embedding rekonstruieren kann (zwingt den Prototypen, visuell repräsentativ zu sein).
• Regularization: Fördert eine höhere Entropie bei der Prototypen-Auswahl, um lokale Minima zu vermeiden.

Optimierungen:

• Embedding-Consistency: Die Embeddings werden so transformiert, dass sie nur Informationen enthalten, die auch im generierten Bild des Prototyps sichtbar sind.
• Prototype Swapping: Während des Trainings werden Prototypen gegen reale Bildteile aus dem Datensatz ausgetauscht, um sicherzustellen, dass Prototypen realistische Bilder sind.

3. Schlüsselbeiträge

1. Visuelle Verankerung (Grounding): Jedes Konzept ist nicht nur ein abstrakter Wert, sondern wird durch eine Konzept-Ausrichtungstabelle (Concept Alignment Table) definiert. Diese Tabelle verknüpft jeden Prototypenindex mit einer dualen Repräsentation:

   • Einem visuellen Exemplar (durch den Image Decoder).
   • Einer Konzept-Repräsentation (durch den Concept Decoder).
     Dies ermöglicht eine direkte Überprüfung, ob die Semantik des Prototyps mit dem Konzeptnamen übereinstimmt.

2. Verifizierbare Semantik: Die Bedeutung eines Konzepts wird explizit als Disjunktion der Bildrepräsentationen aller Prototypen definiert, bei denen das Konzept aktiv ist. Dies ersetzt die Black-Box-Natur von CBMs durch eine auditable Semantik.

3. Erweiterte Intervenierbarkeit: PGCMs ermöglichen neue Formen der menschlichen Eingriffsmöglichkeiten:

   • Prototypen-Editing: Nutzer können falsche Prototypen löschen, neue hinzufügen oder deren Konzept-Labels manuell korrigieren (Modell-Editing).
   • Verbesserte Konzept-Interventionen: Da Konzepte über Prototypen gekoppelt sind, kann eine Intervention auf einem Prototypen (z. B. „dieser Teil ist kein Prototyp X") mehrere Konzepte gleichzeitig korrigieren, im Gegensatz zu unabhängigen Konzepten in Standard-CBMs.

4. Ergebnisse

Die Autoren evaluieren PGCMs auf Datensätzen wie CelebA, ColorMNIST+ und CLEVR-Hans im Vergleich zu State-of-the-Art CBMs, Concept Residual Models (CRM) und Concept-based Memory Reasoner (CMR).

• Genauigkeit: PGCMs erreichen eine vergleichbare Vorhersagegenauigkeit (sowohl für Konzepte als auch für die Aufgabe) wie herkömmliche CBMs, trotz der zusätzlichen strukturellen Einschränkungen durch die Prototypen. Auf CelebA gibt es einen leichten Genauigkeitsverlust, der jedoch mit der reduzierten Konzeptgenauigkeit korreliert.
• Interpretierbarkeit & Alignment: Die Konzepte sind direkt über die Alignment-Tabelle überprüfbar. Nutzer können visuell erkennen, ob ein Prototyp tatsächlich das intendierte Konzept darstellt.
• Intervenierbarkeit:
  • Modell-Editing: Bei Trainingsdaten mit verrauschten Konzept-Labels konnte die Genauigkeit durch das Entfernen oder Korrigieren falscher Prototypen signifikant gesteigert werden (z. B. von ~92% auf ~97% auf ColorMNIST+). Dies ist mit Standard-CBMs nicht möglich.
  • Reaktion auf Interventionen: PGCMs reagieren auf Konzept-Interventionen ähnlich gut oder besser als CBMs, insbesondere wenn die Abhängigkeiten zwischen Konzepten über Prototypen genutzt werden (PGCM*).
• Kapazität vs. Interpretierbarkeit: Es zeigt sich ein Trade-off: Mehr Prototypen erhöhen die Genauigkeit, verringern aber die kognitive Überprüfbarkeit (Interpretierbarkeit).

5. Bedeutung und Fazit

Das Paper löst das kritische Problem der „versteckten Semantik" in CBMs. Während CBMs Interpretierbarkeit durch Abstraktion versprechen, verlassen sie sich auf eine nicht überprüfbare Annahme der Konzeptausrichtung. PGCMs ersetzen diese Annahme durch einen verifizierbaren, visuell fundierten Mechanismus.

Die Bedeutung liegt in:

• Vertrauenswürdigkeit: Durch die Möglichkeit, die visuelle Evidenz für Konzepte zu inspizieren, können Fehlausrichtungen (Misalignments) erkannt und behoben werden.
• Erweiterte Kontrolle: Die Einführung von Prototypen-Eingriffen eröffnet neue Wege für das Modell-Editing und die Korrektur von Fehlern auf einer granulareren Ebene als bisher möglich.
• Brückenschlag: PGCMs verbinden die Vorteile von CBMs (hohe Semantik, transparente Logik) mit denen von Prototyp-basierten Netzwerken (visuelle Erklärbarkeit), ohne dabei die Vorhersagekraft zu opfern.

Zusammenfassend stellen PGCMs einen bedeutenden Schritt hin zu wirklich verifizierbaren und vertrauenswürdigen erklärbaren KI-Modellen dar.