🤖 machine learning

Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

Dieses Paper führt ein teil-faktorisiertes Concept Bottleneck Model ein, das einen eingefrorenen DINOv3 Vision Transformer, ein Foreground Gate und einen lernbaren Gaußschen räumlichen Prior nutzt, um eine räumliche Verankerung in der Konzept-Attention zu erzwingen, wodurch die Lokalisierungsgenauigkeit signifikant verbessert wird, während gleichzeitig eine wettbewerbsfähige Klassifizierungsleistung auf dem CUB-200-2011 Datensatz mit minimaler oder ohne pro Bild erfolgender Supervision beibehalten wird.

Ursprüngliche Autoren: Dhanesh Ramachandram

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dhanesh Ramachandram

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, verschiedene Vogelarten zu identifizieren. Eine Standard-KI würde einfach das ganze Bild betrachten und raten: „Das ist ein Sperling!“ Aber wenn Sie fragen: „Warum?“, könnte sie Schwierigkeiten haben, es zu erklären.

Concept Bottleneck Models (CBMs) sind ein klügerer Ansatz. Anstatt den Vogel direkt zu erraten, wird die KI gezwungen, zuerst eine Liste von menschenlesbaren Fragen (Konzepten) zu beantworten, wie zum Beispiel: „Hat er eine weiße Kehle?“ oder „Ist der Schnabel gebogen?“ und dann ihre endgültige Vermutung basierend auf diesen Antworten zu treffen. Dies macht den Denkprozess der KI transparent und überprüfbar.

Es gibt jedoch einen Fehler in der Art und Weise, wie diese Modelle normalerweise funktionieren. Der Teil der KI, der für die Überprüfung der „weißen Kehle“ verantwortlich ist, könnte versehentlich auf den Flügel des Vogels schauen. Wenn der Flügel zufällig weiß ist, bekommt die KI die richtige Antwort aus dem falschen Grund. Die KI ist „räumlich nicht fundiert“ – sie weiß nicht, wo im Bild sie suchen sollte.

Dieses Paper stellt ein neues Modell namens PF-CBM (Part-Factorized Concept Bottleneck Model) vor, das dies behebt, indem es die KI zwingt, am richtigen Ort zu suchen, und nutzt dafür drei clevere Tricks:

1. Das „Foreground Gate“ (Der Türsteher)

Stellen Sie sich das Bild wie eine überfüllte Party vor. Die KI muss den Hintergrund (die Wände, die Bäume, den Zaun) ignorieren und sich nur auf den Vogel konzentrieren.

Wie es funktioniert: Das Modell hat einen winzigen, intelligenten „Türsteher“, der jedes kleine Stück des Bildes scannt. Wenn ein Teil wie der Hintergrund aussieht, sagt der Türsteher der KI, sie solle ihn ignorieren. Wenn er wie der Vogel aussieht, lässt er die KI darauf blicken.
Der Trick: Dieser Türsteher ist darauf trainiert, lediglich zu sagen: „Ist dieser Teil Teil des Vogels?“, ohne genau wissen zu müssen, wo sich der Schnabel oder der Schwanz des Vogels befindet. Er räumt lediglich die Bühne für die eigentlichen Akteure frei.

2. Der „Feste Sitzplan“ (Das Routing)

In alten Modellen waren der „Schnabel-Prüfer“ und der „Schwanz-Prüfer“ freie Agenten. Sie konnten überall sitzen und überall hinschauen, wo sie wollten.

Wie es funktioniert: Dieses neue Modell weist jedem Konzept einen spezifischen „Sitz“ (einen Teil des Vogels) zu. Der „Schnabel-Prüfer“ darf nur auf den „Schnabel-Sitz“ schauen. Der „Schwanz-Prüfer“ darf nur auf den „Schwanz-Sitz“ schauen.
Das Ergebnis: Die KI kann nicht mehr schummeln, indem sie auf den Flügel schaut, um eine Frage über die Kehle zu beantworten. Die Regeln sind fest in das System programmiert.

3. Die „Gaußsche Priorität“ (Die grobe Karte)

Hier ist der schwierigste Teil: Wie sagt man der KI, welcher Sitz der „Schnabel-Sitz“ und welcher der „Schwanz-Sitz“ ist, ohne ihr tausende Bilder mit Punkten auf den Schnäbeln und Schwänzen zu zeigen?

Das Problem: Wenn man der KI einfach nur 12 leere Sitze gibt, könnte sie verwirrt werden. Sie könnte entscheiden, dass Sitz #1 der Schwanz und Sitz #2 der Schnabel ist oder umgekehrt. Da der Vogel in beiden Fällen gleich aussieht, gerät die KI in eine Schleife der Verwirrung.
Die Lösung: Die Autoren geben der KI eine sehr grobe, verschwommene Karte davon, wo Dinge normalerweise sind. Sie sagen: „Der Schnabel ist meistens oben links, und der Schwanz ist meistens unten rechts.“
Die Magie: Sie müssen diese Karte nicht für jeden einzelnen Vogel zeigen. Sie müssen nur die durchschnittliche Position eines Schnabels aus einer winzigen Handvoll Beispielen berechnen (so wenig wie 27 Bilder von 11.000!). Diese grobe Karte wirkt wie ein Kompass, der die Verwirrung auflöst und der KI sagt: „Fang an, hier nach dem Schnabel zu suchen.“ Sobald die KI einmal angefangen hat, lernt sie die genauen Details von selbst.

Die Ergebnisse: Was ist passiert?

Die Forscher testeten dies an einem Datensatz mit 200 Vogelarten.

Genauigkeit: Das neue Modell war bei der Identifizierung der Vögel genauso gut wie die alten, voll überwachten Modelle (etwa 89 % Genauigkeit).
Ehrlichkeit: Aber es war viel besser darin, auf das richtige Körperteil zu zeigen. Während alte Modelle nur 36 % der Zeit korrekt zeigten, lag dieses neue Modell bei 52 % bis 60 %.
Keine Überwachung nötig: Noch besser: Sie fanden einen Weg, die Notwendigkeit, Boxen um die Vögel zu zeichnen, komplett zu entfernen. Indem sie einen mathematischen Trick (PCA) verwendeten, um zu erraten, wo sich der Vogel befindet, erreichten sie fast die gleiche hohe Genauigkeit und sogar noch bessere Zeigefähigkeiten (fast 60 %), und das alles, ohne dass Menschen beim Training der Bilder Boxen oder Punkte zeichnen mussten.

Das Fazend

Dieses Paper zeigt, dass man den Entscheidungsprozess einer KI viel ehrlicher und zuverlässiger machen kann, indem man ihr eine einfache „Karte“ gibt, wo sie suchen soll, ohne ihr die exakte Position jedes einzelnen Körperteils für jedes einzelne Bild beibringen zu müssen. Es ist so, als würde man einen Schüler lehren, eine Prüfung abzulegen, indem man ihm einen groben Abriss der Lehrbuchkapitel gibt, anstatt ihn zu zwingen, jede einzelne Seitenzahl auswendig zu lernen. Das Ergebnis ist ein Modell, das nicht nur die richtige Antwort weiß, sondern auch genau weiß, warum es sie weiß.

Technisches Resümee: Räumlich fundierte Konzept-Bottleneck-Modelle mittels Teil-faktorisierter Aufmerksamkeit

Problemstellung
Konzept-Bottleneck-Modelle (CBMs) bieten Interpretierbarkeit, indem sie vor der endgültigen Klassifizierung menschlich benannte Attribute (Konzepte) vorhersagen. Bei Aufgaben der feingranularen Erkennung (z. B. Unterscheidung von Vogelarten) leiden Standard-CBMs jedoch unter einer „räumlichen Fundierungslücke“ (spatial grounding gap). Während die Konzeptlage numerisch interpretierbar bleibt, ist die räumliche Aufmerksamkeit des jeweiligen Konzept-Heads unbeschränkt. Ein Head, der für ein bestimmtes Körperteil benannt ist (z. B. „Kehlfarbe“), kann den Trainingsverlust dadurch minimieren, dass er auf eine andere Region (z. B. einen Flügelfleck) achtet, falls diese Region stark mit dem Zielattribut korreliert. Infolgedessen sind die Entscheidungen des Modells nicht in der benannten Anatomie fundiert, was Testzeit-Interventionen unzuverlässig macht, da diese auf dem Patch agieren, auf den der Head sich festgelegt hat, statt auf der beabsichtigten anatomischen Region.

Methodik: Part-Factorized CBM (PF-CBM)
Das vorgeschlagene PF-CBM erzwingt die räumliche Fundierung als eine strukturelle Eigenschaft des Vorwärtsgraphen, basierend auf einem gefrorenen DINOv3 ViT-B/16 Vision Transformer. Die Architektur besteht aus drei primären Komponenten:

Gelernter Vordergrund-Gate: Ein kleines MLP operiert auf den DINOv3-Patch-Features, um pro Patch Logits zu erzeugen. Diese werden durch eine Sigmoid-Funktion geleitet, um einen Gate $g \in [0, 1]$ zu generieren. Dieser Gate wird additiv im Log-Raum in die Aufmerksamkeits-Logits injiziert. Er unterdrückt Hintergrund-Patches, ohne Segmentierungsmasken pro Bild zu benötigen, und beantwortet die binäre Frage, ob ein Patch zum Objekt gehört.
Part-Routed Attribute Heads: Das Modell verwendet eine Menge von $P=12$ lernbaren Part-Queries, die per Cross-Attention auf die Patch-Features zugreifen. Eine feste, zur Kompilierzeit festgelegte „Konzept-zu-Teil“-Abbildung leitet jedes der $C=312$ Attribute an ein spezifisches Part-Token weiter. Beispielsweise liest das Attribut „Kehlfarbe“ ausschließlich vom „Kehl“-Token. Diese strukturelle Beschränkung verhindert, dass ein Konzept auf Merkmale außerhalb seiner zugewiesenen anatomischen Region zugreift.
Lernbare Gaußsche räumliche Prior-Verteilung: Um zu verhindern, dass die Part-Queries aufgrund von Permutationssymmetrie an einem gemeinsamen Ort kollabieren (z. B. dem Objektzentrum), wird eine lernbare 2D-Gaußsche Prior-Verteilung zu den Aufmerksamkeits-Logits hinzugefügt. Der Mittelwert ( $\mu_p$ ) und die Standardabweichung ( $\sigma_p$ ) dieser Prior-Verteilung sind trainierbare Parameter. Entscheidend ist, dass $\mu_p$ offline unter Verwendung der Datensatz-Durchschnittslage der Keypoints für jedes Teil initialisiert wird. Diese Initialisierung erfordert nur einen Bruchteil der annotierten Keypoints und keine pro-Bild-Überwachung während des Trainings oder der Inferenz.

Trainingsziel
Das Modell wird in zwei Stufen trainiert, um zwischen Fundierung und Klassifizierung abzuwägen:

Stufe 1: Der Klassifikator ist eingefroren ( $w_{cls}=0$ ). Der Gate, die Part-Attention und die Attribut-Heads werden mittels Konzept-Loss (certainty-weighted binary cross-entropy), Foreground-Loss, Alignment-Loss (falls Keypoints verfügbar sind) und einem Entropie-Term trainiert, der die Konzentration der Aufmerksamkeit fördert.
Stufe 2: Der Klassifikator wird aufgetaut ( $w_{cls}=1$ ). Das Modell trainiert gemeinsam, wobei die Lernrate für die Fundierungskomponenten (Gate, Attention, Heads) jedoch um eine Größenordnung kleiner ist als die des Klassifikators. Dies verhindert, dass der Klassifizierungsdruck den in Stufe 1 etablierten räumlich fundierten Zustand überschreibt.

Wichtige Ergebnisse
Experimente auf dem CUB-200-2011 Datensatz zeigen Folgendes:

Performance vs. Fundierung: Das Modell mit räumlicher Prior-Verteilung erreicht eine Klassifizierungsgenauigkeit, die mit einer voll überwachten Baseline vergleichbar ist (88,85 % vs. 88,95 % Top-1), verbessert aber gleichzeitig die Pointing-Genauigkeit signifikant (52,6 % vs. 36,4 %).
Entfernung der Pro-Bild-Überwachung: Durch den Ersatz der Bounding-Box-Überwachung durch ein PCA-abgeleitetes Foreground-Target und die Kombination mit der Gaußschen Prior-Verteilung entfernt das Modell jegliche Pro-Bild-Überwachung. Diese „Box-freie“ Konfiguration erreicht 88,85 % Top-1 Genauigkeit und 59,7 % Pointing-Genauigkeit.
Effizienz der Annotation: Ein Sweep über die Anteile der Keypoints zeigt, dass die Initialisierung der Gaußschen Prior-Verteilung mit nur 0,5 % des Trainingssatzes (etwa 27 Bilder) ausreicht, um eine Performance zu erzielen, die nicht von der Nutzung des vollständigen Datensatzes zu unterscheiden ist.
Notwendigkeit der Struktur: Das Entfernen der räumlichen Prior-Verteilung lässt die Pointing-Genauigkeit auf 2,9 % kollabieren, was bestätigt, dass die Prior-Verteilung essenziell ist, um die Permutationssymmetrie zu brechen und die Spezialisierung der Teile zu erzwingen.
Interventionsverhalten: Ein sequenzielles Training (Einfrieren des Konzept-Encoders vor dem Training des Klassifikators) liefert einen besser kalibrierten Bottleneck mit geringerer Konzept-Klasse-gegenseitiger Information, allerdings auf Kosten der Top-1 Genauigkeit. Dies bestätigt, dass das gemeinsame Training es dem Modell ermöglicht, diskriminative Signale in die Konzept-Magnituden zu packen, während das sequenzielle Training eine striktere Abhängigkeit von den benannten Konzepten erzwingt.

Bedeutung und Ansprüche
Das Paper behauptet, dass PF-CBM erfolgreich die Lücke zwischen Interpretierbarkeit und räumlicher Fundierung schließt. Indem es die Fundierung zu einer strukturellen Garantie statt zu einem Optimierungsergebnis macht, stellt das Modell sicher, dass Konzeptvorhersagen an spezifische anatomische Regionen gebunden sind. Dies ermöglicht zuverlässige Testzeit-Interventionen, bei denen die Korrektur eines Konzepts (z. B. „Kehlfarbe“) die Vorhersage direkt durch das korrekte anatomische Evidenz beeinflusst.

Die Arbeit unterscheidet sich von Soft-Grounding-Ansätzen (wie DOT-CBM, das Optimal Transport nutzt), indem sie eine harte, strukturelle Routing-Map erzwingt. Obwohl dies eine vordefinierte Part-Vokabel und eine Konzept-zu-Teil-Zuordnung erfordert, bietet es einen trivial auditierbaren Mechanismus, bei dem die Korrespondenz zwischen Konzepten und Bildregionen durch Design fixiert ist. Die Autoren merken an, dass die Methode am besten für Domänen mit einzelnen Objekten in kanonischen Posen (z. B. Vögel, Gesichter) geeignet ist und dass das vollständige Entfernen der Part-Identität ohne jegliches Signal auf Datensatz-Ebene eine ungelöste Herausforderung bleibt.