🤖 machine learning

Spatially Grounded Concept-Based Image Classification

Das Papier schlägt SEG-MIL-CBM vor, ein räumlich fundiertes Concept Bottleneck Model, das Bilder in konzeptgesteuerte Regionen zerlegt und segmentbasierte Evidenz mittels Attention aggregiert, um gleichzeitig die Klassifizierungsgenauigkeit zu verbessern und intrinsische, für Menschen interpretierbare Erklärungen bereitzustellen, ohne separate Post-hoc-Attributionsmodule zu erfordern.

Ursprüngliche Autoren: Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versuchen muss, ein Rätsel zu lösen: Was ist auf diesem Bild zu sehen?

Die meisten modernen KI-Detektive (Deep Neural Networks) sind unglaublich gut darin, den Fall zu lösen. Sie können Ihnen sagen: „Das ist ein Vogel!“, und das mit einer Genauigkeit von 99 %. Aber sie sind schrecklich darin, zu erklären, wie sie das wissen. Vielleicht schauen sie auf den Hintergrund (wie einen See) statt auf den Vogel selbst, oder sie verwenden einen geheimen Code, den kein Mensch lesen kann. Wenn Sie fragen: „Warum sagst du, es ist ein Vogel?“, zucken sie nur mit den Schultern und sagen: „Weil die Mathematik es sagt.“

Andere KI-Detektive, sogenannte Concept Bottleneck Models (CBMs), versuchen, ehrlicher zu sein. Sie sagen: „Ich sehe einen ‚Schnabel‘ und ‚Federn‘, also muss es ein Vogel sein.“ Das ist besser, aber sie haben immer noch einen Fehler: Sie behandeln das ganze Bild wie einen Smoothie. Sie vermischen alle „Schnäbel“ und „Federn“ zu einem einzigen großen Becher voller Informationen. Sie können nicht sagen, auf welchen spezifischen Teil des Bildes sie schauen. Hat der Schnabel links die Entscheidung beeinflusst? Oder der Schwanz rechts? Sie liefern nur einen globalen Wert.

Der neue Detektiv: SEG-MIL-CBM

Die Autoren dieser Arbeit haben einen neuen Detektiv gebaut, den SEG-MIL-CBM. Stellen Sie sich diesen Detektiv wie einen Forensic Accountant (einen forensischen Buchhalter) vor, der nicht nur rät, sondern für jede seiner Entscheidungen eine detaillierte, einzeln aufgeschlüsselte Quittung führt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Ausschneiden-und-Einfügen“-Team (Preprocessing)

Bevor der Detektiv überhaupt das Foto betrachtet, setzt er ein Team von spezialisierten Robotern ein (vortrainierte KI-Werkzeuge wie CLIP, GroundingDINO und SAM), um das Bild in Puzzleteile zu zerlegen.

Die Roboter: Sie betrachten das Bild und sagen: „Ich sehe hier ein Stück, das wie eine ‚leuchtend orangefarbene Brust‘ aussieht,“ und „Ich sehe dort ein Stück, das wie ‚schwarze Flügel‘ aussieht.“
Das Ergebnis: Das Bild ist kein einziger großer Klumpen mehr. Es ist ein Beutel mit deutlich unterscheidbaren, beschrifteten Puzzleteilen (Segmenten).

2. Das „Komitee der Abstimmung“ (Das Modell)

Nun betrachtet der Hauptdetektiv (das Modell) diesen Beutel mit Puzzleteilen. Anstatt sie zu vermischen, behandelt er jedes Teil wie einen Zeugen in einem Gerichtssaal.

Die Zeugen: Jedes Puzzleteil (Segment) sagt: „Ich bin ein Teil des Vogels und trage zu 40 % zum Urteil ‚Vogel‘ bei.“ Ein anderes Teil sagt: „Ich bin ein Teil des Hintergrunds und trage 0 % bei.“
Die Abstimmung: Der Detektiv gewichtet diese Aussagen. Er nutzt einen speziellen „Attention“-Mechanismus (Aufmerksamkeitsmechanismus), um den Teilen, die am wichtigsten erscheinen, genauer zuzuhören und den Lärm zu ignorieren.

3. Die „aufgeschlüsselte Quittung“ (Die Erklärung)

Das ist der magische Teil. Da die endgültige Antwort nur die Summe der Stimmen der Zeugen ist, kann der Detektiv eine aufgeschlüsselte Quittung ausdrucken.

Die Quittung: Sie sagt nicht nur „Vogel“. Sie sagt:
- Zeuge 1 (Orangefarbene Brust): +0,42 Punkte für „Vogel“.
- Zeuge 2 (Schwarze Flügel): +0,32 Punkte für „Vogel“.
- Zeuge 3 (Blauer Himmel): 0 Punkte.
Der Vorteil: Sie können genau sehen, wohin die KI geschaut hat und was sie gesehen hat. Wenn die KI einen Fehler gemacht hat, können Sie auf die Quittung schauen und sagen: „Ah, du hast dich auf das falsche Puzzleteil konzentriert!“

Warum ist das wichtig? (Das „Abkürzungsproblem“)

Manchmal wird KI faul. Sie lernt „Abkürzungen“ (Shortcuts).

Das Szenario: Stellen Sie sich eine KI vor, die darauf trainiert wurde, Vögel zu erkennen. Sie bemerkt, dass in den meisten Trainingsfotos Vögel auf dem Wasser sind. Also lernt sie: „Wenn ich Wasser sehe, ist es ein Vogel.“
Das Versagen: Wenn Sie ihr einen Vogel auf einem Baum zeigen, könnte sie verwirrt sein, weil sie nach Wasser sucht.
Der alte Weg: Globale CBMs könnten immer noch getäuscht werden, weil sie das „Wasser“ und den „Vogel“ in einen einzigen Wert vermischen.
Der SEG-MIL-CBM-Weg: Da dieses Modell die Teile separat betrachtet, kann es sehen: „Dieses Teil ist ein Vogel auf einem Baum (Gut!), aber dieses Teil ist Wasser (Schlecht/Abkürzung).“ Es kann entscheiden, das Wasser-Teil zu ignorieren und sich auf das Vogel-Teil zu konzentrieren.

Was haben sie bewiesen?

Die Autoren haben diesen neuen Detektiv bei mehreren Herausforderungen getestet:

Er ist ehrlich: Sie führten Tests durch, bei denen sie die „wichtigsten“ Puzzleteile nacheinander entfernten. Das Vertrauen des Modells sank exakt wie erwartet, was beweist, dass die Erklärung mit dem Denkprozess übereinstimmt.
Er ist intelligent: Er wurde nicht nur besser darin, Erklärungen zu liefern, sondern er wurde auch besser darin, schwierige Fälle zu lösen, in denen andere „ehrliche“ Modelle scheiterten (speziell bei Datensätzen, bei denen die KI normalerweise durch Hintergründe getäuscht wird).
Er ist schnell genug: Er funktioniert gut bei Standardaufgaben der Bilderkennung, nicht nur bei den besonders kniffligen.

Das Fazament

Diese Arbeit stellt ein System vor, das die KI dazu zwingt, ihren Rechenweg offenzulegen. Anstatt einer Black Box, die einfach eine Antwort gibt, liefert sie Ihnen eine hervorgehobene Karte des Bildes mit einer Bewertungskarte für jeden hervorgehobenen Bereich.

Alte KI: „Es ist ein Vogel.“ (Vertrau mir, ich bin schlau.)
Alte „ehrliche“ KI: „Es ist ein Vogel wegen Konzepten wie ‚Federn‘ und ‚Schnabel‘.“ (Aber ich kann dir nicht sagen, wo ich sie gesehen habe.)
SEG-MIL-CBM: „Es ist ein Vogel. Hier ist das ‚Feder‘-Segment auf der linken Seite (Score: 0,4), und hier ist der ‚Schnabel‘ auf der rechten Seite (Score: 0,3). Ich habe das Wasser im Hintergrund ignoriert.“

Die Autoren behaupten, dass dies die KI zuverlässiger macht, insbesondere wenn sie versucht sein könnte, eine faule Abkürzung zu nehmen, und es ermöglicht Menschen, die Entscheidung zu prüfen, ohne ein separates, verwirrendes Werkzeug zur Erklärung zu benötigen.

Technisches Resümee: SEG-MIL-CBM

Problemstellung
Tiefe neuronale Netze erzielen oft eine hohe Genauigkeit, indem sie sich auf spurehafte Korrelationen oder Beweise verlassen, die schwer zu inspizieren sind, insbesondere in hochsensiblen Bereichen. Während Concept Bottleneck Models (CBMs) durch die Abbildung von Bildern auf menschendefinierte Konzepte eine interpretierbare Argumentation ermöglichen, behandeln die meisten existierenden CBMs Konzepte als globale Attribute. Dieser globale Ansatz versäumt es, zu identifizieren, welche spezifischen Bildregionen ein Konzept unterstützen, wodurch eine Lücke zwischen der Vorhersage und ihrer Erklärung entsteht. Darüber hinaus lokalisieren räumlich fundierte CBMs (z. B. SALF-CBM) zwar Evidenz, berücksichtigen aber nicht explizit, wie die Evidenz auf Regionenebene in den endgültigen Entscheidungs-Logit aggregiert wird, was oft dazu führt, dass Erklärungen von der Berechnung, die die Vorhersage erzeugt, getrennt sind.

Methodik: SEG-MIL-CBM
Die Autoren schlagen SEG-MIL-CBM (Spatially Grounded Concept-Based Image Classification) vor, ein Modell, das darauf ausgelegt ist, Bilder in konzeptgesteuerte Regionen zu zerlegen und diese mittels aufmerksamkeitsbasierter Aggregation von Segment-Evidenz zu klassifizieren. Die zentrale Innovation besteht darin, dass dieselben Segment-Evidenzterme, die zur Bildung der Vorhersage verwendet werden, direkt ausgelesen werden, um die Erklärung zu generieren, wodurch die Notwendigkeit eines separaten Post-hoc-Attributionsmoduls entfällt.

Die Pipeline besteht aus vier Stufen:

Offline-Vorverarbeitung: Unter Verwendung vortrainierter Foundation-Modelle (CLIP, GroundingDINO und SAM) generiert das System für jedes Bild einen „Beutel“ (Bag) aus konzeptgesteuerten Segmenten. GroundingDINO lokalisiert die Konzepte, und SAM erzeugt binäre Masken. Diese Segmente werden zusammen mit eingefrorenen CLIP-Konzeptähnlichkeitszielen gecacht.
Segment-Kodierung: Ein trainierbares Modell kodiert jedes Segment mithilfe eines gemeinsamen Backbones ( $\phi$ ), um Merkmale ( $h_i$ ) zu erzeugen. Ein lineares Konzept-Head projiziert diese Merkmale in einen Konzeptraum, um gelernte Konzept-Aktivierungen ( $z_i$ ) zu erhalten.
Rechenschaftspflichtige Aggregation (MIL): Das Modell verwendet ein auf Aufmerksamkeit basierendes Multiple Instance Learning (MIL)-Framework. Es berechnet klassenbedingte Aufmerksamkeitsgewichte ( $\alpha_{i,y}$ ) für jedes Segment und aggregiert Segment-Klassen-Scores ( $g_{i,y}$ ) zu einem Bild-Level-Logit ( $\ell_y = \sum \alpha_{i,y} g_{i,y}$ ).
Erzeugungs der Erklärung: Der endgültige Logit ist eine Summe expliziter Segment-Beiträge. Die Erklärung wird durch das Auslesen der Nicht-Bias-Evidenzterme ( $C^{sp}_{i,y}$ ) aus dieser Zerlegung abgeleitet. Dies offenbart, welche Regionen positiv zur Vorhersage beigetragen haben und welche spezifischen Konzepte innerhalb dieser Regionen diese Unterstützung lieferten.

Das Trainingsziel kombelt den Bild-Level-Cross-Entropy-Loss mit einem Cosine-Alignment-Loss zwischen den gelernten Konzept-Aktivierungen und den eingefrorenen CLIP-Zielen, was die semantische Konsistenz sicherstellt, ohne dass explizite Konzept- oder Gruppenlabels während des Trainings erforderlich sind.

Wesentliche Beiträge

Rechenschaftspflichtige Aggregation: Die Autoren formulieren die räumliche Konzept-Vorhersage so, dass jeder angezeigte Regionen-Score direkt aus dem Nicht-Bias-Segment-Evidenzterm in der Logit-Zerlegung abgelesen wird, was eine einheitliche Vorhersage und Erklärung schafft.
Validierung der Treue (Faithfulness): Durch Segment-Level-Löschungs- und Einfügungsexperimente auf dem CUB-Datensatz validiert die Arbeit quantitativ, dass das gelernte Segment-Ranking treu zum eigenen Vorhersagepfad des Modells ist und dabei Kontrollgruppen basierend auf roher CLIP-Salienz, Segmentfläche und zufälligem Ranking übertrifft.
Interpretierbarkeits-Robustheits-Trade-off: Das Modell zeigt, dass ein auf Interpretierbarkeit fokussiertes Design eine wettbewerbsfähige Erkennungsgenauigkeit bewahren kann, während es die Worst-Group-Genauigkeit gegenüber evaluierten CBM-Familien-Baselines verbessert. Es legt explizit den Pareto-Trade-off zwischen Interpretierbarkeit und der höchstmöglichen Worst-Group-Genauigkeit, die durch nicht-interpretierbare gruppenrobuste Methoden erreichbar ist, offen.

Ergebnisse

Gruppen-Robustheit: Auf dem Waterbirds-Datensatz (ein Benchmark für spurehafte Hintergrundkorrelationen) verbessert SEG-MIL-CBM die Worst-Group-Genauigkeit von 65,1 % (SALF-CBM) auf 72,0 %. Auf dem synthetischen Pawrious-Datensatz erreicht es eine Worst-Group-Genauigkeit von 87,4 % und übertrifft damit signifikant die globalen CBM-Baselines, die daran scheitern, Hintergrund-Shortcuts zu mildern.
Standard-Erkennung: Das Modell bleibt bei Standard-Erkennungsaufgaben wettbewerbsfähig und erzielt die beste CBM-Genauigkeit auf CIFAR-100 (85,3 %) sowie Verbesserungen gegenüber früheren räumlichen CBMs auf Places365 und CUB.
Treue (Faithfulness): Auf CUB erreicht das Modell die beste Deletion/Insertion AUC (DAUC/IAUC: 0,444/0,670) unter den evaluierten Kontrollen. Top-1-Einfügungstests zeigen, dass das Beibehalten nur der am höchsten gerankten Segmente die ursprüngliche Vorhersage in 90,5 % der Bilder bewahrt.
Ablation: Experimente bestätigen, dass die Leistungssteigerungen durch die explizite Aggregation lokalisierter Evidenz und nicht durch versteckte Feature-Bypässe getrieben werden und dass der Konzept-Alignment-Loss entscheidend für die Aufrechterhaltung der für Erklärungen genutzten semantischen Schnittstelle ist.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass SEG-MIL-CBM eine stärkere Form der Erklärung bietet, indem es als „Audit Trail“ (Prüfpfad) der Vorhersage selbst dient. Im Gegensatz zu Post-hoc-Methoden, die Heatmaps an separate Klassifikatoren anheften, stellt SEG-MIL-CBM sicher, dass die angezeigte Regionen-Evidenz intrinsisch zur Vorwärtsberechnung gehört.

Die Autoren positionieren SEG-MIL-CBM nicht als Ersatz für nicht-interpretierbare gruppenrobuste Methoden (die auf spezifischen Datensätzen wie Waterbirds eine höhere Worst-Group-Genauigkeit erreichen können), sondern als einen distinkten Punkt auf der Pareto-Front. Es bietet einen Trade-off, bei dem Praktiker eine räumlich fundierte, konzeptbasierte Rechenschaft darüber gewinnen, warum eine Entscheidung getroffen wurde – insbesondere indem identifiziert wird, welche Objektteile oder Hintergrundregionen die Vorhersage unterstützten – während gleichzeitig eine wettbewerbsfähige Genauigkeit und eine verbesserte Robustheit gegenüber anderen interpretierbaren Baselines beibehalten wird. Die Arbeit betont, dass dieser Ansatz Fehler (z. B. die Abhängigkeit von Hintergrund-Shortcuts) leichter inspizierbar macht als in globalen Bottleneck-Modellen, auch wenn er nicht garantiert, alle Shortcuts zu entfernen.