💻 computer science

OCCAM: Open-set Causal Concept explAnation and Ontology induction for black-box vision Models

OCCAM ist ein neuartiges Framework, das Black-Box-Vision-Modelle interpretiert, indem es Open-Set-visuelle Konzepte entdeckt, ihren kausalen Einfluss durch Objekt-Eingriffe quantifiziert und diese Evidenz aggregiert, um eine strukturierte Ontologie zu induzieren, die globale Modell-Reasoning und -Verzerrungen aufdeckt.

Ursprüngliche Autoren: Chiara Maria Russo, Simone Carnemolla, Simone Palazzo, Daniela Giordano, Concetto Spampinato, Matteo Pennisi

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chiara Maria Russo, Simone Carnemolla, Simone Palazzo, Daniela Giordano, Concetto Spampinato, Matteo Pennisi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superschlauen, aber völlig geheimnisvollen Roboter, der Fotos betrachtet und Ihnen sagt, was darauf zu sehen ist. Sie können ihm ein Bild eines Hundes zeigen, und er sagt „Hund". Doch wenn Sie fragen: „Warum hast du das gesagt?", verweigert der Roboter die Antwort. Er wird Ihnen weder seine inneren Zahnräder, seinen Code noch seinen Denkprozess offenbaren. Er ist eine „Blackbox".

Dies ist das Problem, das die Arbeit OCCAM zu lösen versucht. Die Autoren entwickelten eine neue Methode, um in diese Blackbox zu spähen, ohne sie gewaltsam zu öffnen. Sie tun dies, indem sie wie ein sehr sorgfältiger Redakteur vorgehen, der Teile aus einem Foto herausschneidet, um zu sehen, wie sich die Antwort des Roboters verändert.

Hier ist die Funktionsweise von OCCAM, erklärt durch einfache Analogien:

1. Das „Was-wäre-wenn"-Spiel (Open-Set Discovery)

Die meisten früheren Methoden versuchten zu erraten, was der Roboter dachte, indem sie eine feste Liste von Wörtern (wie ein Wörterbuch) verwendeten. Wenn der Roboter einen „Golden Retriever" sah, die Wörterliste aber nur „Hund" enthielt, könnte er die Nuance verpassen.

OCCAM ist anders. Es verwendet einen intelligenten KI-Assistenten (ein multimodales Large Language Model), der das Foto betrachtet und sagt: „Hey, ich sehe einen flauschigen Schwanz, einen sonnigen Park und einen roten Ball." Es benötigt keine vorab geschriebene Liste; es erfindet die Konzepte, die es sieht, einfach im Moment. Dies ist der „Open-Set"-Teil – es kann über alles sprechen, was es findet.

2. Der „Magische Radiergummi" (Causal Intervention)

Sobald OCCAM diese Konzepte identifiziert hat (wie den „flauschigen Schwanz"), zeigt es nicht nur darauf. Es führt einen kausalen Test durch.

Stellen Sie sich vor, Sie haben ein Foto eines Hundes in einem Park. OCCAM verwendet einen „Magischen Radiergummi", um vorsichtig nur den Schwanz zu entfernen und den Hintergrund so auszufüllen, dass er natürlich aussieht. Dann zeigt es dieses bearbeitete Foto dem Roboter erneut.

Wenn der Roboter immer noch „Hund" sagt: Der Schwanz war für die Entscheidung nicht sehr wichtig.
Wenn der Roboter plötzlich sagt „Ich weiß es nicht" oder seine Meinung ändert: Der Schwanz war ein entscheidender Hinweis.

Indem OCCAM dies für jedes gefundene Konzept durchführt, lernt es genau, welche Teile des Bildes tatsächlich verursachen, dass der Roboter seine Entscheidung trifft. Es ist wie ein Detektiv, der Hinweise nacheinander entfernt, um zu sehen, welcher der entscheidende Beweis war.

3. Aufbau eines „Stammbaums" von Ideen (Ontology Induction)

Bisher hat OCCAM ein Foto erklärt. Doch die Autoren wollten die gesamte Persönlichkeit des Roboters verstehen, nicht nur seine Reaktion auf ein einzelnes Bild.

Sie nehmen die Ergebnisse aus Tausenden von Fotos und erstellen eine riesige, strukturierte Karte, die als Ontologie bezeichnet wird. Denken Sie daran wie an einen Stammbaum oder eine komplexe U-Bahn-Karte für das Gehirn des Roboters.

Sie verbindet Konzepte mit Klassen (z. B. „Flauschiger Schwanz" $\rightarrow$ „Hund").
Sie verbindet Konzepte mit anderen Konzepten (z. B. erscheint ein „Lächelndes Gesicht" oft mit einem „Glücklichen Hund").

Diese Karte wird nicht von einem Menschen gezeichnet; sie entsteht aus dem Verhalten des Roboters selbst. Sie enthüllt verborgene Muster, wie etwa: „Dieser Roboter muss immer ein ‚Lächeln' sehen, um einen ‚Volleyballspieler' als glücklich zu klassifizieren", oder: „Dieser Roboter ist voreingenommen und denkt, dass ‚Gras' ‚im Freien' bedeutet, selbst wenn das Gras gefälscht ist."

4. Warum dies wichtig ist

Die Arbeit zeigt, dass diese Methode in zwei Hauptaspekten besser funktioniert als frühere Tricks:

Sie funktioniert bei geheimen Robotern: Sie müssen den Code des Roboters nicht sehen (was Sie normalerweise nicht können). Sie müssen nur in der Lage sein, ihm Bilder zu zeigen und Antworten zu erhalten.
Sie findet die wahren Gründe: Indem sie die visuellen Beweise tatsächlich entfernt, beweist sie die Kausalität. Sie rät nicht nur; sie testet.

Die Autoren testeten dies an bekannten Bilddatensätzen (wie Broden und ImageNet) und stellten fest, dass OCCAM die Entscheidungen des Roboters genauer erklären konnte als Methoden, die auf internen Codezugriff angewiesen sind. Sie zeigten auch, dass, wenn sie diese strukturierte „Stammbaum"-Karte einer anderen KI zur Zusammenfassung des Verhaltens des Roboters gaben, die Zusammenfassungen viel tiefer und genauer waren als das bloße Auflisten zufälliger Fakten.

Kurz gesagt: OCCAM ist ein Werkzeug, das eine Blackbox-KI wie ein Rätsel behandelt, das gelöst wird, indem systematisch Teile des Bildes entfernt werden, um zu sehen, worauf die KI tatsächlich achtet, und diese Erkenntnisse dann in eine klare Karte dessen, wie die KI denkt, organisiert werden.

Technische Zusammenfassung: OCCAM – Open-set Causal Concept explAnation and Ontology induction for black-box vision Models

Problemstellung

Deep-Learning-Bildklassifikatoren haben nahezu menschliche Leistungsfähigkeit erreicht, doch ihre Entscheidungsprozesse bleiben undurchsichtig, insbesondere in Black-Box-Szenarien, bei denen interne Gradienten, Aktivierungen und architektonische Details nicht zugänglich sind (z. B. eingesetzte Systeme und APIs Dritter). Bestehende Erklärungsmethoden stehen in diesem Regime vor zwei Hauptbeschränkungen:

Attributionsbasierte Methoden (z. B. Saliency Maps, LIME, SHAP) arbeiten auf räumlichen Einheiten (Pixel/Patches) anstelle semantischer Konzepte und erzeugen kontinuierliche Relevanzkarten, die keine explizite semantische Struktur aufweisen und eine manuelle Interpretation erfordern.
Konzeptbasierte Methoden verlassen sich typischerweise auf geschlossene Sätze vordefinierter Vokabulare oder kuratierter Konzeptbanken, was ihre Fähigkeit einschränkt, neuartige oder feinabgestufte Entitäten in realen Open-Set-Szenarien zu erklären. Darüber hinaus operieren die meisten Techniken lokal, indem sie einzelne Vorhersagen erklären, ohne einen prinzipiellen Mechanismus zu bieten, um konsistente globale Erkenntnisse abzuleiten oder systematische Modellverzerrungen aufzudecken.

Es besteht ein kritischer Bedarf an Erklärungsrahmenwerken, die gleichzeitig Black-Box, Open-Set und kausal sind.

Methodik

OCCAM (Open-set Causal Concept explAnation and ontology induction for black-box vision Models) stellt die Modellinterpretation als einen Prozess der strukturierten interventionalen Beschneidung neu. Das Framework operiert strikt unter dem Zugriff nur über Abfragen und erfordert keine internen Modellgewichte. Es besteht aus drei Hauptphasen:

1. Lokale interventional Konzeptanalyse

Für ein gegebenes Eingabebild $x$ und einen vortrainierten Klassifikator $f$ :

Open-Set-Konzeptvorschlag ( $\Phi$ ): Ein multimodales Large Language Model (MLLM) schlägt eine Menge instanzspezifischer semantischer Konzepte $\{k_1, ..., k_N\}$ aus einem offenen Universum vor, anstatt aus einem festen Vokabular.
Konzeptverankerung ( $\Psi$ ): Ein textkonditioniertes Segmentierungsmodell (z. B. SAM) ordnet jedes vorgeschlagene Konzept einer binären Segmentierungsmaske $m_i$ zu, die seine räumliche Unterstützung identifiziert. Konzepte, die keine gültigen Masken erzeugen, werden verworfen.
Kausale Beschneidung ( $R$ ): Ein Inpainting-Modell (z. B. LaMa) entfernt die visuelle Unterstützung jedes verankerten Konzepts unabhängig voneinander und erzeugt ein interveniertes Bild $\tilde{x}_i$ .
Schätzung des kausalen Beitrags: Das Framework misst die Änderung des Vertrauens des Klassifikators für die ursprünglich vorhergesagte Klasse $\hat{y}$ :
$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$
Ein höherer Score zeigt an, dass das Konzept eine stärkere positive kausale Unterstützung für die Entscheidung bietet.

2. Globale Ontologie-Induktion

Über lokale Erklärungen hinaus aggregiert OCCAM interventionelle Evidenz über den gesamten Datensatz hinweg, um eine strukturierte konzeptionelle Ontologie zu induzieren.

Struktur: Die Ontologie wird als Wissensgraph (RDF/OWL) formalisiert, wobei Knoten Klassen, Bilder, Konzepte und kausale Evidenz-Entitäten (enthaltend Scores und Artefakte) repräsentieren.
Entstehung: Globale Konzept-Klassen- und Inter-Konzept-Abhängigkeiten werden nicht von oben nach unten auferlegt, sondern entstehen durch die Aggregation der gespeicherten interventionellen Attribute.
Schlussfolgerung: Diese Ontologie ermöglicht strukturierte Abfragen und Schlussfolgerungen über das globale Verhalten des Modells und deckt stabile Abhängigkeiten, kompositionelle Muster und latente kausale Beziehungen auf, die isolierte bildweise Erklärungen möglicherweise übersehen.

3. Evaluationsmetriken

Das Framework wird unter Verwendung folgender Metriken evaluiert:

Kausale Beschneidungs-Metriken: Average Drop Percentage (ADP), Maximum Drop Percentage (MDP) und Maximum Absolute Logit Drop (MAD), um den Einfluss der Konzeptentfernung auf das Modellvertrauen zu quantifizieren.
Verankerungs-Metriken: Energy-based Pointing Game (EPG), Normalized Region Accuracy (NRA) und Hit Rate, um die räumliche Ausrichtung mit Ground-Truth-Masken zu bewerten.
Qualität der Schlussfolgerung: Von LLMs generierte Berichte unter Verwendung unstrukturierter Zusammenfassungen, flachem JSON und ontologiebasiertem Schlussfolgern werden von unabhängigen LLMs und menschlichen Evaluatoren auf Kohärenz und Treue bewertet.

Hauptbeiträge

OCCAM-Framework: Ein striktes Black-Box-Framework für Open-Set-kausale Erklärungen durch strukturierte Objekt-Eingriffseingriffe, das nur Abfragezugriff auf den visuellen Klassifikator erfordert.
Prinzipielle Ontologie-Konstruktion: Ein Verfahren, das konzeptuelle kausale Effekte über Bilder hinweg aggregiert, um eine emergente globale konzeptionelle Ontologie zu konstruieren, ohne auf vordefinierte Vokabulare oder interne Repräsentationen zurückzugreifen.
Ontologie-gesteuerte Schlussfolgerung: Demonstration, dass das Schließen über die induzierte Ontologie tiefere Erklärungen ermöglicht und stabile konzeptionelle Abhängigkeiten sowie latente kausale Beziehungen aufdeckt, die von isolierten bildweisen Analysen unentdeckt bleiben.
State-of-the-Art-Leistung: Erzielung konkurrierender oder überlegener Ergebnisse auf den Datensätzen Broden und ImageNet-S unter strikten Open-Set- und Black-Box-Bedingungen, wobei White-Box-, Closed-Set-Konkurrenten in der Wirksamkeit der kausalen Beschneidung übertroffen werden.
Multimodale Erweiterbarkeit: Validierung, dass sich das Framework natürlich auf Vision-Language-Klassifikatoren (z. B. CLIP, SigLIP) ausdehnen lässt und einen einheitlichen Erklärungsmechanismus über unimodale und multimodale Architekturen hinweg bietet.

Experimentelle Ergebnisse

Experimente wurden an ResNet18, ResNet50, ViT-B/16 und verschiedenen CLIP/SigLIP-Varianten unter Verwendung der Datensätze Broden und ImageNet-S durchgeführt.

Kausale Beschneidung: OCCAM induzierte konsistent stärkere Vertrauensreduktionen als die State-of-the-Art-Closed-Set-Methode CE-FAM. Beispielsweise erreichte OCCAM auf ResNet50 eine Average Drop Percentage (ADP) von 47,19 % im Vergleich zu 44,18 % bei CE-FAM sowie eine Maximum Drop Percentage (MDP) von 93,89 % gegenüber 84,14 %. Dies zeigt, dass OCCAM entscheidungskritischere Evidenz identifiziert.
Validität der Verankerung: Trotz Operation im Black-Box-Open-Set-Regime erzielte OCCAM konkurrierende Lokalisierungsscores (z. B. EPG von 0,65 auf ResNet50 für ImageNet-S) im Vergleich zu White-Box-Methoden und zeigt, dass objektbasierte interventionelle Verankerung räumlich ausgerichtete und semantisch sinnvolle Regionen erzeugt.
Ontologie-Schlussfolgerung: Bei globalen Erklärungs-Evaluationen erreichte die ontologiebasierte Schlussfolgerung die höchsten Scores (durchschnittlich 4,78/5) im Vergleich zu unstrukturierten Zusammenfassungen (4,31) und flachem JSON (4,23). Dies deutet darauf hin, dass die formale Strukturierung kausaler Evidenz die Kohärenz und Treue globaler Modellerklärungen erheblich verbessert.
Multimodale Robustheit: Bei Anwendung auf CLIP und SigLIP führte die progressive Entfernung der drei einflussreichsten Konzepte zu einem monotonen Abfall der Zero-Shot-Genauigkeit. Bemerkenswerterweise erwies sich SigLIP als robuster als CLIP-Varianten, was darauf hindeutet, dass seine Entscheidungen auf einer breiter verteilten Evidenz beruhen und nicht auf einer kleinen Menge hochwirksamer Regionen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass OCCAM einen Paradigmenwechsel in der Modellinterpretation darstellt, indem sie diese als strukturierte interventional Beschneidung neu definiert. Ihre primäre Bedeutung liegt in:

Überbrückung der Lücke: Sie adressiert erfolgreich das „Black-Box, Open-Set, Kausal"-Trilemma, ein Regime, in dem bestehende Methoden Schwierigkeiten haben.
Globale Einsicht: Durch die Überwindung der bildweisen Attribution bietet sie einen Mechanismus, um konsistente globale Erkenntnisse abzuleiten und systematische Modellverzerrungen durch eine emergente Ontologie aufzudecken.
Verhaltensbasiertes Wissen: Die induzierte Ontologie wird nicht extern auferlegt, sondern direkt aus gemessenen kausalen Effekten abgeleitet und bietet eine hinterfragbare Darstellung davon, wie Klassifikatoren visuelle Evidenz organisieren.
Einheitlicher Mechanismus: Sie demonstriert, dass Eingriffseingriffe auf Eingabeebene einen einheitlichen Erklärungsmechanismus bieten, der sowohl auf traditionelle Vision-Modelle als auch auf moderne multimodale Architekturen anwendbar ist, ohne Zugriff auf interne Repräsentationen zu erfordern.

Die Autoren schließen, dass diese Perspektive zukünftige Arbeiten zur induktion verhaltensbasierter Kenntnisse und zur strukturierten Schlussfolgerung für erklärbare KI fördert.