🤖 AI

Revealing the Gap in Human and VLM Scene Perception through Counterfactual Semantic Saliency

Dieser Beitrag stellt Counterfactual Semantic Saliency (CSS) vor, ein Black-Box-Framework, das eine signifikante Lücke zwischen der menschlichen und der VLM-Szenenwahrnehmung aufdeckt und zeigt, dass Modelle im Vergleich zu psychophysikalischen menschlichen Baselines übermäßig auf Objektgröße, Zentrizität und Salienz vertrauen, während sie Personen untergewichten.

Ursprüngliche Autoren: Ziqi Wen, Parsa Madinei, Miguel P. Eckstein

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziqi Wen, Parsa Madinei, Miguel P. Eckstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie und ein sehr fortschrittlicher Roboter betrachten gemeinsam ein komplexes Foto einer belebten Straße. Beide beschreiben, was passiert. Doch hier liegt der Haken: Obwohl Sie beide die „Kernaussage" der Szene verstehen, achten Sie auf völlig unterschiedliche Dinge.

Dieser Artikel ist wie ein Krimi, der versucht herauszufinden, warum Menschen und KI die Welt unterschiedlich sehen, und zwar mit einem neuen Werkzeug namens Counterfactual Semantic Saliency (CSS) (Gegenfaktische Semantische Salienz).

Hier ist die Aufschlüsselung ihrer Ermittlungen in einfachen Worten:

1. Das Problem: Das „Black-Box"-Mysterium

Lange Zeit versuchten Wissenschaftler zu verstehen, wie KI denkt, indem sie in ihr „Gehirn" (den Code) blickten. Doch moderne KI-Modelle sind wie riesige, verschlossene Blackboxen; wir können nicht hineinschauen, um zu sehen, was sie denken. Außerdem sagen einfache Tests, die nur fragen „Ist das eine Katze?", nicht aus, wie die KI entschieden hat, dass es eine Katze ist.

2. Das neue Werkzeug: Das „Was-wäre-wenn?"-Spiel

Die Forscher haben ein Spiel namens Counterfactual Semantic Saliency erfunden. Stellen Sie es sich wie das Spielen mit einem Satz „Was-wäre-wenn?"-Karten vor.

Das Setup: Sie zeigen der KI ein Foto eines Docks mit einem weißen Vogel und etwas Angelzubehör.
Der magische Radiergummi: Mithilfe hochentwickelter KI „radieren" sie den Vogel digital aus dem Foto heraus und füllen den Hintergrund so perfekt aus, dass es aussieht, als wäre der Vogel nie da gewesen.
Der Test: Sie bitten die KI, das neue Foto (ohne den Vogel) zu beschreiben.
Die Messung: Sie vergleichen die Beschreibung des Originalfotos mit der Beschreibung des „radierten" Fotos.
- Wenn sich die Beschreibung der KI drastisch ändert (z. B. von „Ein Vogel fischt" zu „Jemand fischt"), bedeutet das, dass die KI den Vogel für extrem wichtig hielt.
- Wenn sich die Beschreibung kaum ändert (z. B. steht immer noch „Ein Vogel fischt", obwohl der Vogel weg ist), dann halluziniert die KI oder ignoriert die Tatsache, dass der Vogel fehlt.

Indem sie dies für jedes Objekt im Foto tun, erstellen sie eine „Wärmekarte" dessen, was der KI am wichtigsten erscheint.

3. Die große Entdeckung: Die „Größen"-Besessenheit

Sie führten diesen Test mit 19 verschiedenen KI-Modellen durch und verglichen die Ergebnisse mit 227 echten Menschen. Die Ergebnisse waren schockierend:

Menschen sind wie Detektive. Wir suchen nach der Geschichte. Wenn sich eine Person auf dem Foto befindet, konzentrieren wir uns auf sie, weil Menschen normalerweise die Hauptfiguren sind. Wir ignorieren große, leere Wände oder riesige Felsen, wenn sie nichts Interessantes tun.
KI ist wie ein riesiger, gieriger Magnet. Sie ist besessen von Größe und Position.
- Die Größenverzerrung: Wenn ein Objekt riesig ist, hält die KI es für das Wichtigste, auch wenn es nur ein großer Felsen im Hintergrund ist.
- Die Zentrumsverzerrung: Wenn sich ein Objekt in der Mitte des Bildes befindet, hält die KI es für den Star der Show.
- Die „Menschen"-Blindheit: Menschen konzentrieren sich natürlich auf Menschen. Die KI ignoriert überraschenderweise oft Menschen, wenn sie klein sind oder nicht in der Mitte stehen, und konzentriert sich stattdessen auf große, helle oder zentrale Objekte.

Die Analogie: Stellen Sie sich ein Foto einer winzigen Ameise auf einem riesigen, bunten Strandball vor.

Sie würden sagen: „Schau, da ist eine Ameise!", weil die Ameise der interessante Teil der Geschichte ist.
Die KI würde sagen: „Das ist ein riesiger Strandball", weil der Ball 90 % der Pixel einnimmt. Die KI ist so auf das „größte Ding" fokussiert, dass sie den eigentlichen Punkt des Bildes verpasst.

4. Warum das wichtig ist (laut dem Artikel)

Der Artikel kommt zu dem Schluss, dass der Hauptgrund, warum sich KI und Menschen nicht einig sind, was in einem Bild wichtig ist, diese Größenverzerrung ist. Die KI hat gelernt, dass „Groß = Wichtig" ist, weil sie auf Millionen von Fotos trainiert wurde, bei denen das Hauptthema meist groß und zentral positioniert war.

Die Forscher stellten auch fest, dass die ausgefeilten „Aufmerksamkeitskarten" (die übliche Methode, um zu sehen, wohin die KI schaut) oft irreführend sind. Sie sind wie ein verschwommener, verwirrender Kritzelschriftzug, der nicht mit dem übereinstimmt, was die KI tatsächlich sagt. Das „Was-wäre-wenn?"-Spiel (CSS) ist der einzige Weg, um eine klare Antwort zu erhalten.

Zusammenfassung

Der Artikel enthüllt, dass die KI, obwohl sie immer besser darin wird, Bilder zu beschreiben, die Welt immer noch durch eine verzerrte Linse betrachtet. Sie sieht die größten und zentral gelegenen Dinge als die wichtigsten an, während Menschen die bedeutsamsten Dinge (wie Menschen) sehen. Solange die KI nicht lernt, „Bedeutung" über „Größe" zu stellen, wird sie weiterhin den Wald vor lauter Bäumen nicht sehen – oder in diesem Fall die winzige Ameise auf dem riesigen Strandball verpassen.

Technische Zusammenfassung: Aufdeckung der Lücke in der menschlichen und VLM-Szenenwahrnehmung durch kontrafaktische semantische Salienz

Problemstellung

Die Bewertung, ob große Vision-Language-Modelle (VLMs) mit der menschlichen Wahrnehmung in der hochrangigen semantischen Szenenverständnis übereinstimmen, bleibt eine erhebliche Herausforderung. Während tiefe neuronale Netze (DNNs) auf Benchmark-Aufgaben oft eine vergleichbare Genauigkeit wie Menschen erreichen, verlassen sie sich häufig auf unterschiedliche Wahrnehmungsstrategien, wie etwa eine übermäßige Abhängigkeit von lokalen Texturen, subtilen Pixelmustern oder räumlichen Beziehungen, die nicht mit der ganzheitlichen menschlichen Wahrnehmung übereinstimmen. Traditionelle „White-Box"-Interpretierbarkeitsmethoden (z. B. gradientenbasierte oder Aufmerksamkeitskarten) sind oft auf geschlossene Architekturen nicht anwendbar und scheitern daran, kausale Merkmale zu isolieren. Darüber hinaus können passive Metriken zwischen Korrelation und Kausalität im Szenenverständnis nicht unterscheiden. Es besteht ein kritischer Bedarf an einem Black-Box-, modellagnostischen Framework, um die Bedeutung von Objekten systematisch zu quantifizieren und den kausalen Einfluss visueller Elemente auf Szenenbeschreibungen zu messen.

Methodik: Kontrafaktische semantische Salienz (CSS)

Die Autoren schlagen Kontrafaktische semantische Salienz (CSS) vor, ein Black-Box-, modellagnostisches Framework, das entwickelt wurde, um die Bedeutung von Objekten in der Szenenwahrnehmung zu quantifizieren, indem die durch ihre kausale Ablation verursachte semantische Verschiebung gemessen wird.

1. Generierung kontrafaktischer Stimuli

Der CSS-Pipeline umfasst drei Stufen zur Generierung hochfider kontrafaktischer Bilder:

Generierung einer Objektliste: Ein großes VLM (GPT-4o) generiert eine Liste von Objektnamen für eine gegebene Szene und schließt explizit Hintergrundelemente (z. B. Himmel, Meer) aus, um unverhältnismäßige semantische Verschiebungen oder Halluzinationen zu vermeiden.
Segmentierung und Masken-Vorverarbeitung: Das SOTA-Text-getriebene Segmentierungsmodell SAM3 generiert Segmentierungsmasken. Eine vierstufige Vorverarbeitungspipeline stellt die Maskenqualität sicher: Entfernen von Duplikaten (IoU > 95 %), Zusammenführen räumlich benachbarter Masken mit identischen Labels (Abstand < 30 Pixel), um strukturelle Cluster als einheitliche Entitäten zu behandeln, Verwerfen von Masken, die mehr als 30 % der Bildfläche einnehmen, um einen Kontextkollaps zu verhindern, und Anwenden einer Dilatation für eine vollständige Abdeckung.
Bild-Inpainting: Das state-of-the-art generative Modell Nano Banana 2 wird verwendet, um die Zielobjekte zu entfernen und artefaktfreie kontrafaktische Bilder zu generieren. Eine strenge menschliche Validierung (14 Annotatoren) stellt sicher, dass die Zielobjekte erfolgreich ablatiert werden, ohne konfundierende Artefakte einzuführen.

2. Messung der semantischen Verschiebung

Für jedes Objekt $o$ in einer Szene $I$ wird der CSS-Wert berechnet, indem die semantischen Darstellungen der ursprünglichen Beschreibung und der Beschreibung des kontrafaktischen Bildes verglichen werden, bei dem $o$ entfernt wurde ( $I_{do(o=\emptyset)}$ ).

Generierung von Beschreibungen: Das Ziel-VLM generiert $N=5$ unabhängige Beschreibungen sowohl für die faktischen als auch für die kontrafaktischen Bedingungen.
Embedding und Ähnlichkeit: Satz-Embeddings werden mit dem Open-Source-Modell Jasper extrahiert. Der CSS-Wert ist definiert als eins minus die mittlere paarweise Kosinus-Ähnlichkeit zwischen den faktischen und kontrafaktischen Beschreibungssätzen:
$CSS(o) = 1 - \frac{1}{N^2} \sum_{j=1}^{N} \sum_{k=1}^{N} \frac{E(d_j) \cdot E(d'_k)}{\|E(d_j)\| \|E(d'_k)\|}$
Interpretation: Ein höherer CSS-Wert zeigt eine größere semantische Verschiebung an, was impliziert, dass das ablatierte Objekt für das Verständnis der Szene kritischer war. Diese Werte werden auf Segmentierungsmasken abgebildet, um eine Top-Down-Salienz-Karte zu erstellen.

3. Menschliche Baseline und Datensatz

Um eine menschliche Baseline zu etablieren, nutzten die Autoren den OSIE-Datensatz (700 komplexe natürliche Szenen). Sie filterten Szenen, die 3–6 Zielobjekte enthielten, was zu 307 faktischen Szenen und 1.306 kontrafaktischen Varianten führte.

Psychophysik-Studie: Eine groß angelegte Studie wurde mit 227 unabhängigen Teilnehmern über Prolific durchgeführt, wobei 16.289 gültige Textbeschreibungen gesammelt wurden.
Experimentelles Design: Ein Between-Subjects-Design stellte sicher, dass kein Teilnehmer mehrere Varianten derselben Szene sah. Die Teilnehmer wurden angewiesen, eine einzeilige Beschreibung der Szene zu liefern, was dem für VLMs verwendeten Prompt entsprach.
Ground Truth: Der menschliche Konsens wurde durch Berechnung der mittleren paarweisen Ähnlichkeit einer festen Teilmenge menschlicher Antworten etabliert, um als „Ground Truth" für die Bewertung der Modell-Alignment zu dienen.

Hauptergebnisse

1. Durchgängige Wahrnehmungslücke

Eine strenge statistische Analyse zeigt eine systematische Divergenz zwischen menschlicher Kognition und VLM-Leistung:

Top-1-Genauigkeit: Während die menschlich-menschliche Konsistenz bei der Identifizierung des kritischsten Objekts 73 % erreichte, blieben alle 19 bewerteten VLMs (einschließlich Open-Source- und Closed-Source-Modelle wie GPT-5, Claude und Gemini) deutlich zurück und lagen zwischen 57 % und 65 %.
Rangkorrelation: Die mittlere Kendall's $\tau$ (ordinale Ausrichtung der Objektbedeutung) für den menschlichen Konsens betrug 0,58, während die Modellwerte zwischen 0,37 und 0,51 lagen.
Universelles Versagen: Jedes bewertete VLM versagte darin, menschlich-menschliche Konsistenzniveaus bei der Vorhersage des kritischsten Objekts oder der Rangfolge der gesamten Objektbedeutung zu erreichen.

2. Divergenz in Wahrnehmungsbiases

Die Studie identifizierte spezifische Biases, die diese Lücke antreiben:

Übermäßige Abhängigkeit von Low-Level-Attributen: Modelle zeigen eine signifikant stärkere Größen-Bias (Abhängigkeit von der Objektfläche), Zentral-Bias (Abhängigkeit vom Bildzentrum) und Low-Level-Salienz-Bias (Abhängigkeit von Kontrast/Farbe) im Vergleich zu Menschen.
Unternutzung von Top-Down-Priors: Im Gegensatz zu Menschen, die bei der Szeneninterpretation konsistent Menschen priorisieren (Person-Bias), scheitern Modelle daran, diese Priorisierung zu replizieren und verlassen sich weniger auf menschliche Figuren, um Bilder zu beschreiben.
Haupttreiber: Die statistische Analyse isoliert die Größen-Bias als den dominierenden Faktor, der die semantische Divergenz erklärt. Die Korrelation zwischen der Divergenz in der Größen-Bias ( $\Delta r$ ) und der Lücke in der Top-1-Genauigkeit ( $\Delta Acc$ ) beträgt 0,6130 ( $p < 0,05$ ), was signifikant höher ist als bei anderen Biases.

3. Grenzen von White-Box-Methoden

Der Papier vergleicht CSS mit traditionellen White-Box-Interpretierbarkeitsmethoden (Raw Attention, Grad-CAM, AGCAM) an einem Open-Source-VLM. Die Ergebnisse zeigen eine bemerkenswert niedrige Korrelation (negative Kendall's $\tau$ ) zwischen diesen passiven Aufmerksamkeitskarten und der kausalen CSS-Metrik. White-Box-Karten waren oft überladen, spärlich oder konzentrierten sich auf semantisch irrelevante Regionen, was ihre Unzulänglichkeit für die Interpretation komplexer VLM-Architekturen bestätigt.

Bedeutung und Behauptungen

Das Papier behauptet, die erste systematische Quantifizierung der semantischen Alignment-Lücke zwischen modernen VLMs und menschlichen Beobachtern im Kontext der natürlichen Szenenwahrnehmung zu liefern.

Methodischer Beitrag: Es führt CSS als ein neues Black-Box-Framework ein, das die Grenzen von White-Box-Interpretierbarkeit und passiven Metriken überwindet und die Isolierung kausaler Merkmale in geschlossenen Modellen ermöglicht.
Empirischer Beitrag: Es etabliert einen umfassenden Benchmark-Datensatz, der 16.289 menschliche Antworten über 307 Szenen und 1.306 kontrafaktische Varianten umfasst und eine robuste Baseline für zukünftige KI-Mensch-Alignment-Forschung bietet.
Theoretische Einsicht: Die Arbeit zeigt, dass moderne VLMs trotz Skalierung von Parametern und Trainingsdaten immer noch auf übertriebene, low-level visuelle Merkmale (insbesondere Größen-Bias) zurückgreifen, anstatt auf Top-Down-semantische Priors (wie das Vorhandensein von Menschen). Dies legt nahe, dass „übermenschliche" reasoning-Fähigkeiten in VLMs die Lücke in der fundamentalen Wahrnehmungs-Alignment nicht notwendigerweise überbrücken und die Diskrepanzen durch übermäßige Inferenz oder Halluzinationen manchmal sogar verschärfen können.
Sicherheitsimplikationen: Die Autoren weisen darauf hin, dass die Identifizierung dieser Biases für die KI-Sicherheit entscheidend ist, insbesondere in hochriskanten Umgebungen (z. B. autonomes Fahren), wo das Ignorieren kleiner, aber semantisch kritischer Objekte zugunsten großer Hintergrundelemente katastrophale Folgen haben könnte.

Das Papier schließt, dass VLMs zwar in isolierten Aufgaben eine emergente Alignment zeigen, eine durchgängige Lücke im ganzheitlichen Szenenverständnis jedoch bestehen bleibt, die primär durch eine unnatürliche Abhängigkeit von räumlicher Dominanz (Größen-Bias) getrieben wird.