🤖 AI

Visual Credit Audit for Multimodal Spatial Reasoning

Dieses Paper führt Visual Credit Audit (VCA) ein, ein trainings- und labelfreies Framework, das die Leistung bei multimodaler räumlicher Argumentation in Korrektheit, visuellen Beleg und relationsspezifische Antwort zerlegt und aufzeigt, dass ein erheblicher Teil korrekter Benchmark-Antworten tatsächlich nicht durch den visuellen Beleg kreditiert wird.

Ursprüngliche Autoren: Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng

Veröffentlicht 2026-07-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie machen eine Prüfung, bei der ein Lehrer Ihnen das Bild einer Katze zeigt, die unter einem Fernseher sitzt, und Sie fragt: „Ist der Fernseher über der Katze?“ Sie antworten mit „Ja“ und bekommen einen goldenen Stern. Aber was wäre, wenn Sie diesen goldenen Stern nicht erhalten hätten, weil Sie sich das Bild tatsächlich angesehen haben, sondern weil Sie allein aufgrund der Wörter richtig geraten haben? Vielleicht haben Sie diese Phrase schon millionenfach gehört, oder Sie wissen einfach, dass Fernseher normalerweise an Wänden und Katzen auf dem Boden sind. In der Welt der Künstlichen Intelligenz, speziell bei „Multimodalen Large Language Models“ (KI, die sehen und lesen kann), ist dies ein kniffliges Problem. Diese Modelle sind wie superintelligente Schüler, die jedes Buch in der Bibliothek gelesen haben, aber manchmal schummeln sie, indem sie die Antwort aus der Formulierung der Frage erraten, anstatt das Bild tatsächlich zu analysieren. Wissenschaftler wollen wissen: Wenn die KI „Ja“ sagt, sieht sie dann wirklich den Fernseher über der Katze oder ist es nur ein glücklicher Tipp basierend auf dem Text?

Genau dieses Rätsel wird in einem neuen Paper mit dem Titel „Visual Credit Assignment for Multimodal Spatial Reasoning“ angegangen. Die Forscher entwickelten ein spezielles Audit-Werkzeug namens Visual Credit Audit (VCA). Betrachten Sie VCA als einen strengen Detektiv, der nicht nur prüft, ob die Antwort richtig ist, sondern untersucht, warum sie richtig war. Sie stellen zwei Hauptfragen: Erstens, hat das Bild der KI tatsächlich zusätzliche Hilfe gegeben, um diese Entscheidung zu treffen, im Vergleich zum reinen Lesen des Textes? Zweitens, wenn man die Beziehung im Bild vertauscht hätte (wie etwa die Katze über dem Fernseher zu platzieren), würde die KI ihre Meinung ändern? Das Paper stellt fest, dass selbst wenn die KI die richtige Antwort gibt, sie oft „schummelt“, indem sie sich auf Texthinweise verlässt, anstatt auf visuelle Beweise. Tatsächlich waren bei einigen Modellen bis zu 26,25 % ihrer korrekten Antworten in räumlichen Tests tatsächlich unkreditiert – sie hatten die richtige Antwort, aber das Bild half ihnen dabei überhaupt nicht.

Das Werkzeugkasten des Detektivs: Wie VCA funktioniert

Um zu verstehen, wie die Forscher diese „Schummler“ überführt haben, stellen Sie sich ein Spiel wie „Finde den Unterschied“ vor, das mit einem sehr eigensinnigen Roboter gespielt wird.

Das Setup: Die „Kein-Bild“-Kontrollgruppen
Die Forscher gestalteten ein kluges Experiment. Sie nahmen eine Frage wie „Ist der Fernseher über der Katze?“ und zeigten sie der KI auf drei verschiedene Arten:

Das Original: Die Frage plus das echte Bild.
Nur Text: Die Frage ohne Bild (nur ein leerer Raum).
Die leere Leinwand: Die Frage mit einem grauen, leeren Kasten, wo sich das Bild befinden sollte.

Wenn die KI in allen drei Szenarien mit der gleichen Zuversicht mit „Ja“ antwortet, sagen die Forscher: „Aha! Das Bild hat keine Arbeit geleistet.“ Die KI rät nur basierend auf dem Text. Aber wenn die KI viel sicherer ist, wenn das Bild vorhanden ist, dann bekommt das Bild „Credit“ (Anrechnung) für die Antwort. Dies ist der erste Teil des Audits: Bildabhängigkeit (Image Dependence).

Der Twist: Die „Beziehungsumkehrung“
Aber warten Sie, da ist noch eine zweite Falle. Was, wenn die KI zwar sensibel auf das Bild reagiert, aber auf eine seltsame Weise? Vielleicht sieht sie den Fernseher und die Katze, aber sie versteht nicht wirklich, welches Objekt oben ist. Um dies zu entlarven, verwendeten die Forscher einen „faktoriellen“ Test. Sie erstellten Szenarien, in denen der Text sagte „Ist der Fernseher über der Katze?“, aber das Bild zeigte den Fernseher unter der Katze.

Wenn die KI wirklich intelligent ist, sollte sie „Nein“ sagen, wenn das Bild dem Text widerspricht. Wenn sie dennoch „Ja“ sagt, weil sie das Bild ignoriert, fällt sie durch den zweiten Test: Beziehungskonsistenz (Relation Consistency).

Die große Enthüllung: „Richtig, aber unkreditiert“

Die Forscher führten dieses Audit bei vier verschiedenen KI-Modellen (Qwen, InternVL, LLaVA und Ministral) unter Verwendung von zwei verschiedenen Benchmarks für räumliches Denken durch. Die Ergebnisse waren augenöffnend.

Sie fanden heraus, dass ein erheblicher Teil der „korrekten“ Antworten der KI tatsächlich Richtig-aber-Unkreditiert (Correct-but-Uncredited, C-U) war.

Beim GSR-COCO-Datensatz lieferte das Qwen-Modell 90,91 % der richtigen Antworten. Doch als sie das Audit anwandten, wurden nur 78,18 % dieser Antworten tatsächlich durch das Bild gestützt. Das bedeutet, dass das Modell in 12,73 % der Fälle die richtige Antwort gab, das Bild ihr aber überhaupt nicht geholfen hat.
Für das LLaVA-Modell auf demselben Datensatz war die Lücke sogar noch größer: 26,25 % seiner korrekten Antworten waren unkreditiert.

Das Paper schließt explizit die Idee aus, dass diese Modelle einfach nur „schlecht“ im räumlichen Denken sind. Tatsächlich sind die Modelle durchaus sensibel gegenüber visuellen Veränderungen. Als die Forscher die Positionen der Objekte in den Bildern vertauschten (eine „Beziehungsumkehrung“), änderten 81,57 % bis 100,00 % der Modelle ihre Antworten in die richtige Richtung. Dies beweist, dass die Modelle den Unterschied sehen können, aber im Standardtest mussten sie oft gar nicht hinsehen, um die richtige Antwort zu geben. Sie verließen sich auf Abkürzungen.

Warum das wichtig ist (ohne Fachjargon)

Denken Sie an einen Schüler, der eine Mathearbeit schreibt.

Genauigkeit (Accuracy) ist einfach nur die Note: „Hat er die richtige Zahl angegeben?“
VCA ist der Lehrer, der auf das Schmierblatt des Schülers schaut: „Hat er die Rechnung tatsächlich durchgeführt oder hat er nur die Antwort geraten, weil er weiß, dass der Lehrer gerne die Zahl 42 hört?“

Das Paper zeigt, dass aktuelle KI-Benchmarks wie ein Test sind, bei dem der Lehrer die Antworten versehentlich in der Fragestellung verrät. Die Modelle erzielen hohe Punktzahlen, aber sie lernen nicht unbedingt, besser zu „sehen“.

Die Forscher testeten auch, was passiert, wenn man das Bild durch ein völlig anderes, unzusammenhängendes Bild ersetzt (wie etwa das Foto von Katze/Fernseher durch ein Foto eines Strandes zu ersetzen). Als sie dies taten, sank der „Credit“-Wert der Modelle um 21,25 bis 47,80 Punkte. Dies bestätigt, dass das ursprüngliche Bild tatsächlich die Hauptarbeit für diese spezifischen korrekten Antworten geleistet hat, und ohne es wären die Modelle gestolpert.

Das Fazit

Das Paper sagt nicht, dass die KI kaputt ist oder dass sie nicht sehen kann. Stattdessen bietet es eine neue Art, Erfolg zu messen. Es schlägt vor, dass wir nicht nur zählen sollten, wie oft eine KI die richtige Antwort gibt. Wir müssen zählen, wie oft die KI das Bild benötigt hat, um diese Antwort zu geben.

Indem die Forscher zwischen „Korrektheit“ und „visueller Unterstützung“ unterschieden, fanden sie heraus, dass vieles von dem, was wir für „kluges Sehen“ halten, eigentlich nur „kluges Raten“ ist. Sie schlagen vor, dass zukünftige Tests für KI diese „Credit-Audits“ enthalten sollten, um sicherzustellen, dass wenn eine KI sagt „Ich sehe die Katze“, sie damit wirklich meint, dass sie die Katze ansieht, und nicht nur einen Satz rezitiert, den sie auswendig gelernt hat. Es ist ein Aufruf, aufzuhören, nur die Note zu feiern, und stattdessen die Hausaufgaben zu kontrollieren.

Technisches Resümee: Visuelle Kreditzuweisung für multimodale räumliche Argumentation

Problemstellung

Multimodale Large Language Models (MLLMs) werden zunehmend auf Benchmarks für räumliche Argumentation (z. B. VSR, GSR-COCO) mittels geschlossener Ja/Nein-Fragen evaluiert. Standardmäßige Genauigkeitsmetriken vermengen jedoch zwei unterschiedliche Phänomene: die korrekte Antwort aufgrund echter visueller Evidenz gegenüber der korrekten Antwort aufgrund starker Text-Priors, Datensatz-Biases oder Instruktions-Folge-Gewohnheiten. Ein Modell kann auf die Frage „Ist der Fernseher über der Katze?“ korrekt mit „Ja“ antworten, obwohl das Bild nicht mehr Unterstützung für diese Entscheidung liefert als ein rein textbasierter Prompt oder ein leeres Bild. Bestehende Debiasing- und Kontrafaktik-Methoden konzentrieren sich oft darauf, Sprach-Priors zu reduzieren oder die allgemeine Genauigkeit zu verbessern, untersuchen aber nicht explizit, ob eine spezifische, feste räumliche Entscheidung inkrementelle Unterstützung durch das Bild erhält im Vergleich zu Null-Bild-Kontrollen, während gleichzeitig die Relationskonsistenz gewahrt bleibt.

Methodik: Visual Credit Audit (VCA)

Das Paper schlägt den Visual Credit Audit (VCA) vor, ein trainingsfreies Audit-Framework auf Entscheidungsebene, das den Erfolg eines Benchmarks in drei Komponenten unterteilt: Korrektheit, zusätzliche visuelle Unterstützung und relationskonsistente Antwort. VCA operiert auf einer festen binären Schnittstelle (z. B. Ja/Nein) und friert das MLLM ein, indem es die Log-Likelihood-Margen unter gematchten Kontexten analysiert.

Zwei-Achsen-Audit-Framework

VCA identifiziert zwei distinkte Estimanden:

Relative Bildabhängigkeit (Support-Achse):
- Ziel: Festzustellen, ob das Originalbild mehr Unterstützung für die deklarierte Entscheidung des Modells bietet als text-only ( $t$ ) oder leere ( $b$ ) Kontrollen.
- Metrik: Die VCA-Abhängigkeitslücke ( $G^{\text{img}}_i$ ) ist definiert als die Differenz zwischen der vorhersage-ausgerichteten Unterstützung des Originalbildes ( $r_{i,o}$ ) und der maximalen Unterstützung der Null-Bild-Kontrollen ( $\max(r_{i,t}, r_{i,b})$ ).
- Definition: Eine Entscheidung wird „gutgeschrieben“ ( $D_i=1$ ), wenn $G^{\text{img}}_i > 0$ . Entscheidend ist hierbei, dass die Null-Bild-Kontrollen nicht die entgegengesetzte Antwort bevorzugen müssen, sondern lediglich, dass das Bild mehr Unterstützung bietet als die Kontrollen.
- Dekomposition: Dies führt zu einer Vier-Zellen-Dekomposition der Genauigkeit:
  - D-CC (Dependence-Credited Correct): Korrekte Entscheidungen mit dem Vorteil der Bildunterstützung.
  - C-U (Correct-but-Uncredited): Korrekte Entscheidungen, bei denen das Bild keinen Vorteil gegenüber Text-/Leer-Kontrollen bietet.
  - Support-Advantaged Errors: Falsche Entscheidungen, bei denen das Bild tatsächlich eine stärkere Unterstützung bot als die Kontrollen (eine Kategorie, die in Gold-only-Metriken oft verborgen bleibt).
  - Uncredited Errors: Feste Entscheidungen ohne Vorteil durch Bildunterstützung.
Relationskonsistenz (Interaktions-Achse):
- Ziel: Zu bestimmen, ob das Modell die wahre räumliche Relation gegenüber falschen Alternativen auf fixen Pixeln unterscheidet.
- Metrik: Der Semantic Relation Contrast (SRC) vergleicht die Margin der wahren Relationsabfrage ( $q_{r+}$ ) gegen die maximale Margin der falschen Alternativen ( $q_{r-}$ ).
- PairCredit: Misst, ob die bildspezifische Separation ( $G_{\text{int}}$ ) die Separation in den Null-Bild-Kontrollen übersteigt.
- Joint: Eine Konjunktion, die sowohl absolute Relationskonsistenz als auch gepaarte Abhängigkeit erfordert.

Diagnostische Interventionen

Um diese Estimanden zu validieren und die Einschränkungen von Null-Kontrollen (die keine Reaktion auf Relationsumkehrungen identifizieren können) zu adressen, verwendet die Arbeit:

Matched Image Permutation: Ersetzung des Originalbildes durch ein deterministisches, unbezogenes Bild desselben Splits, um den D-CC-Wert zu kalibrieren.
Controlled Evidence-Source Factorial: Ein $3 \times 3$ -Design, das die visuelle Evidenz (relationsunterstützend, relationsentgegengesetzt, neutral) und die textuelle Evidenz (unterstützend, entgegengesetzt, neutral) variiert, um zu isolieren, ob unkreditierte Entscheidungen noch auf visuelle Relationsänderungen reagieren.
Human-Audited Edits: Ein Satz von 108 geometrie-kompatiblen natürlichen Bild-Edits, um die Korrespondenz zwischen kontrollierten Interventionen und natürlichen Bildänderungen zu verifizieren.

Kernbeiträge

Label-freier Audit auf Entscheidungsebene: Einführung einer Methode, die Credit für deklarierte Entscheidungen zuweist, ohne für den Audit selbst auf Ground-Truth-Labels angewiesen zu sein. Dies stellt den Gold-aligned Gain bei korrekten Items wieder her und behält dabei einzigartig die „support-advantaged errors“ bei, was eine vollständige Dekomposition der Genauigkeit ermöglicht.
Trennung von marginaler Unterstützung und Relationsreaktion: Es wurde etabliert, dass Null-Kontrollen (Text/Leer) nicht identifizieren können, ob ein Modell auf Relationsumkehrungen reagiert. Das Paper zeigt, dass eine Entscheidung zwar „unkreditiert“ sein kann (kein marginaler Bildvorteil), aber dennoch „relationsresponsiv“ ist (sich korrekt verändert, wenn die visuelle Relation umgekehrt wird).
Umfassende empirische Analyse: Anwendung von VCA auf vier offene MLLMs (Qwen, InternVL, LLaVA, Ministral) und zwei Benchmarks (VSR, GSR-COCO) unter Verwendung von 1.800 faktoriellen Inputs pro Modell und 108 unabhängigen Edit-Audits.

Ergebnisse

Prävalenz unkreditierter Korrektheit: Über Modelle und Datensätze hinweg sind 12,73 % bis 26,25 % der korrekten Entscheidungen „unkreditiert“ (C-U), was bedeutet, dass das Bild keinen zusätzlichen Support gegenüber Text-only oder Leer-Kontrollen bot.
Bildspezifität: Die Matched Image Permutation reduziert D-CC über alle Durchläufe hinweg um 21,25 bis 47,80 Punkte, mit 95 % Konfidenzintervallen, die strikt über Null liegen. Dies bestätigt, dass der Vorteil des Originalbildes spezifisch für dessen Inhalt ist, nicht nur für die bloße Präsenz eines Bildes.
Relationsresponsivität in unkreditierten Fällen: Unter den korrekt-aber-unkreditierten Entscheidungen reagieren 81,57 % bis 100,00 % der Modelle im faktoriellen Setup korrekt auf Relationsumkehrungen. Zudem kippen 32,11 % dieser unkreditierten Entscheidungen tatsächlich ihre binäre Antwort, wenn die Relation umgekehrt wird, was beweist, dass sie nicht rein textgetrieben sind.
Natürliche Korrespondenz: Bei menschlich auditierten natürlichen Bild-Edits kippen 25,00 % der quellkorrekten, aber unkreditierten Entscheidungen erfolgreich mit der Sichtbarkeit, was bestätigt, dass responsive unkreditierte Fälle in natürlichen Bildern existieren und nicht nur in prozeduralen Renderings.
Dekomposition: Das Framework zeigt, dass die aggregierte Genauigkeit signifikante Varianzen in der Art und Weise maskiert, wie Modelle visuelle Evidenz nutzen. Beispielsweise erreicht Qwen auf GSR-COCO eine Genauigkeit von 90,91 %, aber nur 78,18 % der Beispiele sind sowohl korrekt als auch bildgestützt.

Bedeutung und Ansprüche

Das Paper behauptet, dass VCA eine notwendige Dekomposition des Benchmark-Erfolgs bietet, die die reine Genauigkeit allein nicht leisten kann.

Jenseits der Genauigkeit: Es argumenttiert, dass „Korrektheit“ und „visuelle Unterstützung“ distinkte Dimensionen sind. Ein Modell kann korrekt sein, aber auf Priors zurückgreifen (C-U), oder inkorrekt sein, aber visuelle Evidenz korrekt nutzen (support-advantaged errors).
Methodische Stringenz: Durch die Trennung des Estimands der „marginalen Unterstützung“ vom Estimand der „Relationsresponsivität“ vermeidet VCA die Konfundierung, die in bestehenden Null-Kontroll-Methoden vorkommt. Es demonstriert, dass Null-Kontrollen unzureichend sind, um relationsspezifische visuelle Reaktionen zu identifizieren.
Praktischer Nutzen: VCA dient als Post-hoc-Begleiter zur Genauigkeit und bietet einen „geschichteten Bericht“, der hilft zu diagnostizieren, ob Verbesserungen in der räumlichen Argumentation aus genuiner visueller Evidenz oder stärkeren Antwort-Priors resultieren. Es beansprucht nicht, die Genauigkeit zu ersetzen, sondern deren Interpretation im Kontext von Benchmarks zu verfeinern.
Limitierungen: Die Autoren merken bescheiden an, dass VCA die relative Unterstützung unter vordefinierten Kontrollen misst, nicht aber interne kausale Pfade oder Pixel-Attribution. Es ist für feste Forced-Choice-Schnittstellen konzipiert und adressiert nicht direkt unbeschränkte, offene Generierung.