💻 computer science

How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

Dieses Paper führt ein operationszentriertes mechanistisches Framework ein, um das Versagen von Vision-Language-Modellen bei kompositorischem VQA zu analysieren, wobei vier distinkte Fehlermodi aufgezeigt und nachgewiesen wird, dass diese durch spezifische, dissoziierte Rechenpfade propagieren, wodurch eine Grundlage für gezielte Zuverlässigkeitsverbesserungen geschaffen wird.

Ursprüngliche Autoren: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Veröffentlicht 2026-07-20

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der Detektiv, die Landkarte und das fehlerhafte Gehirn

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Detektiv zu sein. Sie geben ihm das Bild eines unordentlichen Zimmers und eine Frage wie: „Sitzt die rote Katze auf dem blauen Stuhl?“ Um dies zu beantworten, kann der Roboter nicht einfach raten; er muss eine Reihe von gedanklichen Schritten durchführen. Zuerst muss er die Katze finden (Objektauswahl). Dann muss er prüfen, ob die Katze rot ist (Attributverifizierung). Schließlich muss er sich den Stuhl ansehen und die räumliche Beziehung zwischen ihnen analysieren (Schlussfolgerung/Reasoning). Dieses Forschungsfeld wird Vision-Language Modeling genannt, bei dem Computer versuchen, sowohl Bilder als auch Texte gleichzeitig zu verstehen.

Lange Zeit wurden diese Roboter insgesamt sehr gut darin, Fragen zu beantworten. Aber es gab einen Haken: Manchmal haben sie „geschummelt“. Anstatt tatsächlich auf das Bild zu schauen, haben sie die Antwort vielleicht einfach basierend darauf erraten, wie Wörter in der menschlichen Sprache üblicherweise zusammenhängen. Wenn zum Beispiel gefragt wird: „Ist der Himmel normalerweise blau?“, sagt der Roboter vielleicht „ja“, ohne überhaupt auf das Bild zu schauen. Wissenschaftler wollten wissen: Wenn diese Roboter Fehler machen, warum scheitern sie? Liegt es daran, dass sie das Objekt nicht sehen können? Liegt es daran, dass sie die Beziehung nicht verstehen können? Oder ignorieren sie das Bild einfach komplett? Das Verständnis dessen ist entscheidend, denn wenn wir wollen, dass diese Roboter zuverlässige Helfer in der realen Welt sind, müssen wir genau wissen, welcher Teil ihres Gehirns gerade eine Fehlfunktion hat, damit wir ihn reparieren können.

Die operationszentrierte Autopsie

In dieser Arbeit entschieden sich die Forscher dazu, nicht mehr nur auf die Endpunktzahl zu schauen, sondern eine „mechanistische Autopsie“ am Gehirn des Roboters durchzuführen. Sie verwendeten einen speziellen Datensatz namens GQA, der Fragen enthält, die eine Verkettung mehrerer Schritte erfordern, ähnlich wie ein Rezept. Sie konzentrierten sich auf ein Modell namens Qwen2.5-VL-3B, ein großes Sprachmodell mit einer visuellen Komponente. Anstatt nur zu fragen: „Hat er es richtig gemacht?“, fragten sie: „Wie kam er dahin und an welcher Stelle unterbrach das Signal?“

Sie entwickelten eine clevere Methode, um die interne Verdrahtung des Roboters zu testen. Stellen Sie sich das Gehirn des Roboters wie eine Fabrik mit zwei Hauptmontagelinien vor: Die eine ist die Attention-Linie (Aufmerksamkeitslinie), in der die „Augen“ des Roboters das Bild scannen und entscheiden, auf welche Teile sie sich konzentrieren sollen, und die andere ist die MLP-Linie (Feedforward-Netzwerk), in der der Roboter diese Informationen verarbeitet und in einen fertigen Gedanken transformiert. Die Forscher nutzten „kausale Interventionen“, was eine schicke Art zu sagen ist, dass sie bestimmte Teile des Robotergehirns vorübergehend manipulierten oder unterbrachen, um zu sehen, was passiert. Sie blockierten die Fähigkeit des Roboters, ein bestimmtes Objekt anzusehen, oder stoppten ihn dabei, die Details dieses Objekts zu verarbeiten, und beobachteten dann, ob sich die Antwort änderte.

Die vier Arten, wie Roboter scheitern

Indem sie das Gehirn des Roboters auf ganz spezifische Weise unterbrachen, entdeckten die Autoren, dass es nicht nur „richtige“ und „falsche“ Antworten gibt. Es gibt tatsächlich vier verschiedene Arten, wie der Roboter scheitern kann, und jeder Fehler tritt in einem anderen Teil der Fabrik auf:

Der „Blinder Fleck“-Fehler (Grounding-Fehler):
Dies geschieht, wenn der Roboter das Objekt im Bild schlichtweg nicht finden kann. Es ist, als versuche man, ein bestimmtes rotes Auto auf einem Parkplatz zu finden, während der Roboter die Augen geschlossen hat. Die Forscher fanden heraus, dass der Roboter hier scheitert, weil er die visuellen Details des Objekts nie wirklich erfasst hat. Dieser Fehler wird durch die MLP-Linie (die Verarbeitungsfabrik) verursacht. Wenn man die MLP daran hindert, das Objekt zu verarbeiten, scheitert der Roboter vollständig. Dies deutet darauf hin, dass der Roboter Schwierigkeiten hat, die Rohbilddaten in ein erkennbares „Objekt“ in seinem Geist umzuwandeln.
Der „Überfokussierungs“-Fehler (Reasoning-Fehler):
Dies ist der interessanteste und kontraintuitivste Fehler. Hier sieht der Roboter das Objekt perfekt, aber er bleibt beim Starren darauf hängen. Stellen Sie sich vor, der Robbot sieht eine Katze und einen Stuhl, aber anstatt zu denken: „Die Katze sitzt auf dem Stuhl“, starrt er stattdessen obsessiv auf die Textur des Katzenfells und vergisst dabei, das Tier mit dem Stuhl zu vergleichen. Der Roboter ist „über-gegroundet“. Die Studie fand heraus, dass dieser spezifische Fehler durch die Attention-Linie (den Scan-Mechanismus) läuft, speziell in den späteren Schichten des Gehirns. Der Roboter schaut zwar auf das Richtige, versäumt es aber, diesen Blick zu nutzen, um eine logische Verbindung herzustellen.
Der „Falsches Eigenschaft“-Fehler (Attributextraktionsfehler):
In diesem Szenario findet der Roboter das Objekt und weiß genau, wo es ist, aber er erfasst die Details falsch. Er sieht einen goldenen Wagen, nennt ihn aber silber. Der Roboter hat das visuelle Signal, aber der letzte Schritt, dieses Signal in ein Wort umzuwandeln, schlägt fehl. Auch dies geschieht in der MLP-Linie, jedoch spezifisch am Ende, wo die Antwort generiert wird. Es ist, als hätte die Fabrik das richtige Rohmaterial, aber die Maschine, die das Etikett aufprägt, sei defekt.
Der „Schummler“-Fehler (Dominanz der Sprach-Priorität):
Manchmal schaut der Roboter gar nicht erst auf das Bild. Wenn die Frage lautet: „Ist die Kette schwarz oder gelb?“ und der Roboter aus seinem Training weiß, dass Ketten normalerweise schwarz sind, rät er einfach „schwarz“, ohne das Bild zu prüfen. Die Forscher fanden heraus, dass für diese Arten von Fragen das visuelle Gehirn des Roboters kaum aktiv ist. Er verlässt sich vollständig auf sein „Sprachgehirn“, um die Antwort zu erraten. Dies ist ein kompletter Umgehungsprozess des visuellen Systems.

Die große Pfad-Trennung

Die bedeutendste Entdeckung der Arbeit ist eine „Pfad-Dissoziation“. Die Forscher zeigten, dass verschiedene Arten von Fehlern durch unterschiedliche Leitungen im Gehirn des Roboters laufen.

Wenn der Roboter das Objekt nicht findet (Grounding) oder es nicht korrekt beschreibt (Attributextraktion), liegt das Problem in der MLP-Verarbeitungslinie.
Wenn der Roboter die Beziehung zwischen Objekten nicht versteht (Reasoning), liegt das Problem in der Attention-Scanlinie.

Dies ist eine große Sache, denn es bedeutet, dass man nicht alle Roboterfehler mit einem einzigen Werkzeug beheben kann. Wenn man versucht, einen „Reasoning“-Fehler zu beheben, indem man die Objekt-Verarbeitungslinie anpasst, wird man keinen Erfolg haben. Man muss gezielt die Leitung ansprechen, in der der Fehler auftritt.

Passiert das bei allen Robotern?

Die Forscher prüften auch, ob dies auch für einen anderen Roboter, LLaVA-1.5, zutrifft. Sie fanden heraus, dass der „Schummler“-Fehler und der „Falsches Eigenschaft“-Fehler in beiden Robotern vorkommen, was darauf hindeutet, dass dies grundlegende Probleme der Antwortgenerierung sind. Die „Blinder Fleck“- und „Überfokussierungs“-Fehler traten jedoch nur beim ersten Roboter (Qwen2.5-VL) auf. Warum? Weil der erste Roboter einen Vision-Encoder besitzt, der sehr detaillierte, pixelgenaue Informationen darüber speichert, wo sich Objekte befinden. Der zweite Roboter (LLaVA) nutzt einen Vision-Encoder, der das Bild eher zusammenfassend darstellt und dadurch einige der feinen räumlichen Details verliert. Da der zweite Roboter nicht über denselben detaillierten „Plan“ verfügt, leidet er nicht unter denselben spezifischen „Blinder Fleck“- oder „Überfokussierungs“-Fehlern. Dies deutet darauf hin, dass manche Fehler nur auftreten, wenn der Roboter eine hochauflösende Karte besitzt, in der er sich verlieren kann.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir Vision-Language-Modelle nicht länger als eine einzige „Black Box“ betrachten können, die entweder funktioniert oder nicht. Sie sind komplexe Maschinen mit unterschiedlichen Montagelinien für verschiedene Aufgaben. Wenn sie scheitern, tun sie dies auf spezifische, vorhersehbare Weise: Manchmal können sie nicht sehen, manchmal können sie nicht denken und manchmal raten sie einfach nur. Indem sie genau identifizieren, welche „Leitung“ für welche Art von Frage defekt ist, liefert die Arbeit eine Roadmap für den Bau besserer, zuverlässigerer Roboter, die tatsächlich auf das Bild schauen, bevor sie sprechen.

Technisches Resümee: Wie versagen VLMs? Vision-Operation-Fehlausrichtung in der kompositionellen VQA

Problemstellung

Kompositionelle Visuelle Fragebeantwortung (Visual Question Answering, VQA) erfordert von Vision-Language-Modellen (VLMs) die Ausführung einer Kette von logischen Operationen – wie etwa Objektauswahl, Auflösung räumlicher Beziehungen und Attributverifizierung – auf Basis fundierter visueller Evidenz. Während moderne VLMs auf Benchmarks wie GQA eine starke aggregierte Genauigkeit melden, maskiert diese Leistung systematische Fehlermuster. Modelle sind oft erfolgreich durch linguistische Abkürzungen bei einfachen Operationen, scheitern jedoch an Aufgaben, die echte visuelle Fundierung (Grounding) und mehrstufige Inferenz erfordern.

Bestehende Analysen konzentrieren sich weitgehend auf breite Fehlertypen (z. B. Objekt-Halluzination) oder den Informationsfluss zwischen Modalitäten, lassen aber ein mechanistisches Verständnis darüber vermissen, wie und wo Fehler auftreten. Insbesondere bleibt unklar, ob unterschiedliche kompositionelle Operationen durch verschiedene interne Rechenpfade (z. B. Attention-Mechanismen vs. Feedforward-Netzwerke) scheitern und wie diese Fehler mit den spezifischen Denkoperationen zusammenhängen.

Methodik

Die Autoren schlagen einen operationszentrierten mechanistischen Rahmen vor, um das Versagen von VLMs basierend auf der spezifischen Denkoperation und dem beteiligten internen Rechenpfad zu dekomponieren. Die Studie nutzt den GQA-Datensatz, der funktionale Programmannotationen und Szenengraphen bereitstellt, was es den Autoren ermöglicht, die für jeden Rechenschritt kausal relevanten Vision-Token zu identifizieren, anstatt alle Vision-Token uniform zu ablaten.

Die Methodik verwendet drei komplementäre kausale Interventionen, die über alle 36 Schichten des Qwen2.5-VL-3B-Instruct Modells angewendet werden:

Causal Mean Ablation (Kausale Mittelwert-Ablation): Ersetzt die Hidden States spezifischer Grounding-Token (assoziiert mit einem Zielobjekt) durch eine neutrale Baseline (den Mittelwert der Aktivierungen aller Vision-Token). Dies misst die gesamte kausale Abhängigkeit von der visuellen Repräsentation des Objekts.
Attention Knockout: Setzt die Attention-Gewichte von den Antwort-Token zu den Grounding-Objekt-Token in spezifischen Schichten auf Null, um den Cross-Token-Attention-Pfad zu isolieren.
MLP Knockout: Setzt die Ausgaben des Feed-Forward-Netzwerks (MLP) an spezifischen Token-Positionen auf Null (entweder an der Objekt-Position oder der Antwort-Position), um den Within-Token-Feedforward-Pfad zu isolieren.

Die Autoren definieren die Grounding Strength (Fundierungsstärke) als die maximale Degradation der Log-Wahrscheinlichkeit der korrekten Antwort unter der Mean Ablation. Sie berechnen zudem den Grounding Specificity Shift (GSS) (Cohen's d), um den Unterschied in der Degradation zwischen korrekten und inkorrekten Vorhersagen zu quantifizieren, was als primäre Metrik zur Klassifizierung von Fehlermodi dient.

Zentrale Beiträge

1. Operationsbewusste Fehlertaxonomie

Das Paper identifiziert vier mechanistisch unterscheidbare Fehlermodi, die jeweils durch eine einzigartige Beziehung zwischen Grounding-Stärke und Antwortkorrektheit charakterisiert sind:

Grounding Failure (Fundierungsfehler): Tritt auf, wenn korrekte Antworten eine wesentlich höhere Grounding-Stärke zeigen als inkorrekte Antworten. Das Modell scheitert, weil es nie eine kausale Abhängigkeit von der visuellen Region des Zielobjekts entwickelt (z. B. die select-Operation).
Reasoning Failure (Denkfehler): Tritt auf, wenn sich das Verhältnis umkehrt; inkorrekte Antworten weisen eine höhere Grounding-Stärke auf als korrekte. Das Modell lokalisiert das Objekt, über-grundet aber auf dessen visueller Repräsentation während Phasen, in denen abstrakte relationale Inferenz dominieren sollte (z. B. die relate-Operation).
Attribute Extraction Failure (Attributextraktionsfehler): Tritt auf, wenn die Grounding-Stärke hoch ist, unabhängig von der Korrektheit. Das Modell fundiert das Objekt erfolgreich, aber die abschließende Berechnung, die die fundierte Repräsentation in eine Antwort umwandelt, schlägt fehl (z. B. verify, query, exist).
Language Prior Dominance Failure (Dominanz des Sprach-Priors): Tritt auf, wenn die Grounding-Stärke sowohl für korrekte als auch für inkorrekte Antworten niedrig ist. Das Modell stützt sich auf linguistische Muster und Weltwissen statt auf visuelle Berechnung (z. B. choose, filter).

2. Pfad-Dissoziation

Ein zentrales Ergebnis ist die Dissoziation der Rechenpfade über die Fehlermodi hinweg:

Grounding- und Attributextraktionsfehler verlaufen primär über das Feedforward-Netzwerk (MLP). Bei select liegt der Fehler in der Verarbeitung der Objektrepräsentation; bei verify und query liegt der Fehler in der Fähigkeit des Antwort-Position-MLPs, das korrekte Attribut aus einer gut fundierten Repräsentation zu extrahieren.
Reasoning-Fehler verlaufen primär über die späte Attention-Schicht (Late-Layer Attention). Bei relate werden Fehler durch das Attendieren des Antwort-Tokens auf die visuellen Objekt-Token in späten Schichten (28–35) getrieben, was auf eine übermäßige Abhängigkeit von visuellem Inhalt statt von relationaler Abstraktion hindeutet.

3. Architektur- und Benchmark-übergreifende Validierung

VSR Benchmark: Die Validierung auf dem Visual Spatial Reasoning (VSR) Benchmark bestätigt, dass räumliche Denkfehler MLP-mediiert in der Objekt-Kodierungsphase auftreten (speziell beim Processing der Bounding-Box-Token), nicht in der Antwort-Dekodierungsphase. Dies unterscheidet räumliche Denkfehler von Attributextraktionsfehlern.
LLaVA-1.5-7B Analyse: Bei der Anwendung auf LLaVA-1.5 (das einen eingefrorenen CLIP-Encoder nutzt), bleiben die Fehlermodi Attribute Extraction und Language Prior konsistent (architekturunabhängig). Jedoch verschwinden die Grounding- und Reasoning-Fehler. Dies deutet darauf hin, dass diese Modi encoder-abhängig sind und nur entstehen, wenn der Vision-Encoder genügend räumliche Granularität bewahrt, damit das Sprachmodell darin scheitern kann.

Ergebnisse

Grounding Failure (select): Zeigt eine starke positive Assoziation zwischen Grounding-Stärke und Korrektheit ( $d = +0,75$ ). Der Fehler ist lokalisiert im Antwort-Position-MLP, was darauf hindeutet, dass die Objekterkennung auf innerhalb-Token-Transformationen basiert statt auf Attention-Routing.
Reasoning Failure (relate): Zeigt eine negative Assoziation ( $d = -0,17$ ), bei der inkorrekte Antworten stärker von den visuellen Objekt-Token abhängen. Ein Attention-Knockout verstärkt diesen Effekt, wobei die Fehler in späten Schichten konzentriert sind, was bestätigt, dass das Modell "über-grundet" auf visuellem Inhalt, wenn es abstrakt denken sollte.
Attribute Extraction (verify, query, exist): Zeigt eine hohe absolute Grounding-Stärke, aber keine signifikante Korrektheits-Diskriminierung im Attention-Knockout. Fehler sind lokalisiert im MLP an der Antwort-Position (für verify) oder an den Objekt-Positionen (für exist), was auf einen Zusammenbruch bei der Umwandlung fundierter Repräsentationen in spezifische Attribute hindeutet.
Language Prior (choose, filter): Zeigt vernachlässigbare Grounding-Stärke und keine signifikanten pfadspezifischen Effekte, was bestätigt, dass diese Operationen die visuelle Berechnung umgehen.

Signifikanz

Das Paper beansprucht, eine fundierte Grundlage für gezielte Verbesserungen der Zuverlässigkeit von VLMs in der multimodalen Argumentation zu liefern. Durch den Nachweis, dass verschiedene Fehlertypen grundlegend unterschiedliche Korrekturstrategien erfordern, argumentiert die Arbeit gegen "One-Size-Fits-All"-Lösungen. Speziell:

Interventionen, die auf die Feedforward-Verarbeitung abzielen, sind notwendig für Grounding- und Attributextraktionsfehler.
Interventionen, die auf das Attention-Routing (insbesondere in späten Schichten) abzielen, sind notwendig für Reasoning-Fehler.
Die Unterscheidung zwischen aufgabenbasierten (architekturunabhängigen) und encoder-abhängigen Fehlermodi bietet einen diagnostischen Rahmen für das Verständnis der Limitationen von Modellen basierend auf deren visuellen Kodierungsfähigkeiten.

Die Autoren betonen, dass ihr Beitrag diagnostisch ist und eine mechanistische Karte darüber liefert, wie VLMs scheitern, anstatt eine spezifische Korrekturmaßnahme vorzuschlagen. Dieses granulare Verständnis wird als Voraussetzung für die Entwicklung robusterer und zuverlässigerer VLMs präsentiert.