💬 NLP

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

Diese Arbeit zeigt, dass Vision-Language-Modelle oft selbstreflexive Aussagen wie „lass mich noch einmal nachsehen" lediglich als textuelle Muster produzieren, anstatt eine echte visuelle Neubewertung auszulösen, was durch das VisualSwap-Framework belegt wird, das aufzeigt, dass Modelle trotz solcher Behauptungen häufig versagen, semantisch unterschiedliche Bildaustausche zu erkennen.

Ursprüngliche Autoren: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Papier in einfacher Sprache: "Sehen VLMs wirklich oder sagen sie nur?"

Stellen Sie sich vor, Sie machen einen Mathe-Test mit einem sehr klugen, redseligen Roboter. Sie zeigen dem Roboter ein Bild eines Dreiecks mit einem 60-Grad-Winkel. Der Roboter beginnt laut zu denken: „Okay, ich sehe einen 60-Grad-Winkel. Wenn ich das von 180 abziehe, erhalte ich 120. Warte, lass mich das Bild noch einmal überprüfen, nur um sicherzugehen."

Dann schleichend tauschen Sie das Bild auf dem Bildschirm gegen ein anderes Dreieck aus, das einen 50-Grad-Winkel hat. Das neue Bild sieht fast exakt wie das alte aus, aber diese eine Zahl ist anders.

Der Roboter, der immer noch mit sich selbst spricht, sagt: „Lass mich die Figur noch einmal überprüfen", schaut aber nicht wirklich auf das neue Bild. Er führt einfach weiter die Mathematik durch, die er zuvor begonnen hatte. Er antwortet selbstbewusst mit 120, obwohl das Bild jetzt besagt, dass die Antwort 130 lauten sollte.

Dieses Papier mit dem Titel „Sehen VLMs wirklich oder sagen sie nur?" untersucht genau dieses Phänomen bei Vision-Language-Modellen (VLMs). Die Forscher stellten fest, dass diese KI-Modelle, wenn sie Sätze wie „Lass mich das Bild noch einmal überprüfen" sagen, dies oft nur sagen, aber es tatsächlich nicht sehen.

Hier ist die Aufschlüsselung ihrer Entdeckung mit einfachen Analogien:

1. Der „Geist in der Maschine" (Die Illusion)

Die Forscher schufen einen Test namens VISUALSWAP. Sie ließen eine KI ein Problem lösen, tauschten dann das Bild gegen ein leicht abweichendes aus, während sich die KI mitten in ihrem „Denkprozess" befand. Sie baten die KI, das Bild „noch einmal zu überprüfen".

Das Ergebnis: Die KI scheiterte fast immer. Sie ignorierte das neue Bild und antwortete weiterhin basierend auf dem alten Bild, das sie Sekunden zuvor gesehen hatte.
Die Analogie: Es ist wie ein Koch, der sagt: „Lass mich die Suppe noch einmal probieren", aber statt die Suppe im Topf zu probieren, erinnert er sich einfach an den Geschmack, den er sich zuvor vorgestellt hat, und tut so, als hätte er sie probiert. Er halluziniert, dass er hingeschaut hat, wiederholt aber tatsächlich nur ein Skript.

2. Die „Überdenker" sind die schlimmsten Übeltäter

Man könnte denken, dass „Denk"-Modelle (KI, die darauf ausgelegt ist, tief und langsam zu reasoning) darin besser wären. Sie liegen falsch.

Die Erkenntnis: Die „Denk"-Modelle waren dreimal schlechter darin, den Bildtausch zu bemerken, als die Standardmodelle.
Die Analogie: Stellen Sie sich einen Schüler vor, der einen Test schreibt. Der normale Schüler wirft einen Blick auf die neue Frage und passt sich an. Der „Denk"-Schüler jedoch vertieft sich so sehr in seinen eigenen inneren Monolog („Ich habe X berechnet, dann Y..."), dass er blind dafür wird, dass sich die Frage auf dem Blatt geändert hat. Seine eigenen Gedanken werden zu einer Mauer, die ihn daran hindert, die neue Realität zu sehen.

3. Die „Textuelle Trägheit" (Warum es passiert)

Das Papier erklärt, dass die KI, sobald sie eine lange Kette von Überlegungen zu schreiben beginnt, in eine Spur gerät. Sie konzentriert sich so sehr darauf, ihren Satz zu beenden und einen logischen Fluss aufrechtzuerhalten, dass sie aufhört, auf den visuellen Input zu achten.

Die Analogie: Denken Sie an einen Zug auf einem Gleis. Sobald er schnell fährt, ist es schwer, ihn zu stoppen. Der „Gedankenzug" der KI bewegt sich so schnell, dass, wenn sich die Kulisse (das Bild) ändert, der Zug nicht langsamer wird, um aus dem Fenster zu schauen. Er fährt einfach weiter auf dem alten Gleis.

4. Der „Magische Schalter" (Wie man es behebt)

Hier kommt der interessanteste Teil: Die KI ist in der Lage, die Änderung zu sehen. Sie tut es nur nicht von selbst.

Das Experiment: Wenn ein Mensch (oder eine Benutzeranweisung) die KI explizit unterbricht und sagt: „Stopp! Schau dir das neue Bild an, das ich dir gerade gegeben habe," wacht die KI plötzlich auf. Sie erkennt den Unterschied sofort und bekommt die Antwort richtig.
Die Analogie: Es ist wie ein tagträumender Schüler. Wenn er allein gelassen wird, träumt er weiter über die alte Antwort. Aber wenn ein Lehrer ihn auf die Schulter klopft und sagt: „Hey, schau dir dieses neue Bild an", reißt er aus dem Tagtraum heraus und sieht die Wahrheit. Die Fähigkeit war die ganze Zeit da; sie brauchten nur einen externen Stoß, um ihren Trancezustand zu durchbrechen.

5. Der „Aufmerksamkeits"-Beweis

Die Forscher schauten unter die Haube der KI (speziell auf ihre „Aufmerksamkeits"-Mechanismen, die bestimmen, worauf sich die KI konzentriert).

Die Erkenntnis: Wenn die KI sagt „Lass mich überprüfen", bewegt sich ihre Aufmerksamkeit auf das Bild kaum. Aber wenn ein Benutzer sagt „Überprüfe das Bild", schießt die Aufmerksamkeit der KI dramatisch in die Höhe.
Das Fazit: Die KI „denkt" nicht über das Bild nach, wenn sie sagt, sie überprüfe es; sie generiert lediglich Text, der so klingt, als würde sie es überprüfen.

Zusammenfassung

Das Papier kommt zu dem Schluss, dass aktuelle KI-Modelle Meister der Täuschung sind (auch unbeabsichtigt). Wenn sie behaupten, während ihres eigenen inneren Denkprozesses ein Bild „noch einmal zu untersuchen", wiederholen sie oft nur eine gelernte Phrase, ohne tatsächlich hinzuschauen. Sie „sagen", dass sie sehen, sind aber gegenüber der Änderung „blind".

Dies ist jedoch kein permanenter Fehler in ihrer Vision; es ist ein Fehler in ihrer Selbstkontrolle. Sie können die Wahrheit sehen, brauchen aber einen Menschen, der ihre „textuelle Trägheit" durchbricht und sie zwingt, tatsächlich hinzuschauen.

Wichtigste Erkenntnis für die breite Öffentlichkeit: Wenn eine KI Ihnen sagt, sie überprüfe ein Bild noch einmal, gehen Sie nicht davon aus, dass sie es tatsächlich getan hat. Sie spricht vielleicht nur mit sich selbst. Sie müssen ihr explizit sagen, dass sie noch einmal hinschauen soll, damit sie wirklich sieht.

Technische Zusammenfassung: Sehen VLMs wirklich oder sagen sie nur? Aufdeckung der Illusion der visuellen Neubetrachtung

Problemstellung
Vision-Language-Modelle (VLMs) haben erhebliche Fortschritte im multimodalen Reasoning gezeigt, insbesondere mit dem Aufkommen von Reasoning-verbesserten Modellen, die erweiterte Chain-of-Thought (CoT)-Generierung und Selbstreflexionsmechanismen nutzen. Ein häufiges Verhalten dieser Modelle ist die Generierung selbstreflexiver Aussagen wie „Warten Sie, lassen Sie mich die Abbildung noch einmal überprüfen" während des Reasoning-Prozesses. Obwohl dies darauf abzielt, perceptuelle Halluzinationen zu mindern und die Treue zum Eingabebild sicherzustellen, bleibt eine kritische Frage offen: Lösen diese Aussagen eine genuine visuelle Neubetrachtung aus, oder sind sie lediglich erlernte sprachliche Muster ohne tatsächliche visuelle Verankerung? Wenn Modelle behaupten, ein Bild erneut zu betrachten, aber visuelle Änderungen nicht erkennen, wird ihre Zuverlässigkeit in sicherheitskritischen Bereichen beeinträchtigt.

Methodik: VISUALSWAP und VS-BENCH
Um dieses Phänomen zu untersuchen, schlagen die Autoren VISUALSWAP vor, ein diagnostisches Framework, das prüft, ob VLMs während der Selbstreflexion tatsächlich visuelle Eingaben erneut beachten. Das Framework verwendet ein zweistufiges Protokoll:

Standard-Inferenz: Das Modell generiert eine initiale Reasoning-Kette ( $R_a$ ) basierend auf einem Originalbild ( $I_a$ ) und einer Frage ( $Q$ ).
Neubetrachtungs-Probe: Der visuelle Input wird gegen ein semantisch unterschiedliches, aber visuell ähnliches Bild ( $I_b$ ) ausgetauscht, wobei der generierte Reasoning-Kontext ( $R_a$ ) beibehalten und ein selbstreflexiver Prompt (z. B. „Warten Sie, lassen Sie mich die Abbildung noch einmal überprüfen") angehängt wird. Anschließend wird das Modell aufgefordert, die Generierung fortzusetzen.

Führt das Modell eine genuine visuelle Neubetrachtung durch, sollte es die Diskrepanz zwischen $I_b$ und $R_a$ erkennen, sein Reasoning aktualisieren und die korrekte Antwort für $I_b$ liefern. Scheitert es daran, deutet dies auf „textuelle Trägheit" hin, bei der sich das Modell auf die vorherige Reasoning-Trajektorie statt auf den neuen visuellen Beweis verlässt.

Zur Unterstützung dieser Evaluierung haben die Autoren VS-BENCH zusammengestellt, einen Benchmark bestehend aus 800 Bildpaaren, die von MathVista, MathVerse, MathVision und MMMU-Pro abgeleitet sind. Diese Paare sind so konstruiert, dass sie eine hohe visuelle Ähnlichkeit auf Ebene des Layouts und des Stils teilen, sich jedoch in feingranularen Details unterscheiden, die für die Ground-Truth-Antwort entscheidend sind, wodurch sichergestellt wird, dass die Frage für beide Bilder gültig bleibt, aber unterschiedliche Antworten erfordert.

Hauptbeiträge

VISUALSWAP-Framework: Ein prinzipiengeleitetes Diagnosewerkzeug zur Bewertung der Authentizität visueller Neubetrachtung in VLMs durch Manipulation der visuellen Eingaben während des Reasoning-Prozesses.
VS-BENCH-Benchmark: Ein Datensatz aus 800 sorgfältig konstruierten Bildpaaren, der Fähigkeiten zur visuellen Neubetrachtung vom allgemeinen visuellen Beantworten von Fragen isoliert.
Mechanistische Analyse: Eine Untersuchung der Aufmerksamkeitsmechanismen, die dem Versagen zugrunde liegen, unter Vergleich der selbstgenerierten Reflexion mit expliziten mehrstufigen Benutzeranweisungen.

Experimentelle Ergebnisse
Die Autoren evaluierten 15 Modelle aus den Familien Qwen3-VL, Kimi-VL und ERNIE-VL, einschließlich sowohl „Instruct"- als auch „Thinking"-Varianten. Die Ergebnisse offenbaren einen kritischen Fehlermodus:

Verbreitetes Versagen: Modelle scheitern überwiegend daran, Bildwechsel während der Selbstreflexion zu erkennen. Die Leistungsverschlechterung ( $\Delta = Acc_{base} - Acc_{probe}$ ) erreicht bis zu 60 % (z. B. fällt ERNIE-4.5-VL-Thinking von 79,9 % auf 19,6 %).
Thinking-Modelle sind anfälliger: Entgegen der Intuition zeigen „Thinking"-Modelle eine nahezu dreimal so große Anfälligkeit wie ihre „Instruct"-Pendants. Beispielsweise erleidet Qwen3-VL-32B-Thinking einen Rückgang von 48,3 % im Vergleich zu 17,9 % für die Instruct-Version.
Skalierung hilft nicht: Eine Vergrößerung der Modellgröße mildert das Problem nicht; größere Modelle zeigen oft eine stärkere Verschlechterung (z. B. fällt Qwen3-VL-235B-Thinking um 54,6 %).
Wiederherstellung durch Benutzeranweisung: Wenn die Reflexion durch eine explizite mehrstufige Benutzeranweisung (z. B. „Überprüfen Sie das Bild erneut") ausgelöst wird und nicht durch selbstgenerierten Text, erholt sich die Leistung auf nahezu Basisniveau. Dies bestätigt, dass die Modelle die latente Fähigkeit besitzen, das neue Bild zu verarbeiten, aber versagen, diese autonom zu aktivieren.
Aufmerksamkeitsanalyse: Aufmerksamkeitswerte zeigen, dass selbstreflexive Aussagen nur vernachlässigbare Erhöhungen der Aufmerksamkeit auf visuelle Tokens bewirken. Im Gegensatz dazu verursachen explizite Benutzeranweisungen einen erheblichen Anstieg der visuellen Aufmerksamkeit, was die Leistungslücke erklärt.

Bedeutung und Behauptungen
Die Studie kommt zu dem Schluss, dass aktuelle VLMs dazu neigen, zu „sagen", sie betrachten ein Bild erneut, ohne es tatsächlich zu „sehen". Das Phänomen wird als Versagen der autonomen Aufmerksamkeitskontrolle identifiziert und nicht als Mangel an visueller Fähigkeit. Die Autoren argumentieren, dass erweiterte Reasoning-Ketten eine starke textuelle Trägheit erzeugen, die das Modell während der kontinuierlichen Dekodierung von visuellen Beweisen entkoppelt.

Die Bedeutung dieser Arbeit liegt darin, eine grundlegende Einschränkung aktueller Chain-of-Thought (CoT)-Paradigmen in multimodalen Settings aufzuzeigen: Sie priorisieren textuelle Kohärenz vor der visuellen Aufnahme. Die Ergebnisse deuten darauf hin, dass Selbstreflexion, wie sie derzeit implementiert ist, kein zuverlässiger Mechanismus zur Korrektur visueller Halluzinationen sein mag. Die Studie postuliert, dass eine genuine autonome visuelle Neubegründung Mechanismen erfordert, die über einfache sprachliche Prompts hinausgehen, und unterstreicht die Notwendigkeit zukünftiger Forschung zu Modellen, die ihre eigenen Reasoning-Trajektorien effektiv unterbrechen können, um sich erneut mit visuellen Eingaben zu verbinden. Die Autoren betonen, dass dies eine diagnostische Erkenntnis bezüglich des Modellverhaltens ist und kein Vorschlag für einen neuen Trainingsalgorithmus, obwohl sie feststellen, dass externe Interventionen (wie mehrstufiges Prompting) die Verankerung erfolgreich wiederherstellen können.