🤖 AI

Mirage Probes: How Vision Models Fake Visual Understanding

Dieses Paper führt „Mirage Probes“ ein, um zu demonstrieren, dass Vision-Language-Modelle zwei unterschiedliche Arten von visueller Halluzination aufweisen – textuelle Biases und Scheinbilder –, die durch ihre internen Aktivierungsmuster unterscheidbar sind, wodurch aufgezeigt wird, dass eine effektive Abschwächung Interventionen auf der Repräsentationsebene erfordert, anstatt nur Textverteilungen zu bereinigen.

Ursprüngliche Autoren: Daniel Ben-Levi, Judah Goldfeder, Weiliang Zhao, Raz Lapid, Amit LeVi, Allen G. Roush, Ravid Shwartz-Ziv, Hod Lipson

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Ben-Levi, Judah Goldfeder, Weiliang Zhao, Raz Lapid, Amit LeVi, Allen G. Roush, Ravid Shwartz-Ziv, Hod Lipson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie machen einen Test, bei dem Ihnen ein Bild gezeigt wird und Sie eine Frage dazu gestellt bekommen. Stellen Sie sich nun einen Schüler vor, der so gut darin ist, basierend auf den Worten der Frage zu raten, dass er die richtige Antwort findet, selbst wenn man das Bild wegnimmt und hinter seinem Rücken versteckt. Er klingt selbstbewusst und liegt oft richtig, aber er schaut das Bild gar nicht an.

Dieses Paper bezeichnet dieses Verhalten als eine „Mirage“ (Täuschung/Fata Morgana).

Die Forscher untersuchten Vision-Language-Modelle (KI, die Bilder sieht und Text liellen kann) und entdeckten, dass diese „Mirages“ nicht nur ein einfacher Fehler sind. Sie fanden heraus, dass die KI das visuelle Verständnis auf zwei völlig unterschiedlichen Arten vortäuscht, und das Paper stellt ein neues Werkzeug namens „Mirage Probes“ vor, um genau zu sehen, wie die KI dies in ihrem „Gehirn“ macht.

Hier ist eine Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Die zwei Arten, wie die KI schummelt

Die Autoren argumentieren, dass wenn eine KI eine selbstbewusste Antwort gibt, ohne das Bild wirklich „gesehen“ zu haben, sie normalerweise eines von zwei Dingen tut:

Der „Text-Schummel“ (Textuelle Biases):
- Die Analogie: Stellen Sie sich einen Schüler vor, der eine Geschichtsprüfung schreibt. Die Frage lautet: „Wer war der erste Präsident?“ Der Schüler muss kein Bild von George Washington sehen, um die Antwort zu wissen; er kennt die Tatsache einfach aus seinen Büchern.
- Was die KI tut: Die KI ignoriert das Bild vollständig. Sie betrachtet die Frage, erkennt das Thema und zieht die Antwort aus ihrem Gedächtnis darüber, wie Menschen solche Fragen üblicherweise stellen und beantworten. Sie lügt nicht über das Sehen des Bildes; sie antwortet lediglich basierend auf dem Text.
- Wo das passiert: Dies ist häufig in Datensätzen der Fall, in denen die Fragen sehr spezifisch sind oder die Antwort allein durch die Wörter offensichtlich ist (wie bei einigen medizinischen oder Quiz-Fragen).
Das „Halluzinierte Bild“ (Spurious Images):
- Die Analogie: Stellen Sie sich nun einen Schüler vor, der gefragt wird: „Welche Farbe hat das Auto auf dem Foto?“, aber das Foto ist verborgen. Anstatt zu sagen: „Ich kann es nicht sehen“, schließt der Schüler die Augen, stellt sich ein rotes Auto vor (weil die meisten Autos in seinen Trainingsdaten rot sind) und sagt selbstbewusst: „Es ist ein rotes Auto.“ Er hat ein falsches Bild in seinem Geist erschaffen.
- Was die KI tut: Die KI versucht tatsächlich, etwas zu „sehen“, das nicht da ist. Sie konstruiert eine falsche visuelle Repräsentation in ihrem internen Code (Latent Space) und antwortet so, als wäre dieses gefälschte Bild real.
- Wo das passiert: Dies geschieht in Datensätzen, in denen der Text allein nicht ausreicht, um die Antwort zu erraten, sodass die KI gezwungen ist, ein visuelles Detail zu „erfinden“, um selbstbewusst zu wirken.

2. Das neue Werkzeug: „Mirage Probes“

Woher weiß man, ob die KI mit Text schummelt oder ein Bild halluziniert? Man kann nicht nur auf die Antwort schauen; man muss in das „Gehirn“ der KI schauen, während sie denkt.

Die Forscher haben Mirage Probes entwickelt, die wie ein Röntgengerät für KI-Gedanken funktionieren.

Sie zeigen der KI eine Frage zusammen mit einem Bild und zeigen ihr dann dieselbe Frage ohne das Bild.
Sie untersuchen die elektrischen Signale (Aktivierungen) innerhalb der Schichten der KI.
Sie fanden heraus, dass der Unterschied zwischen dem „Antworten mit einem echten Bild“ und dem „Antworten mit einem gefälschten Bild“ ein klares, geradliniges Muster im Code der KI hinterlässt. Es ist kein chaotisches, kompliziertes Signal; es ist eine saubere Linie, die ihre Sonden leicht erkennen können.

3. Warum das wichtig ist (Das „Und was nun?“)

Das Paper stellt einen entscheidenden Punkt darüber auf, wie wir diese KI-Modelle reparieren sollten.

Wenn die KI den „Text-Schummel“ nutzt: Kann man dies beheben, indem man die Trainingsdaten bereinigt. Wenn man der KI verbietet zu lernen, dass bestimmte Fragen immer zu bestimmten Antworten führen, wird sie aufhören zu raten.
Wenn die KI das „Halluzinierte Bild“ nutzt: Das Bereinigen des Textes wird nicht helfen. Das Problem liegt tiefer. Die KI baut tatsächlich falsche Bilder in ihrem internen Gedächtnis auf. Um dies zu beheben, muss man ändern, wie die KI Bilder repräsentiert, nicht nur wie sie Text liest.

Das Fazit

Das Paper behauptet, dass „Mirage“-Verhalten kein einzelner Bug ist. Es sind zwei verschiedene Bugs, die dieselbe Maske tragen.

Manchmal rät die KI einfach basierend auf Worten.
Manchmal erfindet die KI ein falsches Bild in ihrem Geist.

Die Autoren haben einen Weg geschaffen, um zu erkennen, was gerade passiert. Sie fanden heraus, dass die Version mit dem „gefälschten Bild“ schwieriger zu beheben ist, weil sie tief in der visuellen Verarbeitung der KI lebt und nicht nur in ihren Sprachfähigkeiten. Das bedeutet, dass wir, um KI wirklich zuverlässig zu machen (besonders in Bereichen wie der Medizin), den visuellen Teil des Gehirns reparieren müssen, nicht nur den Textteil.

Technisches Resümee: Mirage Probes: Wie Vision-Modelle visuelles Verständnis vortäuschen

Problemstellung

Vision-Language-Modelle (VLMs) werden zunehmstend in hochsensiblen Bereichen wie der medizinischen Bildgebung, der Dokumentenanalyse und dem wissenschaftlichen Schließen eingesetzt, in denen Antworten auf visuellen Eingaben basieren müssen. Jüngste Beobachtungen von „Mirage-Verhalten“ (Täuschungsverhalten) stellen jedoch die Annahme in Frage, dass der Erfolg in Benchmarks mit echtem visuellem Schließen gleichzusetzen ist. Mirage-Verhalten tritt auf, wenn VLMs auch dann selbstbewusst korrekte Antworten auf bildbasierte Fragen geben, wenn das Bild fehlt. Dies deutet darauf hin, dass die Leistung auf multimodalen Benchmarks (z. B. MMMU, VQA-RAD) eher auf textuellen Priors, Datensatz-Regularitäten oder Abkürzungen beruht als auf der Nutzung echter visueller Evidenz.

Vorherige Arbeiten behandelten Mirage-Verhalten weitgehend als einen einzigen Fehlermodus. Die Autoren argumentieren, dass dies eine Vereinfachung ist, und schlagen vor, dass dasselbe Verhalten auf der Output-Ebene aus zwei unterschiedlichen internen Mechanismen resultieren kann:

Textuelle Biases: Das Modell antwortet direkt aus sprachlichen Priors, ohne visuelle Repräsentationen einzubeziehen.
Spurenechte Bilder (Spurious Images): Das Modell konstruiert fiktiven visuellen Inhalt in seinem latenten Raum und antwortet so, als sei dieser fundiert; es „halluziniert“ effektiv ein Bild, um die Antwort zu stützen.

Die Unterscheidung zwischen diesen Mechanismen ist entscheidend, da sich die Minderungsstrategien unterscheiden: Die Bereinigung der Textverteilung adressiert den ersten Fall, kann aber den zweiten nicht erreichen, da dieser in den visuellen Repräsentationen des Modells verwurzelt ist.

Methodik

Mirage Probes Framework

Die Autoren führen Mirage Probes ein, ein kontrastives Probing-Framework, das darauf ausgelegt ist, Mirage-Verhalten auf der Repräsentationsebene zu erkennen und zu analysieren.

Datensatz-Konstruktion:
- Die Autoren generieren Datensätze, indem sie die Modellantworten mit einem Bild ( $r_{img}$ ) und ohne ein Bild ( $r_{\emptyset}$ ) vergleichen.
- Labeling-Heuristik: Eine Antwort mit Bild wird als „mirage-ähnlich“ ( $y=1$ ) gelabelt, wenn die Generierung ohne Bild dieselbe Antwort mit hoher semantischer Ähnlichkeit (Bag-of-Words Cosine-Similarity > 0,7) liefert. Sie wird als „nicht mirage-ähnlich“ ( $y=0$ ) gelabelt, wenn die Generierung ohne Bild explizit Unsicherheit ausdrückt oder angibt, dass die Aufgabe ohne das Bild unmöglich sei.
- Kontrastive Paare: Um oberflächliche textuelle Störfaktoren (z. B. Themenwörter, Fragenstil) zu reduzieren, verwenden die Autoren GPT-4o-mini, um vier paraphrazierte Varianten jeder Basisfrage zu generieren. Sie konstruieren kontrastive Paare, bei denen das Bild und die zugrunde liegende Intention fix bleiben, aber die Formulierung der Frage variiert, was zu unterschiedlichen Mirage-Labels führt. Dies stellt sicher, dass die Probes den Mirage-Mechanismus lernen und nicht bloß oberflächliche lexikalische Merkmale.
Extraktion von Aktivierungen:
- Die Studie untersucht drei Open-Source-VLMs: Ovis2.5-2B, GLM-4.6-flash und Qwen3-32B-VL-Instruct.
- Aktivierungen werden an vier Stellen innerhalb der Transformer-Architektur extrahiert:
  - Residual Stream States
  - MLP-Outputs
  - Post-Attention Outputs
  - Einzelne Attention-Head-Outputs
- Aktivierungen werden unter Verwendung von drei Pooling-Strategien aggregiert: text-nonspecial-mean, vision-tail und vision-text-mean.
Probe-Training:
- Vier Familien von Probes werden trainiert, um das Mirage-Label aus den internen Aktivierungen vorherzusagen:
  - Logistische Regression (Linear): Testet, ob Mirage als eine einzelne lineare Richtung kodiert ist.
  - Zwei-Schicht-MLP: Testet auf nichtlineare Kodierung.
  - Konkatenierte Probes: Trainiert auf Aktivierungen aus allen Layern gleichzeitig.
  - Differenz-Probes: Trainiert auf der elementweisen Differenz zwischen den Aktivierungen mit Bild und ohne Bild ( $\Delta h = h_{img} - h_{\emptyset}$ ).
- Baseline: Ein Naive-Bayes-Klassifikator, der auf dem Antworttext trainiert wurde, wird verwendet, um oberflächliche lexikalische Störfaktoren auszuschließen.
- Metrik: Ein neuartiger Prior Harnessing Index (PHI) wird eingeführt, um zu messen, wie viel Information ein Modell allein aus dem Text bezüglich einer korrekten Antwort gewinnen kann ( $PHI = \log p(a^*|Q) - \log p(a^*|Q_{\emptyset})$ ).

Kernergebnisse

1. Lineare Dekodierbarkeit von Mirage-Verhalten

Die Studie zeigt, dass Mirage-Verhalten über alle vier Aktivierungsstellen hinweg (Residual Stream, MLP, Post-Attention, Attention Heads) linear dekodierbar aus den internen Aktivierungen von VLMs mit vorhandenem Bild ist.

Genauigkeit: In kontrastiven Settings erreichten lineare Probes Genauigkeiten von bis zu 75 % (Ovis) und 72 % (Qwen) auf den Residual Streams sowie bis zu 85 % auf den Attention Heads.
Linearität: Zwei-Schicht-MLP-Probes verbesserten die Ergebnisse der linearen Probes nicht signifikant, was darauf hindeutet, dass Mirage-Informationen entlang rekonstruierbarer linearer Richtungen kodiert sind und keine komplexe nichtlineare Extraktion erfordern.
Überlegenheit der Kontraste: Differenz-Probes (trainiert auf Aktivierungsunterschieden) erzielten die höchste Genauigkeit (bis zu 98 % in einigen Settings), was zeigt, dass die durch das Hinzufügen eines Bildes verursachte Repräsentationsverschiebung Mirage- und Nicht-Mirage-Antworten sauber trennt.

2. Reduktion oberflächlicher Störfaktoren

Der Vergleich mit der Naive-Bayes-Text-Baseline bestätigt, dass die Probes nicht lediglich oberflächliche lexikalische Merkmale detektieren.

In kontrastiven Settings übertraf die Genauigkeit der Probes die Naive-Bayes-Baseline signifikant (z. B. 61,88 % vs. 57,67 % für Ovis auf VQA-RAD).
In „All-Examples“-Settings (ohsten ohne kontrastive Paarung) war die Genauigkeit der Probes höher, korrelierte jedoch mit einer erhöhten oberflächlichen Separabilität, was darauf hindeutet, dass diese Probes wahrscheinlich eher textuelle Hinweise als tiefe Mechanismen erfassten. Dies validiert die Notwendigkeit des kontrastiven Frameworks.

3. Zwei distinkte Mirage-Regime

Die Muster der Separabilität über verschiedene Benchmarks hinweg zeigen, dass Mirage-Verhalten kein monolithisches Phänomen ist, sondern wahrscheinlich aus zwei distinkten Regimen besteht:

Spurechte Bilder (Spurious Images): Dominant in VQA-RAD, wo Fragen stark bildabhängig sind (Menschen können ohne das Bild nicht antworten) und die textuellen Priors schwach sind (niedriger PHI). Hier konstruiert das Modell falschen visuellen Inhalt.
Textuelle Biases: Häufiger in MMMU-Pro und MedXpertQA, wo Fragen oft ausreichend textuellen Kontext enthalten, um auch ohne das Bild zu antworten (hoher PHI).
Evidenz: VQA-RAD zeigte die höchste Probe-Separabilität. Wenn Probes nur auf „menschenperzipierten bildabhängigen“ Beispielen aus anderen Benchmarks trainiert wurden, verbesserte sich die Separabilität nicht. Die Verwendung des PHI-Metrik ergab jedoch, dass VQA-RAD-Fragen die Unsicherheit des Modells ohne Bilder einzigartig erhöhen, was stark mit dem Mirage-Verhalten korreliert. Dies deutet darauf hin, dass das Modell, wenn textuelle Priors unzureichend sind, zu einer Konstruktion spurechter Bilder greift; wenn sie ausreichend sind, verlässt es sich auf textuelle Biases.

Bedeutung und Behauptungen

Das Paper behauptet, dass treues visuelles Grounding Interventionen auf der Repräsentationsebene erfordert, nicht nur auf der Textebene.

Mechanistischer Einblick: Die Autoren liefern den ersten Beweis auf Repräsentationsebene dafür, dass Mirage-Verhalten linear kodiert und in zwei Mechanismen zerlegbar ist.
Implikationen für die Minderung: Die Unterscheidung hat direkte Folgen für Sicherheit und Alignment. Die Bereinigung der Textverteilungen (z. B. das Entfernen von Datensatz-Abkürzungen) mag textuelle Bias-Mirages reduzieren, wird aber wahrscheinlich nicht ausreichen, um Spurious-Image-Mirages zu adressieren, da letztere in den internen visuellen Repräsentationen des Modells verwurzelt sind.
Evaluierung: Das Mirage Probes Framework bietet ein diagnostisches Werkzeug, um zu bewerten, ob ein VLM seine Antworten wirklich auf visueller Evidenz basiert oder ob es dies mittels Halluzinationen im latenten Raum oder textueller Abkürzungen vortäuscht.

Die Autoren bleiben bescheiden und merken an, dass ihre Zwei-Mechanismen-Hypothese empirisch motiviert ist und in zukünftiger Arbeit durch kausale Validierung (z. B. durch Steering oder Ablation) untermauert werden muss. Sie betonen, dass ihre Labels auf Heuristiken beruhen und der zentrale Anspruch korrelativ bleibt, wobei der Ausschluss oberflächlicher Störfaktoren durch kontrastives Probing die Validität der Ergebnisse stärkt.