💻 computer science

One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

Die Arbeit stellt ein einheitliches, trainingsfreies Framework vor, das durch die gezielte Manipulation von Vision-Tokens – einerseits durch Integration augmentierter Tokens zur Stärkung visueller Repräsentationen und andererseits durch das Entfernen von Tokens zur Erzeugung negativer Latent-Space-Beispiele – Halluzinationen in Multimodalen Large Language Models effektiv reduziert und dabei die POPE-Accuracy auf LLaVA-1.5 um durchschnittlich 2 % steigert.

Ursprüngliche Autoren: Zhan Fa, Yue Duan, Jian Zhang, Lei Qi, Yinghuan Shi

Veröffentlicht 2026-03-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhan Fa, Yue Duan, Jian Zhang, Lei Qi, Yinghuan Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein Multimodales Large Language Model (MLLM) ist wie ein sehr gut ausgebildeter, aber etwas eingebildeter Reiseleiter.

Er kennt die Welt auswendig (das ist sein riesiges Textwissen) und hat eine Kamera (das ist das Bild, das er sieht). Wenn du ihn fragst: „Was siehst du auf diesem Bild?", sollte er genau hinschauen und beschreiben, was da ist.

Das Problem ist: Der Reiseleiter ist so an sein eigenes Wissen gewöhnt, dass er manchmal halluziniert. Er sagt Dinge, die gar nicht da sind, nur weil er denkt, sie müssten da sein (z. B. „Da ist ein Hund", obwohl auf dem Bild nur eine Katze ist). Er ignoriert die Kamera zugunsten seiner eigenen Vorstellung.

Bisherige Lösungen waren wie zwei verschiedene, getrennte Teams, die versuchten, das Problem zu lösen, aber sich dabei im Weg standen:

Team Kamera: Sie schrien dem Reiseleiter zu: „Schau genauer hin!" (Verstärkung des Bildsignals). Aber der Reiseleiter war so sehr in seine eigenen Gedanken vertieft, dass er das Schreien oft ignorierte.
Team Text: Sie sagten dem Reiseleiter: „Hör auf, Dinge zu erfinden, die nicht da sind!" (Unterdrückung des Textwissens). Aber um das zu tun, zeigten sie ihm oft ein verpixeltes, kaputtes Bild. Das verwirrte ihn nur noch mehr und brachte neues Rauschen in die Situation.

Die Autoren dieses Papers sagen: „Warum machen wir das nicht zusammen?"

Sie haben eine neue, einheitliche Methode entwickelt, die wie ein geschickter Regisseur agiert, der direkt mit dem „Auge" des Reiseleiters (den sogenannten Vision Tokens) spricht. Sie nutzen das Bild auf zwei völlig unterschiedliche, aber perfekte Arten gleichzeitig:

1. Die „Verstärker-Brille" (Synergistic Visual Calibration)

Stell dir vor, der Reiseleiter trägt eine Brille, die das Bild etwas unscharf macht, weil er so schnell redet.

Die Lösung: Der Regisseur nimmt das Originalbild und macht eine zweite Version davon, die leicht verändert ist (z. B. gespiegelt oder mit leichtem Rauschen).
Der Trick: Er zeigt dem Reiseleiter beide Bilder gleichzeitig. Das Original und die veränderte Version ergänzen sich wie Puzzle-Teile. Wo das eine Bild unscharf ist, ist das andere scharf.
Das Ergebnis: Der Reiseleiter bekommt ein viel klareres, vollständigeres Bild des Geschehens und kann sich besser darauf konzentrieren, anstatt in seine eigenen Gedanken abzudriften.

2. Der „Geister-Test" (Causal Representation Calibration)

Jetzt müssen wir den Reiseleiter davon überzeugen, dass er nicht alles wissen muss, was er auswendig gelernt hat.

Das Problem: Früher haben Forscher versucht, das Bild zu verzerren (wie ein verpixeltes Foto), um dem Reiseleiter zu zeigen: „Siehst du? Wenn das Bild schlecht ist, erfindest du Dinge." Das Problem war: Das verpixelte Bild war so schlecht, dass es gar nichts mehr mit der Realität zu tun hatte.
Die neue Lösung: Der Regisseur nimmt das Bild und entfernt einfach ein paar winzige Details (er löscht ein paar „Pixel-Informationen" im Inneren des Gehirns, nicht auf dem Foto selbst).
Der Trick: Er fragt den Reiseleiter: „Was siehst du, wenn diese winzigen Details fehlen?" Da das Bild immer noch fast komplett ist, antwortet der Reiseleiter fast genauso, aber er ist gezwungen, sich auf das zu verlassen, was wirklich da ist, und nicht auf seine Fantasie.
Das Ergebnis: Der Regisseur vergleicht die Antwort des Reiseleiters mit der „fast-leeren" Version. Der Unterschied zeigt ihm genau, wo er anfängt zu lügen. Er kann diese „Lügen-Richtung" dann aus seinem Gehirn löschen.

Warum ist das genial?

Statt zwei separate Teams zu haben, die sich streiten, nutzt diese Methode ein einziges Werkzeug (das Bild) für zwei Zwecke:

Es dient als Verstärker, um das Bild klarer zu machen.
Es dient als Test, um die Lügen des Modells aufzudecken.

Das Ergebnis

Durch diese „Einheitliche Kalibrierung" wird der Reiseleiter wieder ehrlich. Er sieht die Dinge so, wie sie sind, und erfindet keine Hunde, wo keine sind.

Genauigkeit: Er wird deutlich besser (ca. 2 % mehr Treffer bei Tests).
Geschwindigkeit: Er wird nicht langsamer. Es kostet ihn nur einen winzigen Bruchteil mehr Zeit (wie eine Sekunde pro Minute), was im Vergleich zu anderen Methoden ein riesiger Vorteil ist.

Zusammenfassend: Die Autoren haben herausgefunden, dass man das „Auge" des KI-Modells nicht nur lauter machen oder das „Gehirn" nur drehen muss. Man muss das Auge clever nutzen, um dem Gehirn gleichzeitig zu helfen, klarer zu sehen und zu erkennen, wo es sich selbst täuscht. Alles mit einem einzigen, eleganten Trick.

1. Problemstellung: Das Halluzinations-Problem in MLLMs

Multimodale Large Language Models (MLLMs) leiden unter einem kritischen Mangel: Halluzinationen. Dabei generieren die Modelle flüssigen Text, der im Widerspruch zu den visuellen Beweisen steht.

Ursache: Das Paper identifiziert ein fundamentales Ungleichgewicht zwischen visuellen und sprachlichen Signalen. Während der Textgenerierung schwächt sich das visuelle Signal (die Aufmerksamkeit auf das Bild) zunehmend ab, während die starke innere Sprachpriorität (Text-Inertia) des Modells die Generierung übernimmt.
Limitierung bestehender Ansätze: Bisherige training-freie Methoden behandeln dieses Problem getrennt:
- Visuelle Verstärkung: Erhöht die Aufmerksamkeit für Bild-Token, scheitert aber oft an der dominanten Sprachpriorität.
- Text-Unterdrückung: Nutzt kontrastives Decoding mit negativen Beispielen (oft durch Verzerrung des Eingabebildes), führt aber durch das Erzeugen von „Rauschen" (Out-of-Distribution) zu instabilen Ergebnissen.
- Naive Kombination: Das einfache Aneinanderreihen dieser getrennten Ansätze führt zu keinen Verbesserungen, da sie auf unterschiedlichen Ebenen (Aufmerksamkeitsstufe vs. Logits-Ebene) und zu unterschiedlichen Zeitpunkten eingreifen.

2. Methodik: Ein einheitliches Framework auf Latent-Ebene

Die Autoren schlagen ein einheitliches, training-freies Framework vor, das ausschließlich auf der Manipulation von Vision-Token (visuellen Repräsentationen) in den latenten Räumen des Modells basiert. Das Ziel ist die Wiederherstellung des Gleichgewichts zwischen Vision und Sprache durch zwei synergistische Module.

Kernideen (Findings)

Semantische Komplementarität: Augmentierte Bilder (z. B. durch Flip, Blur, Rauschen) liefern komplementäre visuelle Semantiken, die die visuelle Verankerung stärken.
Information Gap vs. Modality Gap: Das Entfernen von Token im latenten Raum (Information Gap) erzeugt stabilere negative Stichproben zur Bias-Erkennung als das Verzerrn von Pixeln auf Bildebene (Modality Gap), was zu Rauschen führt.

Die zwei Module des Frameworks

A. Synergistic Visual Calibration (SVC) – Zur Verstärkung

Ziel: Dem „visuellen Verblassen" (Visual Fading) entgegenwirken.
Mechanismus:
- Es wird eine augmentierte Version des Eingabebildes erstellt ( $I_{aug}$ ).
- Die Vision-Token des Originalbildes ( $V$ ) und des augmentierten Bildes ( $V_{aug}$ ) werden zu einem synergistischen visuellen Speicher ( $V_{syn}$ ) verkettet.
- In einer kritischen mittleren Schicht ( $L_c$ ) wird dieser Speicher als Key und Value in einen Attention-Mechanismus eingespeist, der auf den Hidden States des Modells als Query wirkt.
- Der resultierende Kontext wird interpoliert in den ursprünglichen Hidden State integriert, um die visuelle Repräsentation zu bereichern, ohne die Decodierungsebene zu verlassen.

B. Causal Representation Calibration (CRC) – Zur Unterdrückung

Ziel: Die „Halluzinations-Richtung" (Bias) neutralisieren.
Mechanismus:
- Es werden „Latent-Space Negative Samples" erstellt, indem zufällig Vision-Token aus der Sequenz entfernt (gepruned) werden, sodass nur wenige Token ( $N_h=5$ ) übrig bleiben. Dies erzeugt einen „Information Gap".
- Das Modell führt parallele Durchläufe für das Original und die negativen Samples durch.
- Die Differenz zwischen den Hidden States ( $\Delta H$ ) wird berechnet und gemittelt, um einen stabilen Halluzinations-Direktionsvektor ( $v_{crc}$ ) zu extrahieren. Dieser Vektor repräsentiert den reinen Bias des Modells, da der visuelle Input degradiert ist.
- Bei der Generierung wird dieser Vektor von den aktuellen Hidden States subtrahiert (in normalisiertem Raum), um die Repräsentation von der Bias-Richtung wegzubewegen und zur „visuellen Wahrheit" zurückzuführen.

3. Hauptbeiträge

Neudefinition des Problems: Die Autoren reframen Halluzinationsminderung als ein Problem des Vision-Language-Gleichgewichts und zeigen die Grenzen getrennter Ansätze sowie das Scheitern naiver Kombinationen auf.
Einheitliches Framework: Sie präsentieren das erste training-freie Framework, das Verstärkung (SVC) und Unterdrückung (CRC) harmonisiert, indem es die Dualität der Vision-Token nutzt.
Effizienz und Modularität: Die Einführung von SVC und CRC als effiziente Module, die direkt auf latenten Repräsentationen operieren und keine Nachtrainierung erfordern.

4. Ergebnisse

Das Framework wurde auf vier verschiedenen MLLM-Architekturen (LLaVA-1.5, Shikra, MiniGPT-4, InstructBLIP) und mehreren Benchmarks evaluiert:

POPE (Object Hallucination): Das Framework erreicht auf dem LLaVA-1.5-Modell eine durchschnittliche Genauigkeit von 81,54% (GQA-Split), was einen Anstieg von ca. 2% absolut gegenüber dem Vanilla-Modell und den besten vorherigen Methoden (wie VCD, PAI, VISTA) darstellt.
CHAIR (Halluzinierte Objekte in Captions): Es wurden die besten Ergebnisse bei den CHAIRI- und CHAIRS-Scores erzielt (z. B. 18,1 bei LLaVA-1.5 für 64 Tokens), was eine effektive Unterdrückung nicht-verankerter Objekterzeugung belegt.
Allgemeine Fähigkeiten (MME & MMHal-Bench): Das Modell verbessert nicht nur die Halluzinationsrate, sondern steigert auch die allgemeine Wahrnehmungs- und Kognitionsfähigkeit (Perception/Cognition Scores auf MME), was zeigt, dass die Korrektur nicht auf Kosten der allgemeinen Leistung geht.
Effizienz: Der Overhead ist minimal. Die Inferenz-Latenz steigt nur um den Faktor 1,06x im Vergleich zum Greedy-Decoding. Dies ist deutlich effizienter als vergleichbare Methoden wie VCD (2,4x) oder VISTA (1,1x). Der GPU-Speicherbedarf bleibt ebenfalls gering.

5. Bedeutung und Fazit

Die Arbeit ist signifikant, da sie zeigt, dass eine einheitliche Behandlung von Vision- und Sprachsignalen auf der Ebene der latenten Repräsentationen notwendig ist, um Halluzinationen effektiv zu bekämpfen.

Statt getrennter Patches bietet das Framework einen kohärenten Ansatz, der die Stärken von augmentierten Daten (für Verstärkung) und latentem Pruning (für Bias-Entfernung) kombiniert.
Die Methode ist training-frei, was sie für den Einsatz in bereits existierenden, großen Modellen ohne teures Fine-Tuning praktikabel macht.
Die Ergebnisse belegen, dass durch die gezielte Manipulation von Vision-Token das Gleichgewicht zwischen visueller Evidenz und sprachlicher Vorhersage wiederhergestellt werden kann, was zu robusteren und zuverlässigeren multimodalen KI-Systemen führt.