💬 NLP

Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding

Das Papier stellt ReVisiT vor, eine trainingsfreie Dekodierungsmethode, die Halluzinationen in Large Vision Language Models durch die dynamische Projektion relevanter visueller Semantik aus Vision-Token in den Textgenerierungsprozess reduziert und dabei eine überlegene Leistung bei verringerten Rechenkosten erzielt.

Ursprüngliche Autoren: Beomsik Cho, Jaehyung Kim

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Beomsik Cho, Jaehyung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „tagträumende" Künstler

Stellen Sie sich vor, Sie beauftragen einen brillanten Künstler (ein Large Vision-Language Model, oder LVLM), ein Foto zu beschreiben, das Sie ihm zeigen. Sie zeigen ihm ein Bild eines roten Apfels auf einem Tisch.

Im Idealfall betrachtet der Künstler das Foto und sagt: „Das ist ein roter Apfel."
Manchmal lässt sich der Künstler jedoch von seinen eigenen inneren Gedanken ablenken. Er könnte sagen: „Das ist ein roter Apfel ... und auch eine Banane und eine Pizza", obwohl diese Dinge gar nicht auf dem Bild zu sehen sind. Dies nennt man Halluzination.

Die Frage des Papers lautet: Warum passiert das?
Die Forscher entdeckten, dass der Künstler den Apfel in seinem „geistigen Auge" (den visuellen Daten) tatsächlich korrekt sieht, aber wenn er zu sprechen beginnt, durch das Rauschen seines eigenen Wortschatzes verwirrt wird. Er kennt die Wahrheit, vergisst sie aber zu sagen, weil er sich zu sehr darauf konzentriert, welche Wörter normalerweise zusammengehören (wie „Apfel" und „Kuchen"), statt darauf, was tatsächlich auf dem Foto zu sehen ist.

Die Entdeckung: Die „versteckten Notizen"

Das Team untersuchte genau, wie diese KI-Modelle funktionieren. Sie fanden heraus, dass das Modell das Bild in winzige Häppchen zerlegt, die Vision Tokens genannt werden. Stellen Sie sich diese Tokens wie kleine Klebezettel vor, die an verschiedenen Teilen des Bildes haften.

Die Klebezettel sind schlau: Selbst wenn die KI einen Fehler macht (eine Banane halluziniert), enthalten die Klebezettel auf dem Bild immer noch die korrekten Informationen über den Apfel. Die visuelle Wahrheit ist da, nur vergraben.
Das Übersetzungsproblem: Wenn die KI versucht, diese Klebezettel in Wörter umzuwandeln, wird es chaotisch. Wenn Sie die KI fragen: „Welches Wort repräsentiert dieser Klebezettel?", ohne irgendwelche Regeln vorzugeben, könnte sie raten: „Himmel", „blau" oder „Textur". Es ist zu vage.
Der magische Filter: Die Forscher stellten fest, dass die Klebezettel plötzlich sehr klar werden, wenn Sie die Frage mit einem Filter versehen – indem Sie die KI auffordern, nur aus einer spezifischen Liste relevanter Wörter (wie „Apfel", „Obst", „rot") zu wählen. Die KI kann endlich sagen: „Ah! Diese Notiz bedeutet definitiv 'Apfel'!"

Die Lösung: ReVisiT (Referencing Vision Tokens)

Basierend darauf entwickelten die Autoren eine neue Methode namens ReVisiT. Es ist, als würde man dem Künstler während des Sprechens eine „Spickzettel" geben, ohne dass man den Künstler neu ausbilden oder einen neuen einstellen muss.

So funktioniert ReVisiT, Schritt für Schritt:

Der Kontext-Check: Während die KI beginnt, einen Satz zu schreiben, betrachtet ReVisiT, worüber die KI gerade nachdenkt.
Der Filter: Es wird eine kleine, relevante Liste von Wörtern basierend auf diesem Kontext erstellt (z. B. wenn der Satz über eine Küche handelt, enthält die Liste „Tasse", „Löffel", „Apfel", aber nicht „Flugzeug").
Das Abgleichen: ReVisiT betrachtet alle „Klebezettel" (Vision Tokens) aus dem Bild und fragt: „Welcher dieser Notizen passt am besten zu unserer aktuellen Wortliste?" Es wählt die eine beste Übereinstimmung aus.
Der Anstoß: Es nimmt diesen gewinnenden Klebezettel und schiebt die nächste Wortwahl der KI sanft in diese Richtung. Es ist, als würde man flüstern: „Hey, erinnerst du dich an diese Notiz? Sie sagt 'Apfel', nicht 'Banane'."

Warum das cool ist

Kein Training erforderlich: Sie müssen der KI nichts Neues beibringen. Sie ändern nur, wie sie spricht, während sie spricht.
Super schnell: Da es sich nur um eine schnelle mathematische Prüfung und einen „Anstoß" handelt, verlangsamt es die KI nicht. Tatsächlich ist es fast genauso schnell wie die Standard-Sprechweise.
Überall funktionsfähig: Sie testeten es an vielen verschiedenen KI-Modellen (von klein bis sehr groß) und bei vielen verschiedenen Aufgaben (Bilder beschreiben, Fragen beantworten, Objekte erkennen). Es reduzierte konsequent das „Tagträumen" (Halluzinationen) und machte die Beschreibungen genauer.

Die Analogie: Der Bibliothekar und das Buch

Stellen Sie sich vor, die KI ist ein Schüler, der eine Prüfung schreibt.

Die Vision Tokens sind die Lehrbücher, die der Schüler auf seinem Schreibtisch offen vor sich hat. Der Schüler hat die richtigen Antworten in den Büchern.
Die Halluzination passiert, weil der Schüler versucht, die Antwort aus dem Gedächtnis zu erraten, während er die Bücher ignoriert, oder die Bücher sind auf die falsche Seite aufgeschlagen.
ReVisiT ist ein Bibliothekar, der herankommt, sich die Frage ansieht, auf die genaue Seite im Lehrbuch zeigt, die die Antwort enthält, und sagt: „Lies diesen Teil." Der Schüler liest dann die richtige Antwort aus dem Buch, anstatt zu raten.

Zusammenfassung

Das Paper beweist, dass KI-Modelle die Wahrheit in ihren visuellen Daten bereits „sehen", aber oft versagen, sie auszusprechen, weil sie in ihren eigenen Wortassoziationen verloren gehen. ReVisiT ist ein einfaches, kostenloses Werkzeug, das als Brücke fungiert und das Modell zwingt, auf seine eigenen visuellen Notizen zu schauen und sie zu nutzen, um seine Sprache zu korrigieren, was zu weniger Lügen und genaueren Beschreibungen führt.

Technische Zusammenfassung: ReVisiT – Aufdeckung visueller Semantik in Vision-Tokens zur Steuerung der LVLM-Decodierung

Problemstellung

Large Vision-Language Models (LVLMs) integrieren visuelle Wahrnehmung mit Sprachverständnis, leiden jedoch häufig unter Objekthalluzinationen, bei denen das Modell Text generiert, der Objekte beschreibt, die im Eingabebild nicht vorhanden sind. Während die visuellen Informationen in „Vision-Tokens" innerhalb der versteckten Zustände des Modells kodiert sind, bleibt der Mechanismus, durch den diese Tokens den Decodierungsprozess beeinflussen, weitgehend unerforscht. Bestehende Ansätze behandeln Vision-Tokens oft als statische auxiliary Kontexte oder verlassen sich auf komplexe Trainingspipelines und Mehrfach-Inferenz, um Halluzinationen zu mindern. Das zentrale behandelte Problem besteht darin, wie die intrinsische semantische Information innerhalb der Vision-Tokens während des Decodierungsprozesses effektiv genutzt werden kann, ohne Architekturmodifikationen oder zusätzliches Training.

Methodik: ReVisiT

Die Autoren schlagen ReVisiT (Referencing Vision Tokens) vor, eine trainingsfreie, modellagnostische Decodierungsstrategie, die darauf ausgelegt ist, die Textgenerierung durch dynamische Referenzierung der relevantesten Vision-Tokens zu steuern. Die Methode arbeitet in drei Hauptschritten zu jedem Decodierungsschritt $t$ :

Kontextbewusste Konstruktion eines Vokabular-Teilsets:
Anstatt über das gesamte Vokabular zu operieren, schränkt ReVisiT den Vokabularraum dynamisch auf ein Teilset $V_t^{cons}$ ein. Dieses Teilset wird adaptiv basierend auf der vanilla-Ausgabeverteilung $p_\theta$ des LVLM definiert und behält Tokens mit Wahrscheinlichkeiten über einem Schwellenwert $\alpha \cdot \max(p_\theta)$ bei. Diese Einschränkung reduziert semantische Ablenkung und fokussiert die Decodierung auf plausible Kandidaten.
Auswahl von Vision-Tokens via eingeschränkter Divergenz:
Die Methode projiziert die versteckten Zustände der Vision-Tokens ( $h_i^j$ ) aus Kandidaten-Decodierschichten $j$ auf das eingeschränkte Vokabular-Teilset $V_t^{cons}$ . Anschließend wird die Jensen-Shannon-Divergenz (JSD) zwischen der vanilla-Ausgabeverteilung und jeder projizierten Vision-Token-Verteilung berechnet. Der Vision-Token $(i^*, j^*)$ mit der minimalen JSD wird als das kontextuell relevanteste Referenzsignal ausgewählt.
- Optimierung: Um Effizienz zu gewährleisten, werden Projektionen der Vision-Tokens über das gesamte Vokabular einmal vor der Decodierung vorausberechnet. Während der Decodierung werden diese zwischengespeicherten Projektionen geschnitten und maskiert, um zum dynamischen Teilset $V_t^{cons}$ zu passen, wodurch zusätzliche Forward-Passes vermieden werden.
Logit-Verfeinerung:
Die vanilla-Ausgabeverteilung wird verfeinert, indem sie mit der Verteilung des ausgewählten Vision-Tokens fusioniert wird. Dies wird durch Addition im Log-Raum erreicht (entspricht einer Produkt-von-Experten-Kombination im Wahrscheinlichkeitsraum):
$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$
Die finale Verteilung wird über das eingeschränkte Teilset normalisiert, und das nächste Token wird aus dieser verfeinerten Verteilung gesampelt.

Hauptbeiträge

Empirische Erkenntnisse zu Vision-Tokens:
Die Arbeit liefert quantitative und qualitative Belege dafür, dass Vision-Tokens intrinsisch interpretierbare objektspezifische Semantik kodieren. Die Autoren zeigen, dass diese Signale zwar unter unbeschränkter Decodierung oft latent bleiben (wobei halluzinierte Objekte ausgewählt werden können, obwohl Ground-Truth-Objekte hohe Wahrscheinlichkeiten aufweisen), sie jedoch explizit und gut abgestimmt werden, wenn sie über semantisch kohärente Vokabular-Teilsets projiziert werden.
ReVisiT-Algorithmus:
Die Einführung einer einfachen, trainingsfreien Decodierungsmethode, die kontextbewusste eingeschränkte Divergenz nutzt, um Vision-Tokens auszuwählen und zu referenzieren. Dieser Ansatz verfeinert Token-Level-Logits, um visuelle Semantik besser zu integrieren, ohne externe Module, Architekturänderungen oder Mehrfach-Inferenz zu benötigen.
Umfassende Validierung:
Die Methode wird über sechs Modellgrößen (von 7B bis 32B Parametern) validiert, die drei verschiedene Architekturen umfassen (LLaVA-1.5, Qwen2.5-VL und InternVL). Die Evaluation deckt fünf Benchmarks ab, darunter halluzinationsspezifische Datensätze (HallusionBench, CHAIR, POPE) und allgemeine Aufgaben (VQAv2, MMMU).

Experimentelle Ergebnisse

Reduktion von Halluzinationen: ReVisiT reduziert Halluzinationen konsistent über alle getesteten Architekturen hinweg. Auf dem CHAIR-Benchmark erzielt es wettbewerbsfähige oder überlegene F1-Scores im Vergleich zu State-of-the-Art-Baselines (z. B. DoLa, VCD, M3ID), während die Objektabdeckung erhalten bleibt oder verbessert wird. Auf HallusionBench erzielt es für mehrere Modelle die besten Scores bei vier von fünf Metriken.
Generalisierung: Die Methode zeigt Robustheit bei diskriminativen Aufgaben (POPE, VQAv2) und wissensintensivem Schlussfolgern (MMMU), was darauf hindeutet, dass die durch ReVisiT aufgedeckten visuellen Grounding-Signale über verschiedene Aufgabentypen hinweg generalisieren.
Effizienz: Im Gegensatz zu Baseline-Methoden, die zusätzliche Forward-Passes (z. B. VCD, CODE) oder Projektionen auf Zwischenschichten (DoLa) erfordern, erhöht ReVisiT die Inferenz-Latenz nur um 0,6 % bis 2,0 %. Es erreicht eine bis zu 2-fache Reduktion der Rechenkosten im Vergleich zu Baselines mit Mehrfach-Passes.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ReVisiT zeigt, dass Vision-Tokens intrinsisch interpretierbare Semantik kodieren, die durch semantisch kohärente Einschränkungen freigeschaltet werden kann. Indem diese Semantik explizit im Sprachraum offengelegt wird, bietet die Methode ein interpretierbares Führungssignal für die Generierung.

Die Autoren positionieren ReVisiT als skalierbare und breit anwendbare Lösung, die das visuelle Grounding verbessert, ohne den Rechenaufwand bestehender intra-Alignment- oder Post-Alignment-Methoden. Sie betonen, dass die Wirksamkeit der Methode über diverse Modellgrößen und Architekturen hinweg darauf hindeutet, dass die vorgeschlagene kontextbewusste eingeschränkte Divergenz ein fundamentales Decodierungssignal erfasst und keine benchmark-spezifische Heuristik ist.

Anerkannte Einschränkungen:
Die Autoren stellen fest, dass ReVisiT stark auf der Semantik beruht, die in den internen Vision-Tokens des Modells kodiert ist, was zu einer Überbetonung wahrnehmungsgestützter Elemente auf Kosten impliziten gesunden Menschenverstands führen kann. Ferner kann die Methode als Decodierungszeit-Methode keine faktischen Fehler korrigieren, die aus den Pretraining-Daten stammen, wenn visuelle Beweise unzureichend sind, und integriert keine externe Wissensabrufung, obwohl sie mit Retrieval-Augmented Generation (RAG)-Pipelines kompatibel bleibt. Die Evaluation ist derzeit auf Open-Source-Modelle im Bereich von 7–32 Milliarden Parametern beschränkt.