💬 NLP

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

Dieses Paper schlägt eine Methode vor, um Halluzinationen in Large Vision-Language Models zu mildern, indem textuelle Embeddings verfeinert werden, um die Überverlassenschaft auf Sprach-Priors zu reduzieren und eine ausgewogenere Integration visueller Hinweise zu fördern, wodurch signifikante Leistungssteigerungen über mehrere Halluzinations-Benchmarks hinweg erzielt werden.

Ursprüngliche Autoren: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „selbstbewusste Geschichtenerzähler“

Stellen Sie sich vor, Sie haben einen brillanten Geschichtenerzaller (das Large Language Model, oder LLM), der jedes Buch in der Bibliothek gelesen hat, aber noch nie ein echtes Foto gesehen hat. Sie zeigen diesem Geschichtenerzähler ein Bild einer leeren Küchenarbeitsplatte und fragen: „Was siehst du?“

Da der Geschichtenerzähler so sehr an Geschichten über Küchen gewöhnt ist, beginnt er sofort zu raten. Er könnte sagen: „Ich sehe eine dampfende Tasse Kaffee und eine Schale mit Obst“, obwohl die Arbeitsplatte völlig leer ist. Er verlässt sich auf seine Wort-Erinnerung statt darauf, das Bild anzusehen.

In der Welt der KI nennt man das Halluzination. Das Modell ist fließend und klingt klug, aber es erfindet Dinge, weil es seinem Texttraining mehr vertraut als dem visuellen Beweis.

Der aktuelle Aufbau: Die „Zweispurige Bahn“

Die meisten aktuellen KI-Modelle, die Bilder betrachten (genannt LVLMs), funktionieren wie ein Zug mit zwei separaten Gleisen, die sich ganz am Ende vereinigen:

Gleis A (Text): Die Worte des Geschichtenerzählers.
Gleis B (Vision): Die Daten des Bildes.

Das Problem ist, dass die Lokomotive (die KI) gebaut wurde, um auf Gleis A (Text) zu fahren. Wenn die beiden Gleise zusammengeführt werden, bevorzugt die Lokomotive natürlich das glatte, vertraute Gleis A. Sie ignoriert die Unebenheiten und Details auf Gleis B (dem Bild). Sie behandelt das Bild eher als einen sekundären Vorschlag denn als die Hauptfakten.

Die Lösung: „VisAlign“ – Die „bemalte Karte“

Die Forscher schlagen eine neue Methode namens VisAlign vor. Anstatt die Gleise erst am Ende zusammenzuführen, entscheiden sie sich dafür, das Bild direkt auf die Wörter zu malen, noch bevor die Geschichte überhaupt beginnt.

So machen sie es:

Der globale Schnappschuss: Zuerst wirft die KI einen schnellen, durchschnittlichen Blick auf das gesamte Bild (als würde man die Augen zusammenkneifen, um den allgemeinen Vibe eines Gemäldes zu erfassen).
Die Injektion: Sie nehmen diesen „Vibe“ und mischen ihn direkt in die DNA eines jeden einzelnen Wortes, das die KI gleich aussprechen wird.
Das Ergebnis: Wenn die KI nun an das Wort „Tasse“ denkt, ist dieses Wort nicht mehr nur eine Textdefinition; es trägt die „Textur“ des tatsächlichen Bildes in sich, das sie gerade betrachtet.

Die Analogie:
Stellen Sie sich vor, Sie geben einem Freund eine Wegbeschreibung.

Der alte Weg: Sie sagen: „Biegen Sie links an der Bäckerei ab“, aber Sie schauen auf eine Stadtkarte, auf der gar keine Bäckerei eingezeichnet ist. Sie rezitieren einfach nur ein Skript.
Der VisAlign-Weg: Sie halten die Karte in der Hand, und jedes Mal, wenn Sie „Bäckerei“ sagen, zeigen Sie physisch auf die Stelle auf der Karte. Das Wort und das Bild sind miteinander verschmolzen. Man kann nicht „Bäckerei“ sagen, ohne die Karte zu sehen.

Was passiert, wenn sie es beheben?

Die Forscher testeten diese Methode an einem Modell namens Video-LLaVA (das Videos beobachtet und Fragen beantwortet). Sie untersuchten, wie sich die „Aufmerksamkeit“ (Attention) der KI (wo sie ihre Gehirnleistung konzentriert) veränderte.

Vor VisAlign: Die KI konzentrierte sich stark auf den Anfang und das Ende des Satzes (den Text) und beachtete den mittleren Teil, in dem die Bilddaten lagen, kaum. Es war wie ein Schüler, der eine Testfrage liest, aber die dazugehörige Grafik ignoriert.
Nach VisAlign: Die KI begann, während des gesamten Satzes auf die Bilddaten zu achten. Die „Aufmerksamkeit“ wurde ausgewogen. Sie hörte auf, basierend auf dem, was normalerweise passiert, zu raten, und fing an, darauf zu achten, was tatsächlich passiert.

Die Ergebnisse: Weniger erfundene Fakten

Das Team testete die neue Methode auf mehreren „Hallucination Benchmarks“ (Tests, die darauf ausgelegt sind, die KI zum Lügen zu verleiten). Die Ergebnisse waren eindeutig:

Bessere Genauigkeit: Das Modell wurde signifikant besser darin, Dinge zu erkennen, die nicht da waren (wie einen nicht existierenden Hund), und Dinge zu beschreiben, die tatsächlich vorhanden waren.
Spezifische Gewinne:
- Bei einem Test namens MMVP-MLLM stieg die Genauigkeit um 9,33 %.
- Bei POPE (ein Test für Objekt-Halluzinationen) verbesserte sich die Genauigkeit um fast 3 %.
- Bei Merlin (ein Test zur Überprüfung, ob Objekte existieren) verbesserte sie sich um bis zu 3,4 %.
Generalisierung: Sie probierten diesen Trick auch bei anderen KI-Modellen aus (wie LLaVA 1.5 und Open-Qwen2VL), und er funktionierte auch dort. Es ist eine universelle Lösung für das „Text-über-Vision“-Problem.

Der Kompromitierung: Ein kleiner Preis zu zahlen

Die Arbeit weist auf eine kleine Einschränkung hin. Da die KI nun gezwungen ist, sich mehr auf das Bild und weniger auf ihr Weltwissen zu verlassen, könnte sie bei Fragen, die nur allgemeines Wissen erfordern (wie „Wer ist ein berühmter Schauspieler?“), etwas schlechter abschneiden. Doch für Aufgaben, die das Betrachten eines Bildes erfordern, ist die Verbesserung massiv.

Zusammenfassung

Die Arbeit argumentt, dass KI-Modelle halluzinieren, weil sie „textlastig“ und „visionsarm“ sind. Indem sie die visuellen Informationen direkt in die Textwörter mischen, bevor die KI anfängt nachzudenken, zwingen sie das Modell, das Bild zu betrachten. Diese einfache Anpassung wirkt wie ein Erdungskabel, das verhindert, dass die KI in imaginäre Geschichten abdriftet, und hält sie in der visuellen Realität verankert.

Technisches Resümee: Zur Milderung von Halluzinationen in großen visuell-linguistischen Modellen durch die Verfeinerung textueller Embeddings

1. Problemstellung

Große visuell-linguistische Modelle (Large Vision-Language Models, LVLMs) leiden häufig unter Halluzinationen: Ausgaben, die zwar linguistisch flüssig, aber faktisch falsch oder nicht durch den visuellen Input gestützt sind. Diese Fehler manifestieren sich als Objekt-Halluzinationen (Erfinden nicht existenter Gegenstände), Attribut-Halluzinationen (Fehlidentifikation von Farben oder Eigenschaften), Relations-Halluzinationen (Fabrizieren räumlicher Beziehungen) und Temporale Halluzinationen (Erfinden von Handlungen in Videos).

Die Autoren hypothetisieren, dass eine primäre Quelle dieser Halluzinationen ein Modalitäts-Ungleichgewicht ist, das in dem vorherrschenden architektonischen Paradigma verwurzelt ist. Die meisten LVLMs (z. B. Video-LLaVA, LLaVA) arbeiten dadurch, dass sie visuelle Embeddings an den Input-Token-Stream eines vortrainierten Large Language Models (LLM) anhängen. Da das LLM-Backbone ausschließlich auf Text trainiert wurde, besitzt es eine inhärente Tendenz zum sprachgesteuerten Denken. Während des Fine-Tunings neigt das Modell dazu, sich übermäßig auf textuelle Priors zu verlassen und visuelle Embeddings unterzubewerten, wobei es visuelle Token als sekundär behandelt. Dies führt zu einer asymmetrischen Aufmerksamkeitsverteilung, bei der sich das Modell stark auf die textuellen Token an den Sequenzgrenzen konzentriert und die dazwischenliegenden visuellen Token vernachlässigt, was zu Ausgaben führt, die semantisch plausibel, aber visuell nicht fundiert sind.

2. Methodik: VisAlign

Um dieses Ungleichgewicht zu adressieren, schlagen die Autoren VisAlign vor, eine Methode zur Verfeinerung textueller Embeddings durch die Integration eines globalen visuellen Kontextes bevor die Token die Transformer-Layer erreichen. Im Gegensatz zu Ansätzen, die den Attention-Mechanismus während der Inferenz modifizieren oder komplexe Cross-Attention-Module hinzufügen, operiert VisAlign auf der Repräsentationsebene, um ein ausgewogenes multimodales Denken während des Trainings zu fördern.

Der Kernmechanismus umfasst drei Schritte:

Globale visuelle Aggregation: Die projizierten visuellen Embeddings ( $V_{proj}$ ) werden mittels einer parameterfreien Pooling-Operation gemittelt, um einen einzelnen globalen visuellen Zusammenfassungsvektor ( $\hat{V}$ ) zu erstellen.
Verfeinerung der textuellen Embeddings: Dieser globale visuelle Vektor wird mit den ursprünglichen textuellen Embeddings ( $T$ ) entlang der Embedding-Dimension konkateniert. Eine lineare Projektionsschicht bildet diese fusionierte Repräsentation dann auf die ursprüngliche LLM-Embedding-Dimension ab, wodurch visuell fundierte textuelle Embeddings ( $\hat{T}$ ) entstehen.
Rekonstruktion: Die Sequenz wird rekonstruiert, indem die verfeinerten textuellen Embeddings ( $\hat{T}$ ) und die ursprünglichen visuellen Embeddings ( $V_{proj}$ ) in der Standardreihenfolge des Baseline-Modells angehängt werden.

Zentrale Designprinzipien:

Injection auf Repräsentationsebene: Visuelle Informationen werden direkt in die Sprachrepräsentation injiziert, was das Modell dazu zwingt, Embeddings zu erlernen, die sowohl textuelle als als auch visuelle Semantik tragen.
Architektur-agnostisch: Die Methode verändert nicht die Architektur des LLM-Backbones und erfordert keine komplexen Cross-Attention-Mechanismen; sie modifiziert lediglich die Input-Token-Sequenz.
Trainingsstrategie: VisAlign wird parallel zu den Standard-Pretraining- und Fine-Tuning-Stufen des Baseline-LVLM (z. B. Video-LLaVA) trainiert. In der Pretraining-Phase werden die Projektions- und linearen Schichten trainiert, während das LLM eingefroren bleibt; in der Fine-Tuning-Phase wird das gesamte Modell End-to-End trainiert.

3. Wichtigste Beiträge

Systematische Analyse des Modalitäts-Ungleichgewichts: Die Arbeit liefert empirische Belege (mittels Visualisierung der Attention-Scores), dass Standard-LVLMs eine starke Tendenz zu textuellen Tokens aufweisen, was zu einer fragmentierten Aufmerksamkeit auf visuellen Inhalten führt.
Eine einfache, effektive Minderungsstrategie: VisAlign bietet eine leichtgewichtige Lösung, die die Aufmerksamkeit rebalanciert, indem der visuelle Kontext direkt in die textuellen Tokens eingebettet wird, wodurch die Ausrichtung (Alignment) von der Attention-Stufe auf die Embedding-Stufe verschoben wird.
Generalisierbarkeit: Die Methode zeigt sich nicht nur bei Video-LLaVA, sondern auch bei anderen State-of-the-Art-Modellen wie LLaVA 1.5 und Open-Qwen2VL als effektiv.
Komplementarität: Der Ansatz erweist sich als orthogonal zu Inferenzzeit-Decoding-Strategien (z. B. Visual Contrastive Decoding), was kombinierte Verbesserungen ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten VisAlign über mehrere Halluzinations-Benchmarks hinweg und berichteten von konsistenten und statistisch signifikanten Gewinnen:

MMVP-MLLM: Erzielte eine Verbesserung der Genauigkeit um +9,33 %, was eine verbesserte feingliedrige visuelle Diskriminierung demonstriert.
POPE (A-OKVQA): Verbesserte die Genauigkeit um +2,99 %, die Präzision um +1,76 % und den F1-Score um +1,18 %, was auf eine Reduktion von Objekt-Halluzinationen hindeutet.
Merlin: Zeigte Verbesserungen von bis zu +3,4 % bei der faktischen Konsistenz und der Verifizierung der Objektexistenz.
HallusionBench: Erzielte eine Verbesserung von +3 % beim Hard-Data-Split, insbesondere bei Aufgaben, die eine visuelle Erdung gegenüber memorisiertem Wissen erfordern (z. B. Karte, OCR, Tabelle).
Mementos: Demonstrierte Gewinne im Robotik-Bereich sowohl bei Objekt- (+1,13 %) als auch bei Aktions-Halluzinationen (+0,97 %), wenngleich die Verbesserungen in komplexen Domänen wie Comics und Daily Life moderater ausfielen.
Generalisierung: Bei der Anwendung auf LLaVA 1.5 und Open-Qwen2VL reduzierte VisAlign konsistent Halluzinationen und verbesserte die Leistung auf dem POPE-Benchmark.
Vergleich: VisAlign übertraf die alleinige Anwendung der Inferenzzeit-Methode Visual Contrastive Decoding (VCD). Die Kombination von VisAlign mit VCD lieferte die höchste Gesamtleistung, was deren komplementäre Natur bestätigt.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass Halluzinationen in LVLMs fundamental mit der strukturellen Asymmetrie aktueller Architekturen verknüpft sind, in denen vortrainierte LLMs den Denkprozess dominieren. Durch die Verfeinerung der textuellen Embeddings zur Einbeziehung des globalen visuellen Kontextes zwingt VisAlign das Modell dazu, der visuellen Evidenz gleichermaßen Aufmerksamkeit zu schenken, wodurch die Abhängigkeit von linguistischen Priors reduziert wird.

Die Autoren positionieren VisAlign als einen einfachen, aber prinzipienbasierten Ansatz, der die visuelle Erdung verbessert, ohne architektonische Überarbeitungen oder externe Supervision zu erfordern. Sie merken an, dass die Methode zwar die Leistung bei visuellen Erdungsaufgaben signifikant steigert, dies jedoch zu leichten Leistungseinbußen in wissensintensiven Kategorien (z. B. Wahrzeichen, Prominente) führen kann, in denen die Abhängigkeit von memoriertem Weltwissen vorteilhaft ist. Die Arbeit zielt darauf ab, die Forschung zu Repräsentations-basiertem Alignment zu inspirieren, um die Zuverlässigkeit des multimodalen Denkens in sicherheitskritischen Anwendungen zu erhöhen.