💻 computer science

CAST: Mitigating Object Hallucination in Large Vision-Language Models via Caption-Guided Visual Attention Steering

Das Papier schlägt CAST vor, eine trainingsfreie und Plug-and-Play-Methode, die Objekthaluzinationen in Large Vision-Language-Modellen mindert, indem sie kapitelgesteuerte Aufmerksamkeitsmuster nutzt, um die visuelle Wahrnehmung zu steuern, ohne die Inferenzkosten signifikant zu erhöhen.

Ursprüngliche Autoren: Qiming Li, Zekai Ye, Xiaocheng Feng, Weihong Zhong, Libo Qin, Ruihan Chen, Lei Huang, Baohang Li, Kui Jiang, Yaowei Wang, Ting Liu, Bing Qin

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qiming Li, Zekai Ye, Xiaocheng Feng, Weihong Zhong, Libo Qin, Ruihan Chen, Lei Huang, Baohang Li, Kui Jiang, Yaowei Wang, Ting Liu, Bing Qin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „übermäßig selbstbewusste Künstler"

Stellen Sie sich ein großes Vision-Language-Modell (LVLM) als einen sehr talentierten Künstler vor, der Millionen von Bildern gesehen und Millionen von Büchern gelesen hat. Dieser Künstler ist hervorragend darin, zu beschreiben, was er sieht. Allerdings hat er eine schlechte Angewohnheit: er halluziniert manchmal.

Wenn Sie ihm ein Bild eines Motorrads zeigen, sagt er vielleicht selbstbewusst: „Ich sehe ein Motorrad und einen Helm", obwohl kein Helm auf dem Bild zu sehen ist. Er ist so daran gewöhnt, Helme in Verbindung mit Motorrädern in seinen Trainingsdaten zu sehen, dass er einfach annimmt, der Helm sei vorhanden. Er priorisiert sein Gedächtnis gegenüber dem, was tatsächlich vor seinen Augen liegt.

Die Entdeckung: Der „Caption-Schalter"

Die Forscher stellten etwas Faszinierendes über die Denkweise dieses Künstlers fest. Sie entdeckten, dass sich der Künstler unterschiedlich verhält, je nachdem, wie Sie ihn fragen:

Der „Caption"-Modus: Wenn Sie fragen: „Bitte beschreiben Sie dieses Bild im Detail", wird der Künstler hyperfokussiert auf die tatsächlichen Pixel des Bildes. Er betrachtet jeden Teil des Bildes genau.
Der „Frage"-Modus: Wenn Sie eine spezifische Frage stellen wie: „Ist ein Helm auf dem Bild?", wird der Künstler abgelenkt. Er verlässt sich mehr auf sein Gedächtnis und seine Annahmen, was zu diesen falschen „Halluzinationen" führt.

Die Analogie: Betrachten Sie den Künstler als Detektiv.

Wenn Sie ihn bitten, „einen vollständigen Bericht zu schreiben" (Caption-Abfrage), untersucht er akribisch jeden Hinweis auf dem Tatortfoto.
Wenn Sie ihn eine „Ja/Nein-Frage" stellen (Nicht-Caption-Abfrage), wird er ungeduldig, überspringt das Foto und rät die Antwort basierend darauf, was er glaubt, was normalerweise passiert.

Die Lösung: CAST (Das „Lenkrad für die Aufmerksamkeit")

Die Forscher entwickelten eine Methode namens CAST (Caption-gesteuerte visuelle Aufmerksamkeit). Sie wollten den Künstler nicht neu ausbilden (was Jahre dauern und ein Vermögen kosten würde). Stattdessen wollten sie dem Künstler ein „Lenkrad" geben, um seinen Fokus während der Beantwortung von Fragen zu korrigieren.

So funktioniert CAST in drei einfachen Schritten:

1. Finden der „Fokus-Köpfe" (Probing)

Innerhalb des KI-Modells gibt es Tausende von winzigen „Attention Heads" (denken Sie an sie als verschiedene kleine Arbeiter in einer Fabrik). Die Forscher verwendeten einen Test, um herauszufinden, welche spezifischen Arbeiter aufleuchten, wenn sich der Künstler im „Caption-Modus" befindet (das Bild genau betrachtet) versus im „Frage-Modus" (Raten).

Die Metapher: Sie identifizierten die spezifischen Arbeiter, die die „Detailorientierten Inspektoren" sind. Das sind diejenigen, die tatsächlich das Foto betrachten, anstatt zu raten.

2. Berechnen des „Korrekturvektors" (Schätzung)

Die Forscher maßen genau, wie stark sich das Verhalten dieser „Detailorientierten Inspektoren" ändert, wenn sie von einer Schätzung zu einer detaillierten Beschreibung wechseln. Sie berechneten einen „Shift-Vektor" – eine mathematische Richtung, die „genaueres Hinsehen auf das Bild" darstellt.

Die Metapher: Es ist wie das Messen des Unterschieds zwischen einer faulen Schätzung und einer sorgfältigen Inspektion. Sie erstellten eine „Karte", die genau zeigt, wie man das Gehirn des Künstlers zu einer sorgfältigen Inspektion lenken kann.

3. Lenken der Aufmerksamkeit (Inference-Time Intervention)

Nun, wenn der Künstler eine knifflige Frage gestellt bekommt (wie „Ist ein Helm vorhanden?"), drückt CAST die „Detailorientierten Inspektoren" sanft dazu, sich so zu verhalten, als wären sie im „Caption-Modus". Es zwingt sie, die Bildpixel erneut zu betrachten, bevor sie antworten.

Die Metapher: Stellen Sie sich vor, der Künstler steht kurz davor, zu raten: „Ja, es gibt einen Helm." Kurz bevor er spricht, gibt CAST ihm einen sanften Klaps auf die Schulter und sagt: „Warte! Schau dir das Foto noch einmal an, genau so, als würdest du eine vollständige Beschreibung schreiben." Der Künstler schaut, sieht, dass kein Helm vorhanden ist, und korrigiert seine Antwort zu „Nein".

Warum dies besonders ist

Kein Neulernen erforderlich: Normalerweise muss man, um eine schlechte Angewohnheit zu beheben, den Künstler monatelang zurück in die Schule schicken (Neu-Training). CAST ist wie eine schnelle Erinnerungsnote. Es funktioniert sofort, ohne das Gehirn des Modells zu verändern.
Schnell und günstig: Andere Methoden versuchen, das Modell dazu zu zwingen, zweimal nachzudenken, indem sie die Frage mehrfach durch das System laufen lassen, was langsam ist. CAST justiert lediglich den internen Fokus, sodass es fast keine Verzögerung hinzufügt.
Überall wirksam: Die Forscher testeten dies an fünf verschiedenen Arten von KI-Modellen und fünf verschiedenen Tests. In jedem Fall machten die Modelle weniger Fehler bezüglich Objekten, die nicht vorhanden waren.

Die Ergebnisse

Durch die Anwendung dieser „Lenk"-Technik reduzierten die Modelle ihre Objekthalluzinationen (das Erfinden von Dingen) im Durchschnitt um 6 %. Noch wichtiger ist, dass sie ihre Fähigkeit nicht verloren, andere Fragen korrekt zu beantworten; sie wurden lediglich ehrlicher darüber, was sie tatsächlich auf dem Bild sahen.

Kurz gesagt: CAST lehrt die KI aufzuhören zu raten und anzufangen zu schauen, indem sie die Gewohnheiten des „sorgfältigen Schauens" übernimmt, die sie bereits hat, wenn sie gebeten wird, ein Bild zu beschreiben, und diese auf jede Frage anwendet, die sie beantwortet.

Technische Zusammenfassung: CAST – Minderung von Objekthalluzinationen in großen Vision-Language-Modellen durch caption-gesteuerte visuelle Aufmerksamkeitsschwenkung

1. Problemstellung

Große Vision-Language-Modelle (LVLMs) haben auf nachgelagerten Aufgaben eine bemerkenswerte Leistung erzielt, leiden jedoch häufig unter Objekthalluzinationen, bei denen das Modell Inhalte generiert, die vom visuellen Input abweichen oder ihm widersprechen. Bestehende Minderungsstrategien fallen im Allgemeinen in zwei Kategorien, die beide erhebliche Einschränkungen aufweisen:

Trainingsbasierte Methoden: Diese verlassen sich auf sorgfältig kuratierte Datensätze und teure manuelle Annotationen oder Bestärkendes Lernen (z. B. RLHF), was hohe Rechen- und Datenkosten verursacht.
Trainingsfreie Decodierungsstrategien: Methoden wie kontrastives Decodieren (z. B. VCD, OPERA) erhöhen oft die Inferenzlatenz erheblich, was sie für Echtzeitanwendungen weniger praktikabel macht.

Darüber hinaus deuten Interpretierbarkeitsstudien darauf hin, dass unzureichende Aufmerksamkeit für visuelle Informationen eine Hauptursache für Halluzinationen ist. Allerdings adressieren nur wenige Methoden dies explizit, indem sie die visuelle Wahrnehmung verbessern, ohne Modellparameter zu ändern oder einen hohen Inferenzaufwand einzuführen.

2. Methodik: Caption-gesteuerte visuelle Aufmerksamkeitsschwenkung (CAST)

Die Autoren schlagen CAST vor, eine trainingsfreie, Plug-and-Play-Methode, die Objekthalluzinationen mindert, indem sie die Aufmerksamkeitsmechanismen des Modells während der Inferenz steuert. Die zentrale Erkenntnis, die CAST antreibt, ist die Beobachtung, dass Caption-Abfragen (z. B. „Bitte beschreiben Sie dieses Bild im Detail") in bestimmten Aufmerksamkeitsköpfen eine signifikant verstärkte visuelle Aufmerksamkeit auslösen als Nicht-Caption-Abfragen (z. B. „Ist ein Helm im Bild?").

CAST arbeitet in drei distincten Phasen:

A. Caption-gesteuerte Aufmerksamkeitsköpfe-Probe

Die Methode identifiziert zunächst „caption-gesteuerte Aufmerksamkeitsköpfe" – spezifische Köpfe innerhalb der Transformer-Schichten, die eine starke Sensitivität gegenüber Caption-Abfragen aufweisen.

Mechanismus: Unter Verwendung eines Datensatzes aus Bild-Abfrage-Paaren maskieren die Autoren die Aufmerksamkeit auf Text-Token, um visuelle Aufmerksamkeitsmuster zu isolieren.
Klassifizierung: Ein binärer Klassifikator (z. B. SVM) wird auf den Aufmerksamkeitsausgaben des letzten Eingabetokens trainiert, um zwischen Caption- und Nicht-Caption-Abfragen zu unterscheiden.
Auswahl: Die Top- $K$ Aufmerksamkeitsköpfe mit der höchsten Klassifizierungsgenauigkeit werden als Ziele für die Schwenkung ausgewählt. Diese Köpfe befinden sich hauptsächlich in den mittleren Schichten des Modells.

B. Schätzung von wahrgenommungsverfeinerten Vektoren

Sobald die Zielköpfe identifiziert sind, berechnet die Methode Shift-Vektoren, die den Unterschied im Aufmerksamkeitsausgang zwischen Caption- und Nicht-Caption-Abfragen darstellen.

Berechnung: Für jeden ausgewählten Kopf wird der Shift-Vektor $S^{(l,h)}$ als durchschnittliche Differenz zwischen dem Aufmerksamkeitsausgang bei Eingabe einer Caption-Abfrage ( $O^{(l,h)}$ ) und einer Nicht-Caption-Abfrage ( $O'^{(l,h)}$ ) berechnet:
$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$
Zweck: Diese Vektoren quantifizieren die „feingranulare Wahrnehmungsrichtung" und erfassen effektiv den Zustand ausreichender visueller Aufmerksamkeit, der durch Caption-Abfragen induziert wird.

C. Schwenkung zur Inferenzzeit

Während der Inferenz einer Nicht-Caption-Abfrage (dem typischen Szenario, in dem Halluzinationen auftreten) werden die vorkalkulierten Shift-Vektoren auf die ausgewählten Aufmerksamkeitsköpfe angewendet.

Aktualisierungsregel: Der versteckte Zustand wird aktualisiert, indem eine skalierte Version des Shift-Vektors zum Aufmerksamkeitsausgang der caption-gesteuerten Köpfe addiert wird:
$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$
Dabei ist $I^{(l,h)}$ eine Gating-Funktion (1 für ausgewählte Köpfe, 0 sonst) und $\alpha$ steuert die Schwenkungsintensität.
Effekt: Dies lenkt die Aufmerksamkeit des Modells von einem „unzureichenden" Zustand (anfällig für Halluzinationen) in einen „ausreichenden" Zustand (verbesserte visuelle Wahrnehmung) und mindert so effektiv Objekthalluzinationen, ohne das Modell neu zu trainieren.

3. Hauptbeiträge

Neuartige Erkenntnis: Diese Arbeit ist die erste, die den Einfluss von Caption-Abfragen im Vergleich zu Nicht-Caption-Abfragen auf die Aktivierungsmuster der Aufmerksamkeit von LVLMs explizit aufdeckt und quantifiziert und spezifische Aufmerksamkeitsköpfe identifiziert, die für die feingranulare visuelle Wahrnehmung verantwortlich sind.
CAST-Methode: Ein trainingsfreier, Plug-and-Play-Ansatz, der die Ausgaben caption-gesteuerter Aufmerksamkeitsköpfe während der Inferenz verfeinert. Er erfordert keine Aktualisierung der Modellparameter und fügt nur minimale Inferenzkosten hinzu.
Umfassende Evaluierung: Zahlreiche Experimente zeigen, dass CAST Halluzinationen effektiv mindert, während die grundlegenden Fähigkeiten des Modells (z. B. Schlussfolgern, OCR) erhalten bleiben und die Methode über verschiedene Modellarchitekturen (LLaVA, Qwen-VL, LLaVA-NeXT) generalisiert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CAST über fünf weit verbreitete Benchmarks (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) und fünf verschiedene LVLMs hinweg.

Minderung von Halluzinationen:
- POPE: CAST verbesserte die Genauigkeit im Durchschnitt um 5,64 % und den F1-Score um 5,50 % über alle Modelle hinweg.
- CHAIR: Reduzierte die durchschnittlichen Halluzinationsmetriken (CS und CI) um 6,43 Punkte.
- MMHal-Bench: Reduzierte die Halluzinationsrate (VH.%) um 2,95 % und verbesserte den Informationsgehalt-Score.
- Allgemeine Leistung: Im Durchschnitt reduzierte CAST Objekthalluzinationen um 6,03 % über fünf LVLMs und fünf Benchmarks hinweg.
Effizienz: Im Gegensatz zu kontrastiven Decodierungsmethoden, die die Inferenzzeit erheblich erhöhen (z. B. erhöht VCD die TPOT um das 2,7-fache), fügt CAST eine vernachlässigbare Latenz hinzu (vergleichbar mit der Baseline, ~1,0x).
Erhaltung der Fähigkeiten: CAST verbesserte die Leistung auf dem MME-Benchmark über alle Wahrnehmungs- und Kognitionsaufgaben hinweg und zeigt, dass es die anderen grundlegenden Fähigkeiten des Modells nicht beeinträchtigt.
Generalisierung: Die Methode erwies sich als effektiv bei fortschrittlichen Modellen (Qwen2-VL, InternVL2) und domänenspezifischen Aufgaben (Medical VQA-RAD, OCR) und bestätigte ihre Robustheit.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CAST eine State-of-the-Art (SOTA)-Lösung zur Minderung von Objekthalluzinationen in LVLMs bietet, indem sie die inhärenten Aufmerksamkeitsmuster nutzt, die durch Caption-Abfragen induziert werden. Ihre Bedeutung liegt in:

Kosteneffektivität: Sie eliminiert den Bedarf an teurer manueller Annotation oder Neutrainierung.
Effizienz: Sie vermeidet die hohe Inferenzlatenz, die mit kontrastiven Decodierungsstrategien verbunden ist.
Mechanistische Erkenntnis: Sie bietet einen klaren, interpretierbaren Mechanismus zur Minderung von Halluzinationen, indem sie direkt die Aufmerksamkeitsköpfe anspricht, die für die visuelle Wahrnehmung verantwortlich sind.

Die Autoren schließen, dass CAST die Fähigkeit zur feingranularen visuellen Wahrnehmung von LVLMs effektiv verbessert und einen praktischen und effizienten Weg zur Reduzierung von Halluzinationen bietet, ohne die Nützlichkeit des Modells zu beeinträchtigen.