💬 NLP

Do We Really Need External Tools to Mitigate Hallucinations? SIRA: Shared-Prefix Internal Reconstruction of Attribution

SIRA ist ein trainingsfreies, internes kontrastives Dekodierungsframework, das Halluzinationen in großen Vision-Language-Modellen mindert, indem es innerhalb desselben Transformers durch maskierte Aufmerksamkeit in späteren Schichten eine von Sprachpriors dominierte kontrafaktische Referenz generiert und dadurch die Abhängigkeit von externen Werkzeugen und zusätzlichen Vorwärtsdurchläufen reduziert, während die deskriptive Abdeckung erhalten bleibt.

Ursprüngliche Autoren: Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut gebildeten Assistenten (ein Large Vision-Language Model), der versucht, ein Bild zu beschreiben, das Sie ihm gerade gezeigt haben. Manchmal ist dieser Assistent etwas zu zuversichtlich bezüglich dessen, was er glaubt zu sehen, anstatt dessen, was tatsächlich vorhanden ist. Er könnte sagen: „Ich sehe ein rotes Fahrrad", obwohl das Bild eigentlich nur eine verschwommene Form ist, die ein Fahrrad sein könnte, oder er erfindet Details, weil er so viele Geschichten über Fahrräder gelesen hat, dass sein Gehirn die Lücken füllt. Dies wird als Halluzination bezeichnet.

Die Arbeit stellt einen cleveren neuen Trick namens SIRA vor, um dies zu verhindern, ohne den Assistenten neu trainieren oder eine zweite Person einstellen zu müssen, um die Arbeit zu überprüfen.

Das Problem mit alten Tricks

Früher versuchten Forscher, den Assistenten vom Lügen abzuhalten, indem sie eine Methode wie diese anwandten:

Zeigen Sie dem Assistenten das Originalbild.
Zeigen Sie ihm dann eine verwischte oder verfälschte Version desselben Bildes.
Vergleichen Sie die beiden Antworten. Wenn der Assistent seine Geschichte ändert, wenn das Bild verschwommen ist, hat er vielleicht nur geraten.

Der Fehler: Dies ist so, als würde man jemanden bitten, ein Gemälde zu beschreiben, und dann denselben Menschen bitten, dasselbe Gemälde zu beschreiben, während er durch beschlagene Gläser sieht. Die Version mit den „beschlagenen Gläsern" ist kein fairer Vergleich, da die Gläser selbst das Bild verzerren. Es ist unordentlich, dauert doppelt so lange (man muss sich das Bild zwei separate Male ansehen), und die Verzerrung könnte neue Fehler erzeugen.

Die SIRA-Lösung: Der „Gemeinsame Präfix"

SIRA verfolgt einen anderen Ansatz. Anstatt das Bild zu manipulieren, manipuliert es den internen Denkprozess des Assistenten, während er noch denkt.

Stellen Sie sich das Gehirn des Assistenten als eine Fabrik-Fertigungsstraße mit vielen Stationen (Schichten) vor, die das Bild und die Frage verarbeiten.

Der gemeinsame Start: Der Assistent beginnt damit, das Bild und die Frage gemeinsam zu betrachten. In den frühen Stationen der Fabrik bauen sie ein solides Verständnis der Szene auf. Dies ist der „Gemeinsame Präfix". SIRA stellt sicher, dass beide Versionen des Assistenten diesem anfänglichen Verständnis zustimmen.
Die Gabelung: Nachdem das anfängliche Verständnis gebildet wurde, teilt SIRA den Prozess in zwei parallele Spuren auf, die innerhalb desselben Gehirns ablaufen:
- Spur A (Der vollständige Blick): Der Assistent betrachtet weiterhin die Bilddetails, während er seinen Satz beendet.
- Spur B (Der „blinde" Blick): Der Assistent fährt vom exakt gleichen Startpunkt aus fort, ist aber in den späteren Stationen gegenüber den spezifischen Bilddetails blind. Er kann sich nur auf sein allgemeines Wissen und den Satz verlassen, den er bereits zu schreiben begonnen hat.

Wie es die Lüge korrigiert

Nun vergleicht SIRA die beiden Spuren bei jedem Schritt beim Schreiben des Satzes:

Wenn der Assistent sagt: „Ich sehe einen Hund", und sowohl Spur A (die den Hund sieht) als auch Spur B (blind) mit hoher Zuversicht „Hund" sagen, weiß SIRA, dass dies wahrscheinlich nur eine Vermutung auf Basis der gängigen Sprache ist (vielleicht kommen Hunde häufig in Geschichten vor). Es senkt die Bewertung für „Hund", weil die blinde Version das Bild nicht benötigte, um dies zu sagen.
Wenn der Assistent sagt: „Ich sehe einen lila Elefanten", und Spur A sagt „lila Elefant" (weil sie ihn sieht), aber Spur B sagt „keine Chance, das ist nicht in der Geschichte" (weil sie ihn nicht sehen kann), weiß SIRA, dass das Bild der einzige Grund für diese Behauptung ist. Es erhöht die Bewertung für „lila Elefant".

Warum es besser ist

Keine zusätzlichen Schritte: Es muss nicht zweimal auf das Bild schauen. Es erledigt alles auf einmal, indem es einfach den internen Denkprozess aufteilt.
Keine unordentlichen Verzerrungen: Es verwischt das Bild nicht. Es schaltet die visuelle Eingabe für eine Version des Denkprozesses nur vorübergehend „aus" und hält den Rest des Kontexts perfekt abgestimmt.
Kein Training erforderlich: Es funktioniert sofort mit bestehenden Modellen. Sie müssen dem Modell nichts Neues beibringen.

Das Ergebnis

In Tests gelang es SIRA erfolgreich, die Assistenten davon abzuhalten, Objekte zu erfinden, die nicht vorhanden waren (wie eine „Banane", die nicht auf dem Foto ist), während sie gleichzeitig die echten Dinge genau beschreiben ließen. Es ist wie ein eingebauter „Realitätscheck", der sofort im eigenen Gehirn des Modells stattfindet und sicherstellt, dass das, was sie sagen, tatsächlich durch das gestützt wird, was sie sehen, und nicht nur durch das, was sie zu sehen erwarten.

Technische Zusammenfassung: SIRA – Shared-Prefix Internal Reconstruction of Attribution

Problemstellung

Large Vision-Language Models (LVLMs) leiden häufig unter Halluzinationen, bei denen das Modell Beschreibungen von Objekten, Attributen oder Relationen generiert, die sprachlich plausibel, aber nicht durch den visuellen Input gestützt sind. Dieses Problem ist besonders akut, wenn visuelle Beweise schwach oder mehrdeutig sind, wodurch hochwahrscheinliche Sprachpriors die Token-Vorhersage dominieren.

Bestehende Minderungsstrategien, insbesondere kontrastives Decoding, versuchen dies zu adressieren, indem sie die Vorhersage des Modells für das ursprüngliche Bild mit einer Referenzvorhersage vergleichen, die aus einem degradierten oder perturbierten Input (z. B. unscharfe oder maskierte Bilder) abgeleitet wird. Die Autoren identifizieren jedoch zwei kritische Einschränkungen bei diesen externen Ansätzen:

Rechen-Overhead: Sie erfordern typischerweise einen zweiten, vollständigen Forward-Pass durch das Modell.
Off-Manifold-Artefakte: Das Perturbieren des Eingabebildes kann Artefakte einführen, die nicht repräsentativ für die wahre visuelle Verteilung sind. Folglich können die resultierenden Logit-Abweichungen Diskrepanzen widerspiegeln, die durch die Perturbation selbst verursacht werden, anstatt eine saubere Attribution von visuellen Beweisen versus Sprachpriors darzustellen.

Die Arbeit postuliert, dass eine effektive kontrafaktische Referenz nicht extern im Eingaberaum konstruiert werden muss. Stattdessen argumentiert sie, dass die Schlüsselanforderung eine ausgerichtete Referenz ist, die aufzeigt, wie derselbe multimodale Zustand evolviert würde, wenn der Zugriff auf feingranulare visuelle Beweise in späteren Verarbeitungsstufen eingeschränkt wäre.

Methodik: SIRA

Die Autoren schlagen SIRA (Shared-Prefix Internal Reconstruction of Attribution) vor, ein trainingsfreies, internes Framework für kontrastives Decoding. SIRA konstruiert eine kontrafaktische Referenz innerhalb desselben LVLM-Inferenzpfads, indem es den Informationsfluss innerhalb der Transformer-Schichten manipuliert, anstatt das Eingabebild zu verändern.

Kernmechanismus

SIRA arbeitet durch die Aufrechterhaltung zweier synchronisierter Decoding-Zweige, die einen gemeinsamen „Präfix" teilen und sich erst nach einer bestimmten Trenngrenze ( $b$ ) verzweigen:

Gemeinsames Präfix ($0$ bis $b-1$ ): Sowohl der Vollzweig (Standardinferenz) als auch der Kontrafaktische Zweig teilen denselben Prompt, dieselben Modellparameter, denselben Decoding-Historienverlauf, dieselbe Positionsstruktur und dieselben Berechnungen der frühen Schichten. Dies stellt sicher, dass beide Zweige eine identische, stabile multimodale Interpretation und eine frühe visuelle Verankerung vor der Verzweigung erben.
Späte Verzweigung ( $b$ bis $L-1$ ): Nach der Grenzschicht $b$ $b$ divergieren die Zweige:
- Der Vollzweig führt die Standard-Multimodal-Inferenz fort und erlaubt die Aufmerksamkeit auf Bild-Token.
- Der Kontrafaktische Zweig wendet eine spezifische Attention-Maske ( $M_{cf}$ ) an, die den Zugriff auf Bild-Token-Positionen blockiert. In diesem Zweig können Bild-Token nicht von Queries gelesen werden, noch können sie Queries erzeugen, die den Textstrom speisen.
Interne Kontrastierung: Bei jedem Decoding-Schritt berechnet SIRA die Logits für beide Zweige ( $z_{full}$ $z_{f u l l}$ und $z_{cf}$ $z_{c f}$ ). Das finale Decoding-Logit ( $z_{cd}$ $z_{c d}$ ) wird berechnet als:
$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$
wobei $\alpha$ $α$ die Kontraststärke steuert.
- Token, die im Kontrafaktischen Zweig (ohne visuellen Zugriff) stark bleiben, werden bestraft, da sie wahrscheinlich von Sprachpriors angetrieben werden.
- Token, die spezifisch im Vollzweig einen Vorteil gewinnen, werden bevorzugt, da ihre Wahrscheinlichkeit von fortgesetzten visuellen Beweisen abhängt.

Effizienz

Im Gegensatz zu Methoden, die zwei vollständige Forward-Pass erfordern (z. B. VCD), teilt SIRA die Berechnung für die ersten $b$ Schichten. Es entstehen nur die Kosten der letzten $K$ Schichten für den kontrafaktischen Zweig. Dies ergibt ein idealisiertes Kostenverhältnis pro Token von $1 + K/L$ (ungefähr $1,5\times$ für eine Trennung in der Mittelschicht), was signifikant niedriger ist als die $2\times$ -Kosten externer kontrastiver Methoden.

Hauptbeiträge

Perspektive des Informationsflusses: Die Arbeit bewertet die Minderung von Halluzinationen neu, indem sie argumentiert, dass effektive Referenzen eine frühe multimodale Verankerung bewahren und den späteren Zugriff auf Bild-Token einschränken müssen, anstatt sich auf externe Input-Perturbationen zu verlassen.
SIRA-Framework: Die Vorstellung einer trainingsfreien, internen Methode für kontrastives Decoding, die eine kontrafaktische Referenz durch späte Verzweigung mit gemeinsamem Präfix und Maskierung von Bild-Token nach der Grenze konstruiert.
Empirische Validierung: Umfassende Experimente zeigen, dass SIRA Halluzinationen reduziert, während es die deskriptive Abdeckung bewahrt und einen geringeren Overhead als Zwei-Pass-Methoden verursacht.

Experimentelle Ergebnisse

Die Autoren bewerteten SIRA auf Qwen2.5-VL und LLaVA-v1.5 über drei Benchmarks: POPE (objektbezogene Halluzination), CHAIR (Captioning-Halluzination) und AMBER (multidimensionale Captioning).

POPE: SIRA erzielte die besten Ergebnisse bei allen 36 Metriken (Kombinationen aus Backbone, Datensatz und Negativ-Sampling-Strategie). Es verbesserte die Genauigkeit im Durchschnitt um +5,4 Punkte bei Qwen2.5-VL und um +4,9 Punkte bei LLaVA-v1.5 gegenüber Basis-Decodern und übertraf starke Baselines wie DoLa, OPERA und VCD. Bemerkenswerterweise waren die Verbesserungen auch in „adversarialen" Splits konsistent, in denen Sprachpriors stark sind.
CHAIR: SIRA reduzierte sowohl die Satz-Level- (CHAIRs) als auch die Instanz-Level- (CHAIRi) Halluzinationsraten. Beispielsweise sank CHAIRs bei LLaVA-v1.5 bei einer Länge von 64 von 31,5 auf 23,1, was eine Reduktion von spuriosen Objekt-Erwähnungen anstelle einer einfachen Auslassung anzeigt.
AMBER: SIRA reduzierte Halluzinationsmetriken (Hal, Cog), während es die deskriptive Abdeckung (Cover) bewahrte oder sogar erhöhte. Dies steht im Gegensatz zu Baselines wie OPERA und VCD, die oft Halluzinationen durch Verkürzung oder Abschwächung von Captions reduzierten (Über-Abschwächung). SIRA reduzierte spezifisch „kognitive" Halluzinationen (Cog), die eng mit Sprachpriors gekoppelt sind.
Effizienz: SIRA verursachte einen Latenz-Overhead von ungefähr 1,4–1,5 $\times$ im Vergleich zum Standard-Decoding, was signifikant niedriger ist als bei VCD ( $\sim2,1\times$ ) und OPERA ( $\sim5,9\times$ ).

Bedeutung und Einschränkungen

Bedeutung:
Die Arbeit behauptet, dass SIRA einen direkteren und saubereren Token-Level-Attributionsproxy bietet als extern konstruierte Referenzen. Indem der kontrafaktische Zweig auf derselben Modell-Mannigfaltigkeit gehalten wird und den frühen semantischen Zustand teilt, isoliert SIRA den Beitrag visueller Beweise, ohne Perturbationsartefakte einzuführen. Es erreicht einen State-of-the-Art bei der Reduktion von Halluzinationen, ohne ein erneutes Training des Modells, externe Verifizierer oder perturbierter Inputs zu erfordern, was es auf Open-Weight-LVLMs mit White-Box-Zugriff anwendbar macht.

Einschränkungen:
Die Autoren erkennen zwei primäre Einschränkungen an:

Overhead: Obwohl niedriger als bei Zwei-Pass-Methoden, trägt SIRA aufgrund der Neubewertung des kontrafaktischen Zweigs immer noch nicht-null Kosten pro Decoding-Schritt.
Zugriffsanforderungen: Der Aufbau des internen Kontrasts erfordert White-Box-Zugriff auf versteckte Zustände, Attention-Masken und Cache-Zustände, was seine Anwendung auf Open-Weight- oder kontrollierbare LVLMs einschränkt und nicht auf Black-Box-APIs.