🤖 AI

Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models

Das Papier schlägt RUDDER vor, ein Framework mit geringem Overhead, das Halluzinationen in Large Vision-Language-Modellen durch das Einbringen eines adaptiven, evidenzbasierten visuellen Ankers, der aus Vorbelegungs-Residual-Updates abgeleitet wird, in den Dekodierungsprozess mildert, wodurch die Halluzinationsraten erheblich gesenkt werden, während gleichzeitig ein hoher Durchsatz über verschiedene Architekturen hinweg erhalten bleibt.

Ursprüngliche Autoren: Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten, der Bilder betrachtet und diese laut beschreibt. Dieser Roboter ist großartig, hat aber eine merkwürdige Angewohnheit: Manchmal wird er so selbstsicher in seinen eigenen „Wortassoziationen", dass er anfängt, Dinge zu erfinden.

Wenn Sie ihm beispielsweise ein Bild eines Tisches mit einem Buch zeigen, könnte er sagen: „Auf dem Tisch liegt ein Buch und eine Tasse." Obwohl kein Tasse auf dem Bild zu sehen ist, weiß der Roboter, dass „Bücher" und „Tassen" in Geschichten oft zusammen vorkommen, und halluziniert (stellt sich) die Tasse vor.

Dies geschieht, weil die Erinnerung an das tatsächliche Bild während des Sprechens des Roboters verblassen beginnt, wie ein Lied, das im Hintergrund leiser wird, während die innere Stimme des Roboters lauter wird.

Die Arbeit stellt eine neue Methode namens RUDDER vor, um dieses Problem zu beheben, ohne den Roboter zu verlangsamen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der verblassende Anker

Stellen Sie sich das Bild vor, das der Roboter sieht, als einen Anker, der ihn an die Realität bindet.

Das Problem: Sobald der Roboter zu sprechen beginnt, wird dieser Anker weggezogen. Der Roboter hört auf, das Bild zu betrachten, und beginnt zu raten, basierend darauf, was er glaubt, dass dort sein sollte.
Alte Lösungen: Bisherige Methoden versuchten dies zu beheben, indem sie den Roboter anhielten, das Bild erneut lesen ließen und einen neuen Versuch starteten. Das ist so, als würde man einen Schüler bitten, das Schreiben eines Aufsatzes zu unterbrechen, zurück in die Bibliothek zu gehen, das Buch erneut zu lesen und dann fortzufahren. Es funktioniert, dauert aber ewig und ist sehr langsam.

2. Die Lösung: RUDDER (Das „Visuelle Anker"-System)

RUDDER ist eine clevere Methode, um den Anker an der Hand des Roboters festgebunden zu halten, ohne dass er anhalten oder das Bild erneut lesen muss. Dies geschieht in zwei Schritten:

Schritt A: Der „Schnappschuss" (CARD)

Bevor der Roboter zu sprechen beginnt, macht er einen schnellen, einmaligen „Schnappschuss" der wichtigsten Details des Bildes.

Die Analogie: Stellen Sie sich vor, der Roboter macht ein mentales Foto des Bildes und schreibt einen einzigen, kraftvollen Satz auf, der genau zusammenfasst, was auf dem Bild zu sehen ist. Er nennt dies die CARD (Contextual Activation Residual Direction).
Warum es besonders ist: Es holt sich diese Informationen, während das Bild noch frisch im Gedächtnis des Roboters ist. Es muss später kein neues Foto machen; es hält einfach diese „Evidenzrichtung" wie einen Kompass fest.

Schritt B: Das „Smarte Tor" (Beta Gate)

Nun, während der Roboter Wort für Wort spricht, muss er wissen, wann er diesen Kompass verwenden soll.

Das Problem mit alten Methoden: Wenn Sie den Roboter zwingen, jedes Mal, wenn er spricht, auf den Kompass zu schauen, könnte er verwirrt werden, wenn er nur über Grammatik spricht oder Verbindungswörter verwendet (wie „der" oder „und").
Die RUDDER-Lösung: RUDDER verwendet ein Beta Gate, das wie eine zuverlässige Ampel funktioniert.
- Grüne Ampel: Wenn der Roboter über etwas spricht, das zum Bild passt (z. B. „ein rotes Auto"), wird die Ampel grün. Sie sagt: „Großartig, Sie sind auf dem richtigen Weg! Folgen Sie weiterhin dem Kompass."
- Rote Ampel: Wenn der Roboter über etwas spricht, das nicht zum Bild passt, oder nur Grammatikwörter verwendet, wird die Ampel rot. Sie sagt: „Stop! Erzwingen Sie hier keine Bilddetails; lassen Sie den Satz einfach natürlich fließen."

3. Warum es eine große Sache ist

Die Arbeit behauptet, RUDDER sei ein „Zaubertrick" für Effizienz:

Keine zusätzlichen Schritte: Im Gegensatz zu anderen Methoden, die den Roboter das Bild erneut lesen lassen (was langsam ist), erledigt RUDDER alles in einem einzigen Durchgang. Es ist so, als würde der Roboter den Kompass beim Gehen halten, anstatt alle 10 Schritte anzuhalten, um eine Karte zu betrachten.
Geschwindigkeit: Es hält den Roboter fast so schnell wie zuvor (96 % der ursprünglichen Geschwindigkeit).
Genauigkeit: Es verhindert erfolgreich, dass der Roboter Objekte (wie die gefälschte Tasse) erfindet, bei vielen verschiedenen Arten von Robotern (Modellen), und reduziert diese Fehler im Durchschnitt um etwa 24 %.

Zusammenfassung

Kurz gesagt gibt RUDDER dem Roboter einen Kompass (die visuelle Evidenz) und eine smarte Ampel (das Tor), die ihm genau sagt, wann er auf den Kompass schauen soll und wann er einfach weiterreden soll. Dies hält den Roboter ehrlich bezüglich dessen, was er sieht, ohne ihn langsam oder ungeschickt zu machen.

Technische Zusammenfassung: Adaptive Residual-Update-Steuerung zur kostengünstigen Halluzinationsminderung in großen Vision-Language-Modellen

1. Problemstellung

Große Vision-Language-Modelle (LVLMs) kodieren visuelle Eingaben typischerweise als Präfix für einen Sprachdecoder. Während das Modell Text autoregressiv generiert, erfährt diese initiale visuelle Information eine „Verdünnung", wodurch das Modell stärker auf interne Sprachpriors als auf den visuellen Kontext zurückgreift. Dieses Phänomen ist ein Haupttreiber für Objekthalluzinationen, bei denen Modelle selbstbewusst Objekte beschreiben, die nicht im Bild vorhanden sind (z. B. das Halluzinieren einer „Tasse" aufgrund der linguistischen Assoziation mit „Oberfläche").

Bestehende Inference-Time-Intervention (ITI)-Methoden versuchen, dies durch Contrastive Decoding oder Iterative Refinement zu korrigieren. Diese Ansätze stoßen jedoch auf ein schwerwiegendes Effizienzproblem: Sie erfordern typischerweise mehrere Forward-Passes (zusätzliche FWD) oder externe Klassifikatoren, was prohibitiv hohe Latenzkosten verursacht und den Einsatz in der realen Welt untergräbt. Es besteht ein kritischer Zielkonflikt zwischen Wirksamkeit (Reduzierung von Halluzinationen) und Effizienz (Aufrechterhaltung niedriger Latenz).

2. Methodik: RUDDER

Die Autoren schlagen Residual-Update Directed DEcoding Regulation (RUDDER) vor, ein Framework, das der visuellen Verdünnung entgegenwirkt, indem es einen persistenten visuellen Anker ohne zusätzliche Forward-Passes schafft. Die Methode arbeitet innerhalb eines einzigen Inferenzpasses und besteht aus zwei Kernkomponenten:

2.1. CARD-Vektor (Contextual Activation Residual Direction)

Die zentrale Erkenntnis besteht darin, dass das visuelle Signal im Residual-Stream während der obligatorischen Prefill-Phase (in der Bild- und Prompt-Token parallel verarbeitet werden) maximal erhalten bleibt.

Extraktion: Während der Prefill-Phase extrahiert RUDDER die Self-Attention-Residual-Updates ( $\Delta^l_i$ ) aus einer Ziel-Decodierschicht $l$ .
Aggregation: Diese Updates werden über alle Bild- und Prompt-Token hinweg gepoolt (z. B. mittels Mittelwert oder gewichtetem Mittelwert nach Betrag) und L2-normalisiert, um einen pro-Sample-Vektor $v_{CARD}$ zu bilden.
Funktion: Dieser Vektor repräsentiert eine robuste, bildkonditionierte Richtung, die den Nettoeffekt visueller Evidenz auf die Token-Repräsentationen erfasst. Er dient als „visueller Anker", um die Generierungstrajektorie zurück zum visuellen Kontext zu lenken.
Kosten: Die Extraktion erfolgt während des Standard-Prefill-Passes und verursacht keine zusätzlichen Forward-Passes.

2.2. Beta-Gate (Adaptiver Steuerungsmechanismus)

Um den visuellen Anker einzufügen, ohne die Generierung syntaktischer oder nicht-visueller Token zu stören, setzt RUDDER einen adaptiven Gating-Mechanismus auf Basis der Beta-Verteilung ein.

Vertrauensmechanismus: Anstatt als Fehlerdetektor zu fungieren, arbeitet das Gate als „Vertrauens"-Schätzer. Es berechnet die Kosinus-Ähnlichkeit ( $s_t$ ) zwischen dem aktuellen Hidden State ( $h_{l,t}$ ) und dem $v_{CARD}$ -Vektor.
Formulierung: Die Gate-Parameter ( $\alpha_t, \beta_t$ $α_{t}, β_{t}$ ) werden aus einem Beta-Bernoulli-konjugierten Posterior abgeleitet, wobei eine Softplus-Mapping von $s_t$ $s_{t}$ verwendet wird. Der Gate-Wert $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ $g_{t} = \frac{α _{t}}{α _{t} + β _{t}}$ bestimmt die Stärke der Intervention.
- Hohe Übereinstimmung ( $s_t \uparrow$ ): Zeigt an, dass die Generierung mit visuellen Evidenzen konsistent ist. Das Gate verstärkt die Einfügung, um die verankerte Trajektorie aufrechtzuerhalten.
- Niedrige/negative Übereinstimmung ( $s_t \downarrow$ ): Zeigt Unsicherheit oder nicht-visuellen Kontext an (z. B. syntaktische Token). Das Gate unterdrückt die Intervention, um eine Übersteuerung zu verhindern und die Flüssigkeit zu bewahren.
Einfügung: Der Steuerungsvektor $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ wird unmittelbar nach der Self-Attention-Operation während der Decodierphase, spezifisch innerhalb des Antwortbereichs, zum Residual-Stream addiert.

3. Hauptbeiträge

CARD-Vektor: Eine Methode zur Extraktion eines persistenten, pro-Sample visuellen Ankers aus Prefill-Residual-Updates, die das Modell während der gesamten Decodierung im visuellen Kontext verankert, ohne zusätzliche Berechnungen.
Beta-Gate: Ein trainingsfreier, adaptiver Gating-Mechanismus auf Basis der Beta-Verteilung, der visuelle Verankerung mit Flüssigkeit ausbalanciert, indem Korrekturen nur angewendet werden, wenn die Generierung mit den visuellen Evidenzen übereinstimmt.
Generalisierbarkeit: Die Methode erweist sich als architekturagnostisch und funktioniert effektiv über diverse LVLMs hinweg (LLaVA-1.5, Idefics2, InstructBLIP), skaliert auf größere Modelle (LLaVA-1.5-13B) und moderne Architekturen (Qwen2.5-VL).
Effizienz: RUDDER arbeitet innerhalb eines einzigen Forward-Passes, führt vernachlässigbare Latenz ein (< 4 % Overhead) und behält 96,0 % des Durchsatzes im Vergleich zu Vanilla-Modellen bei, wodurch es Multi-Pass-Methoden deutlich übertrifft.

4. Experimentelle Ergebnisse

Die Autoren bewerteten RUDDER an Standard-Halluzinations-Benchmarks (CHAIR, POPE) und allgemeinen Fähigkeits-Benchmarks (MME).

Halluzinationsminderung (CHAIR): Auf dem CHAIR-Benchmark (offene Bildunterschriften) reduzierte RUDDER-Beta konsistent Halluzinationen. Mit Greedy-Decoding erreichte es eine durchschnittliche relative Reduktion von 24,4 % bei CHAIRs (satzweise) und 23,6 % bei CHAIRi (objektweise) über die getesteten Modelle hinweg. Es übertraf oder entsprach State-of-the-Art-Methoden wie VISTA und VCD, ohne deren Latenzkosten.
Objekt-Probing (POPE): Beim POPE-Benchmark (Ja/Nein-Objektfragen) verbesserte RUDDER die Genauigkeit und F1-Scores bei LLaVA-1.5, Idefics2 und InstructBLIP und übertraf oft starke, auf Steuerung basierende Baselines.
Allgemeine Fähigkeiten (MME): RUDDER behielt allgemeine multimodale Fähigkeiten (Schlussfolgern, Zählen) auf dem MME-Benchmark bei oder verbesserte sie leicht, was bestätigt, dass die Reduzierung von Halluzinationen nicht auf Kosten der allgemeinen Modellleistung ging.
Effizienz: RUDDER-Beta behielt 96,0 % Durchsatz im Vergleich zu Vanilla-Modellen bei. Im Gegensatz dazu sank der Durchsatz bei Methoden, die zusätzliche Forward-Passes erfordern (z. B. VISTA), auf ~58,1 %.
Skalierbarkeit: Die Methode skalierte effektiv auf LLaVA-1.5-13B und generalisierte auf Qwen2.5-VL-7B, wobei sie die niedrigsten Halluzinationsraten auf Instanzebene erreichte (CHAIRi: 7,0) und gleichzeitig die POPE-Leistung verbesserte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass RUDDER den gängigen Zielkonflikt zwischen Wirksamkeit und Effizienz bei der Halluzinationsminderung löst. Durch die strukturelle Verhinderung der Verdünnung visueller Informationen mittels eines leichten „visuellen Ankers" und eines adaptiven Vertrauensmechanismus bietet RUDDER eine praktische, kostengünstige Lösung zur Verbesserung der Zuverlässigkeit von LVLMs in realen Umgebungen.

Die Autoren betonen, dass ihr Ansatz trainingfrei ist und nur eine einmalige Kalibrierung der Hyperparameter auf einem kleinen, zurückgehaltenen Validierungsdatensatz erfordert. Sie positionieren RUDDER als einen Schritt hin zu „Green AI", der den Energiefußabdruck hochwertiger Modellinferenz reduziert, indem die Notwendigkeit für iterative Verfeinerung oder mehrere Forward-Passes eliminiert wird.

Einschränkungen: Die Autoren räumen ein, dass RUDDER empfindlich auf Hyperparameter reagiert (insbesondere die Interventions-Schicht, die Steuerungsstärke und die Gate-Empfindlichkeit), die für jede spezifische Modellarchitektur abgestimmt werden müssen. Als zukünftige Arbeit wird eine Fokussierung auf die automatisierte Hyperparameter-Optimierung vorgeschlagen, um die Robustheit und die einfache Bereitstellung zu verbessern.