💬 NLP

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

Das Papier stellt ADAPT vor, ein auf Aufmerksamkeit basierendes Framework, das Halluzinationen in multimodalen großen Sprachmodellen durch die Ausrichtung der Text-zu-Bild-Cross-Attention-Dynamik mittels visueller Anker, Online-Korrekturmechanismen und Präferenz-Tuning mildert und dabei eine signifikante Reduktion von Halluzinationen bei gleichzeitigem Erhalt der allgemeinen Fähigkeiten erreicht.

Ursprüngliche Autoren: Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein multimodales großes Sprachmodell (MLLM) als einen sehr klugen, belesenen Reiseleiter vor, dem gerade ein Foto übergeben wurde. Seine Aufgabe ist es, das Foto präzise zu beschreiben. Dieser Reiseleiter hat jedoch eine schlechte Angewohnheit: Während er spricht, beginnt er abzuwandern. Er fängt an, sich mehr auf das zu verlassen, was er denkt, dass im Bild sein sollte (basierend auf seinem allgemeinen Wissen), als auf das, was tatsächlich dort ist. Dies wird als Halluzination bezeichnet – das Erfinden von Details wie „ein rotes Fahrrad“, obwohl das Foto eigentlich nur ein blaues Auto zeigt.

Das Paper ADAPT untersucht, warum das passiert, und bietet eine dreiteilige Lösung an, um den Reiseleiter auf das Foto zu fokussieren.

Das Problem: Der „driften Blick“ (The Drifting Gaze)

Die Forscher entdeckten, dass die „Augen“ des Modells (seine interne Cross-Attention) stark beginnen, aber im Laufe der Beschreibung müde und verwirrt werden.

Am Anfang: Das Modell schaut genau an die richtige Stelle (z. B. das Flugzeug auf dem Foto).
Später: Der Blick wird „unscharf“. Es starrt vielleicht in eine falsche Ecke des Bildes oder hört ganz auf, das Bild anzusehen, und rät stattdessen basierend auf den Wörtern, die es gerade ausgesprochen hat.
Das Ergebnis: Das Modell beginnt Dinge zu erfinden, weil es nicht mehr die visuellen Beweise überprüft.

Stellen Sie sich das wie einen Schüler vor, der eine Prüfung schreibt. Zu Beginn schaut er in das Lehrbuch (das Bild), um die Fragen zu beantworten. Aber auf halbem Weg wird er müde, hört auf, ins Buch zu schauen, und beginnt zu raten, basierend auf dem, was er im Unterricht gelernt hat (Sprach-Priors). Genau dann beginnt er, Fehler zu machen.

Die Lösung: ADAPT

Die Autoren entwickelten ein System namens ADAPT (Attention Dynamics Alignment with Preference Tuning), um dies zu beheben. Sie nutzen drei kreative Werkzeuge, um den „Blick“ des Modells stabil zu halten.

1. Der „Goldene Anker“ (Visual Enhance)

Bevor das Modell mit seiner langen Beschreibung beginnt, wirft das System einen kurzen, frühen Blick auf das Foto, um die wichtigsten, unbestreitbaren Fakten zu finden.

Die Analogie: Stellen Sie sich vor, der Reiseleiter erhält einen Textmarker, bevor er anfängt zu sprechen. Er scannt das Foto kurz und markiert das Hauptmotiv (z. B. „Dies ist ein weißes Flugzeug“).
Die Lösung: Dieser markierte Bereich wird zum „Goldenen Anker“. Er ist ein stabiler Referenzpunkt, der besagt: „Egal was passiert, erinnere dich daran, dass dies ein Flugzeug ist.“ Das System bereinigt diesen Anker, um Verzerrungen (Bias) zu entfernen (wie etwa, dass das Modell immer auf die linke Seite des Bildes schaut, unabhängig vom Inhalt).

2. Der „Spotlight-Supervisor“ (Attention-Supervised Inference)

Während das Modell spricht, beobachtet dieser Supervisor seinen „Blick“ in Echtzeit.

Die Analogie: Stellen Sie sich einen strengen Lehrer vor, der neben dem Reiseleiter steht. Jedes Mal, wenn die Augen des Reiseleiters vom „Goldenen Anker“ abweichen oder anfangen, ins Leere zu starren, tippt der Lehrer ihm sanft auf die Schulter.
Die Lösung: Wenn die Aufmerksamkeit des Modells zu driften beginnt oder „unfokussiert“ wird, lenkt das System die Aufmerksamkeit des Modells sofort wieder auf die relevanten Teile des Bildes. Es zwingt das Modell nicht, exakt dieselben Wörter zu sagen, aber es zwingt das Modell, zuerst auf die richtigen Beweise zu schauen, bevor es spricht.

3. Das „Blindfold-Training“ (Visual Attention Guidance DPO)

Dies ist ein Trainingsschritt, bei dem das Modell lernt, dem Ansehen des Fotos den Vorzug gegenüber dem Raten zu geben.

Die Analogie: Das Modell wird in zwei Szenarien trainiert:
1. Szenario A (Der gute Weg): Das Modell sieht das Foto mit dem hervorgehobenen „Goldenen Anker“ und gibt eine korrekte Antwort.
2. Szenario B (Der schlechte Weg): Das Modell sieht einen leeren, verrauschten Bildschirm (eine „Augenbinde“) und versucht, die Antwort zu erraten.
Die Lösung: Das System lehrt das Modell: „Wenn du auf einen leeren Bildschirm schaust, solltest du nicht selbstbewusst sein. Wenn du auf das echte Foto schaust, solltest du selbstbewusst sein.“ Dies trainiert das Modell, sich auf visuelle Beweise zu verlassen, anstatt einfach Dinge zu erfinden.

Die Ergebnisse

Als die Forscher dieses System auf verschiedene KI-Modelle testeten:

Weniger Halluzinationen: Die Modelle erfanden 40–60 % weniger falsche Details.
Immer noch intelligent: Die Modelle verloren nicht ihre allgemeine Fähigkeit zu sprechen oder zu verstehen; sie wurden lediglich viel besser darin, sich an die Fakten des Bildes zu halten.
Effizient: Das System arbeitet schnell und fügt dem Prozess nur sehr wenig zusätzliche Zeit hinzu.

Zusammenfassung

Kurz gesagt: ADAPT erkennt, dass KI-Modelle „abgelenkt“ werden und anfangen zu raten, während sie sprechen. Um dies zu beheben, gibt es ihnen einen stabilen Referenzpunkt (den Anker), einen Echtzeit-Supervisor, um wandernde Augen abzufangen, und ein spezielles Training, um dem, was sie sehen, mehr Wert beizumessen als dem, was sie sich vorstellen. Das Ergebnis ist eine KI, die die Wahrheit über das Bild sagt, das sie betrachtet.

Technisches Resümee: ADAPT (Attention Dynamics Alignment with Preference Tuning)

Problemstellung

Multimodale Large Language Models (MLLMs) leiden häufig unter Halluzinationen, indem sie Beschreibungen oder Antworten generieren, die nicht mit dem Eingabebild übereinstimmen. Während bestehende Minderungsstrategien auf ergebnisorientierte Anpassungen fokussieren – etwa durch die Manipulation von Token-Wahrscheinlichkeiten während der Inferenz (z. B. kontrastives Dekodieren) oder die Ausrichtung von Output-Verteilungen über Trainingsziele (z. B. RLHF, DPO) – vernachlässigen sie weitgehend die internen Mechanismen, die diese Fehler antreiben.

Dieses Paper identifiziert eine kritische interne Signatur von Halluzinationen: die progressive Degradation der Text-zu-Bild Cross-Attention während der Generierung. Die Autoren beobachten, dass sich die Aufmerksamkeit des Modells im Verlauf der Generierung von einem frühen, visuell fundierten Zustand zu einem späteren, durch Sprach-Priors dominierten Zustand verschiebt. Diese Degradation manifestiert sich in drei spezifischen Fehlermustern:

Drift und Bias: Die Aufmerksamkeit entfernt sich von textrelevanten visuellen Belegen und wird entweder unfokussiert (diffus) oder räumlich verzerrt (konzentriert auf irrelevante Regionen).
Reduzierte Responsivität: Die Änderungsrate der Cross-Attention nimmt ab, während neue Token generiert werden, was auf ein Versagen hindeutet, visuelle Belege für den nachfolgenden Kontext neu zu lokalisieren.
Wertverfall (Value Decay): Der der Aufmerksamkeit zugewiesene Wert für visuelle Token sinkt über die Layer hinweg signifikant ab, was die visuellen Zwänge schwächt und es Sprach-Priors ermöglicht, zu dominieren.

Folglich werden Halluzinationen in den späteren Stadien der Langform-Generierung zunehmend wahrscheinlicher.

Methodik: Das ADAPT-Framework

Um diese internen Dynamiken zu adressieren, schlagen die Autoren ADAPT (Attention Dynamics Alignment with Preference Tuning) vor, ein Framework, das direkt in die Cross-Attention-Dynamik durch drei synergetische Phasen eingreift:

1. Cross-Attention Visual Enhance (Pre-Inference)

Der erste Schritt besteht darin, einen zuverlässigen Cross-Attention Visual Anchor ( $A_{anchor}$ ) aus der frühen, fundierten Phase der Generierung (den ersten $K$ Token) zu konstruieren. Da die rohe Cross-Attention verrauscht und anfällig für „Attention Sinks“ (inhaltsunabhängige Positions-Biases) ist, verfeinern die Autoren die Multi-Layer-Attention-Maps anhand von drei komplementären Kriterien:

Konsistenz & Glätte: Quantifiziert über Hochfrequenz-Energieverhältnisse und inverse Total-Variation (TV)-Regularisierer, um verrauschte, fragmentierte Aktivierungen zu unterdrücken.
Fokus: Gemessen durch Shannon-Entropie, dynamisch angepasst basierend auf der Semantik der Abfrage (Query), um ein Gleichgewicht zwischen Objekt-Ebene und globalem Fokus zu halten.
Räumliche Bias-Korrektur: Eine Debiasing-Maske wird durch Mittelung der Attention-Maps über Rauschbilder abgeleitet, um inhaltsunabhängige Positions-Priors zu identifizieren und zu unterdrücken.

Der resultierende Anker dient als stabiler, abfragerelevanter Referenzpunkt für die nachfolgende Überwachung und wird verwendet, um „ankergestützte“ Bilder zu erstellen, die die visuelle Fundierung vor Beginn der vollständigen Generierung verstärken.

2. Attention-Supervised Inference (Inference-Time)

Während des Dekodierens überwacht das Framework die Treue der aktuellen Cross-Attention-Verteilung ( $A_t$ ) gegenüber dem vorab berechneten Anker ( $A_{anchor}$ ).

Detektion: Ein Anchor-Modulated Concentration (AMC) Index ( $S_{AMC}$ ) wird berechnet, um die Ausrichtung zu messen. Fällt $S_{AMC}$ unter einen Schwellenwert $\tau$ , deutet dies auf einen Attention-Drift hin (unfokussiert oder verzerrt).
Korrektur: Wenn ein Drift detektiert wird, wird ein spärlicher (sparse) korrektiver Steering-Operator auf die Attention-Logits angewendet. Dieser Operator gewichtet die Aufmerksamkeit wieder in Richtung der Regionen, die mit dem Anker konsistent sind, und zieht das Modell effektiv von den Sprach-Priors weg, ohne ein starres, festes Ziel zu erzwingen.

3. Visual Attention Guidance DPO (Training-Time)

Um die intrinsischen Präferenzen des Modells mit visuellen Belegen in Einklang zu bringen, führen die Autoren VAG-DPO ein. Im Gegensatz zu Standard-DPO, das textuelle Antworten kontrastiert, kontrastiert VAG-DPO Antworten unter unterschiedlichen visuellen Evidenz-Bedingungen:

Chosen Sample: Eine faktische Antwort gepaart mit einem visuell verstärkten Bild (abgeleitet vom Anker), was die Verbindung zwischen korrekten Token und salienten visuellen Belegen stärkt.
Rejected Sample: Eine halluzinatorische Antwort gepaart mit einem Rauschbild, wodurch ein „blinder“ Zustand geschaffen wird, in dem das Modell keinen hohen Vertrauen in nicht unterstützte Inhalte setzen sollte.

Dieses Ziel bestraft explizit die Generierung von hochkonfidenten Halluzinationen, die lediglich auf Sprach-Priors basieren.

Kernbeiträge

Diagnostischer Einblick: Das Paper zeigt systematisch einen zweistufigen Prozess der Attention-Degradation auf (von Visuell-Fundiert zu Prior-Dominiert) und identifiziert drei spezifische Fehlermuster (Drift, reduzierte Responsivität, Wertverfall), die mit Halluzinationen assoziiert sind.
Verfeinerungsmechanismus: Eine neuartige Methode zur Verfeinerung der Cross-Attention in einen zuverlässigen Anker unter Verwendung von drei komplementären Kriterien (Spektral, Glätte, Fokus) und expliziter räumlicher Bias-Korrektur.
Integriertes Framework: Das Design von ADAPT, welches die Online-Attention-Drift-Korrektur während der Inferenz mit der Visual Attention Guidance Preference Alignment während des Trainings koppelt.
Empirische Validierung: Umfassende Experimente, die zeigen, dass ADAPT die Halluzinationsraten über gängige Backbones (LLaVA, Qwen-VL) hinweg um 40–60 % reduziert, während die allgemeinen multimodalen Fähigkeiten erhalten bleiben.

Experimentelle Ergebnisse

Die Autoren evaluierten ADAPT auf vier großen Halluzinations-Benchmarks: Obj-Hal (Chair-Metriken), AMBER, MM-Hal und POPE.

Performance: Das vollständige ADAPT erreichte State-of-the-Art (SOTA) Ergebnisse über alle Benchmarks und Backbones hinweg. Beispielsweise reduzierte es bei einem LLaVA-v1.5-7B Modell den Chair-Score von 7,8 auf 3,8 und den Hal-Score auf AMBER von 36,4 auf 15,2.
Effizienz: Die trainingsfreie Variante (ADAPT-TF) allein übertraf bereits viele fortgeschrittene Methoden. Das vollständige Framework führte lediglich einen moderaten Laufzeit-Overhead von 1,42x im Vergleich zum Baseline-Modell ein, was deutlich effizienter ist als andere Inferenz-Interventionen wie OPERA (7,20x).
Generalisierung: Die Methode zeigte eine starke Generalisierbarkeit über verschiedene Modellfamilien hinweg (7B- und 13B-Varianten von LLaVA und Qwen) und behielt die allgemeinen multimodalen Fähigkeiten (MME, MMBench) mit minimaler Verschlechterung gegenüber Vanilla-DPO bei.
Grounding: Die verfeinerten visuellen Anker zeigten eine überlegene Leistung in Lokalisierungsaufgaben (RefCOCO/RefCOCOg) und erreichten eine höhere Genauigkeit und mIoU als die Baseline-CLIP und andere Attention-basierte Methoden.

Bedeutung und Behauptungen

Das Paper behauptet, dass ADAPT eine neue Attention-basierte Perspektive zur Minderung von Halluzinationen bietet. Durch die Verlagerung des Fokus von der ergebnisorientierten Output-Manipulation auf das interne Text-zu-Bild Cross-Attention-Verhalten demonstrieren die Autoren, dass Halluzinationen nicht nur ein Resultat schlechter Trainingsdaten oder Dekodierungsstrategien sind, sondern eine Folge der zeitlich fortschreitenden Degradation der Attention-Dynamik.

Die Bedeutung dieser Arbeit liegt in:

Mechanismus-basierter Intervention: Der Übergang von der „Black-Box“-Output-Optimierung zur direkten Intervention in die internen Attention-Mechanismen des Modells.
Synergetischem Design: Der Nachweis, dass die Kombination von Inferenz-Zeit-Überwachung mit Trainings-Zeit-Präferenz-Abgleich überlegene Ergebnisse liefert als jeder Ansatz allein.
Praktikabilität: Die Bereitstellung einer Lösung, die sowohl hocheffektiv bei der Reduzierung von Halluzinationen als auch rechentechnisch effizient genug für den praktischen Einsatz ist.

Die Autoren kommen zu dem Schluss, dass die Untersuchung und Korrektur interner Attention-Dynamiken ein praktischer und effektiver Weg zum Aufbau treffsicherer (faithful) MLLMs ist.