Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation

Die Arbeit stellt CAPL vor, ein Framework zur Reduzierung von Halluzinationen in Large Vision-Language Models bei Multi-Image-Aufgaben, das durch eine kalibrierte Cross-Image-Attention und eine präferenzbasierte Lernstrategie die modellübergreifende Interaktion verbessert und die Modellierung auf echte visuelle Evidenz statt auf textuelle Priors ausrichtet.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber etwas verwirrten Freund, der riesige Mengen an Bildern und Texten lesen kann. Dieser Freund ist ein KI-Modell (ein sogenanntes "Large Vision-Language Model"). Wenn man ihm nur ein Bild zeigt, ist er oft brillant. Aber wenn man ihm zwei oder mehr Bilder gleichzeitig gibt, um sie zu vergleichen oder eine Geschichte daraus zu erzählen, wird er schnell verwirrt und beginnt zu halluzinieren.

Das bedeutet: Er erfindet Dinge, die gar nicht da sind, oder vermischt Details aus Bild A mit Bild B, als wären sie zusammengehörig.

Dieses Papier beschreibt eine neue Methode namens CAPL, um diesem Freund zu helfen, die Bilder wirklich richtig zu verstehen. Hier ist die Erklärung in einfachen Worten mit ein paar bildhaften Vergleichen:

1. Das Problem: Der einseitige Blick (Die Einbahnstraße)

Normalerweise lesen diese KI-Modelle Bilder wie ein Buch: Sie schauen sich das erste Bild an, dann das zweite, dann das dritte.

• Das Problem: Das zweite Bild darf sich das erste "ansehen", aber das erste Bild darf sich das zweite nicht ansehen. Es ist wie eine Einbahnstraße.
• Die Folge: Wenn das Modell versucht, Gemeinsamkeiten zu finden, muss es sich nur auf das erste Bild verlassen und raten, was im zweiten sein könnte. Es verlässt sich dann zu sehr auf das, was es aus Texten kennt (seine "Vorurteile"), statt wirklich hinzuschauen. Es sagt dann vielleicht: "Ah, im ersten Bild ist ein Hund, also muss im zweiten Bild auch ein Hund sein", obwohl dort eine Katze ist.

2. Die Lösung Teil 1: Der "Rückblick" (Cross-Image Attention)

Die Forscher haben eine neue Brille für den Freund gebaut, die CAPL heißt.

• Die Idee: Statt nur nach vorne zu schauen, erlaubt diese Brille den Bildern, sich gegenseitig anzusehen.
• Der Vergleich: Stell dir vor, du hast zwei Freunde, die ein Rätsel lösen. Normalerweise darf nur der zweite Freund auf den ersten schauen. Mit der neuen Brille dürfen sie sich in die Augen schauen und miteinander reden.
• Die "Selektive" Komponente: Da sie nicht jedes Detail jedes Bildes gleichzeitig ansehen wollen (das wäre zu viel Chaos), wählt die KI nur die wichtigsten Teile (die "Schlüssel-Tokens") aus. Es ist wie ein Spotlight, das nur auf die relevanten Objekte in beiden Bildern leuchtet, damit sie sich genau dort "treffen" und vergleichen können.

3. Die Lösung Teil 2: Der "Lern-Coach" (Preference Learning)

Nur eine neue Brille reicht nicht; der Freund muss auch lernen, sie richtig zu benutzen. Dafür nutzen die Forscher eine Methode namens DPO (Direct Preference Optimization).

• Das Trainingsszenario:

  • Der gute Weg (Positive Probe): Die KI schaut sich beide Bilder mit der neuen "Zwei-Wege-Brille" an und gibt eine korrekte Antwort. Das ist die "gute Antwort".
  • Der schlechte Weg (Negative Probe): Hier ist der Trick! Die Forscher zwingen die KI, die Bilder so zu betrachten, als wären sie voneinander isoliert (wie bei der alten Einbahnstraße). Sie schalten die Verbindung zwischen den Bildern komplett ab.
  • Das Ergebnis: Wenn die Verbindung fehlt, macht die KI fast garantiert einen Fehler (sie halluziniert). Diese falsche Antwort ist die "schlechte Antwort".

• Die Lektion: Der Coach sagt der KI: "Schau mal, wenn du die Bilder nicht verbindest, erfindest du Unsinn (schlechte Antwort). Wenn du sie verbindest, bekommst du es richtig hin (gute Antwort). Lerne, die Verbindung zu bevorzugen!"

Durch diesen Vergleich lernt die KI, dass sie sich wirklich auf die visuellen Beweise verlassen muss, statt auf ihre eigenen Fantasien.

4. Das Ergebnis: Ein besserer Detektiv

Nach diesem Training passiert etwas Wunderbares:

• Bei mehreren Bildern wird die KI viel genauer. Sie vermischt keine Details mehr und erkennt Unterschiede sofort.
• Bei einem einzelnen Bild wird sie nicht schlechter (sie vergisst nicht, wie man ein Bild allein betrachtet). Sie wird sogar noch stabiler, weil sie gelernt hat, nicht blind zu raten.

Zusammenfassung in einem Satz

Die Forscher haben einer KI beigebracht, Bilder nicht wie eine Einbahnstraße zu lesen, sondern wie ein Gespräch zwischen zwei Freunden, und sie haben sie durch einen harten Vergleich von "richtigem Sehen" und "blindem Raten" trainiert, damit sie endlich aufhört, sich Dinge aus dem Kopf zu erfinden.

Das ist CAPL: Ein System, das Bilder verbindet und die KI diszipliniert, damit sie die Wahrheit sieht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation" auf Deutsch:

1. Problemstellung

Große Vision-Language-Modelle (LVLMs) haben zwar beeindruckende Fortschritte bei Aufgaben mit einzelnen Bildern erzielt, zeigen jedoch in Multi-Bild-Szenarien (z. B. Bildvergleiche, Integration von Informationen über mehrere Bilder hinweg) signifikante Halluzinationen. Das bedeutet, sie generieren plausible, aber faktisch falsche Antworten.

Die Autoren identifizieren zwei Hauptursachen für dieses Phänomen:

• Asymmetrischer Informationsfluss: Herkömmliche Transformer-basierte LVLMs nutzen einen kausalen (autoregressiven) Aufmerksamkeitsmechanismus. Dabei können spätere Bilder auf frühere Bilder „sehen", aber frühere Bilder haben keinen Zugriff auf spätere. Dies führt zu einer einseitigen Informationspropagierung und verhindert eine symmetrische, stabile Modellierung von Beziehungen zwischen Bildern.
• Unzureichende Cross-Image-Modellierung: Bestehende Methoden behandeln Bilder oft als unabhängige Kontexte oder nutzen nur oberflächliche Dekodierungsstrategien, ohne die semantischen Beziehungen zwischen den Bildern explizit zu modellieren. Dies führt dazu, dass das Modell sich zu stark auf textuelle Priors (Vorwissen aus dem Text) verlässt, anstatt auf echte visuelle Evidenz.

2. Methodik: CAPL Framework

Die Autoren schlagen ein neues Framework namens CAPL (Cross-Image Attention calibration and Preference Learning) vor, das aus zwei Hauptkomponenten besteht:

A. Selektive Cross-Image-Token-Interaktion (Attention Calibration)

Um die Asymmetrie des kausalen Aufmerksamkeitsmechanismus zu beheben, führen die Autoren eine modifizierte Maskierung ein:

• Bidirektionale Aufmerksamkeit: Der kausale Maskierungsbereich zwischen verschiedenen Bildern wird aufgehoben, sodass Token aus verschiedenen Bildern wechselseitig aufeinander achten können. Innerhalb eines Bildes bleibt die kausale Struktur erhalten, um die zeitliche/sequenzielle Struktur zu bewahren.
• Selektive Token-Auswahl: Um Redundanz und Rauschen zu vermeiden, werden nicht alle Token beteiligt. Stattdessen werden basierend auf der „Antwortintensität" (Norm der Embeddings) die wichtigsten Token (Key Tokens) pro Bild ausgewählt. Nur diese Key Tokens interagieren über die Bildgrenzen hinweg.
• Fusion: Die finale Aufmerksamkeit ist eine gewichtete Kombination aus dem ursprünglichen kausalen Mechanismus und dem neuen selektiven Cross-Image-Mechanismus. Um die Stabilität zu gewährleisten, wird dies abwechselnd in ungeraden und geraden Decoder-Schichten angewendet.

B. Aufmerksamkeitsgesteuertes Präferenzlernen (Attentive Preference Learning)

Da eine reine Inferenz-Anpassung nicht ausreicht, wird das Modell durch Direct Preference Optimization (DPO) nachtrainiert. Der Schlüssel liegt in der Konstruktion von Trainingspaaren (Präferenz vs. Abstoßung):

• Positive Samples (Bevorzugt): Werden generiert, indem das Modell mit dem neuen selektiven Cross-Image-Mechanismus (bidirektional) arbeitet. Die Antworten werden ggf. durch ein fortgeschrittenes Modell (Qwen3) verfeinert, um Korrektheit zu garantieren.
• Negative Samples (Abgelehnt): Hier wird ein trunkierter Aufmerksamkeitsmechanismus verwendet. Alle Verbindungen zwischen Token verschiedener Bilder werden komplett blockiert (Maskierung auf $-\infty$). Das Modell ist gezwungen, sich nur auf einzelne Bilder und textuelle Priors zu verlassen. Dies zwingt das Modell dazu, seine inhärenten Halluzinationsmuster offenzulegen, da es keine echten visuellen Korrelationen mehr nutzen kann.
• Ziel: Das DPO-Training lernt dem Modell, Antworten, die auf echter Cross-Image-Interaktion basieren, gegenüber solchen zu bevorzugen, die auf isolierter Bildverarbeitung und textuellen Vorurteilen beruhen.
• Verlustfunktion: Die Gesamtverlustfunktion kombiniert den DPO-Verlust (für die Präferenzordnung) mit einem Negativ-Log-Likelihood (NLL)-Verlust auf den positiven Samples, um die Token-Ebene der Generierung zu stabilisieren.

3. Schlüsselbeiträge

1. Analyse der strukturellen Ursachen: Identifizierung der einseitigen Informationsfluss-Richtung und unzureichenden semantischen Verknüpfung als Hauptgründe für Multi-Bild-Halluzinationen.
2. Neues Framework (CAPL): Integration einer selektiven bidirektionalen Aufmerksamkeitsmechanik mit einem spezialisierten DPO-Training, das gezielt Halluzinationspfade durch „Trunkierung" der Bildinteraktion aufdeckt.
3. Robustheit und Generalisierung: Die Methode verbessert nicht nur die Leistung bei Multi-Bild-Aufgaben, sondern erhält oder verbessert sogar die Fähigkeiten bei Single-Bild-Aufgaben, was eine starke Generalisierungsfähigkeit beweist.

4. Ergebnisse

Die Methode wurde auf drei verschiedenen Basismodellen (Qwen2.5-VL, InternVL2.5, GLM4.1VBase) und mehreren Benchmarks evaluiert:

• Multi-Bild-Halluzination (BLINK, MUIRBench): CAPL erzielt konsistente und signifikante Verbesserungen. Auf dem komplexen MUIRBench-Benchmark wurden Steigerungen von über 3,5 Punkten erreicht. Selbst starke Baseline-Modelle profitierten deutlich.
• Allgemeine Multi-Bild-Fähigkeiten (NLVR2, QBench2, etc.): Die Leistung blieb stabil oder verbesserte sich leicht, da die explizite Modellierung von Bildbeziehungen die visuelle Evidenznutzung stärkt.
• Single-Bild-Aufgaben (POPE, CHAIR, MMBench): Die Methode führte zu keinen Leistungsabfällen; in einigen Fällen (z. B. POPE bei Qwen2.5-VL) sogar zu Verbesserungen, da das Modell durch das Training gelernt hat, Halluzinationen generell zu unterdrücken.
• Ablationsstudien:
  • Die Kombination aus Attention-Calibration und DPO ist synergistisch; beide Komponenten sind notwendig für die besten Ergebnisse.
  • Die Verwendung von trunkierten Negativ-Beispielen ist entscheidend: Sie erzeugen deutlich schwierigere und fehleranfälligere Antworten als normale Negativ-Beispiele, was den Lernsignal für das DPO-Training verstärkt.
  • Die Selektionsrate $\rho$ (Anteil der Key Tokens) muss optimiert werden (ca. 0.9–0.95), um ein Gleichgewicht zwischen Informationsfluss und Rauschunterdrückung zu finden.

5. Bedeutung und Fazit

Das Paper adressiert ein kritisches Defizit aktueller LVLMs: die Unfähigkeit, komplexe Beziehungen zwischen mehreren Bildern korrekt zu verstehen, ohne zu halluzinieren.

• Architekturelle Innovation: Durch die Aufhebung der kausalen Beschränkung zwischen Bildern wird eine echte bidirektionale semantische Verknüpfung ermöglicht.
• Trainingsparadigma: Die Idee, Halluzinationen künstlich durch Unterbrechung der Bildinteraktion zu induzieren, um daraus effektive Negativ-Beispiele für das DPO-Training zu generieren, ist ein innovativer Ansatz, der tiefer geht als reine Dekodierungsstrategien.
• Praktische Relevanz: CAPL bietet einen skalierbaren Weg, um die Zuverlässigkeit von Vision-Language-Modellen in realen Anwendungen (z. B. medizinische Diagnose mit mehreren Scans, Vergleich von Produktvarianten) zu erhöhen, ohne die generellen Sprachfähigkeiten zu beeinträchtigen.

Zusammenfassend stellt CAPL einen wichtigen Schritt dar, um LVLMs von reinen Text-basierten Inferenzmaschinen zu Modellen zu entwickeln, die visuelle Evidenz über mehrere Eingaben hinweg robust und konsistent nutzen können.