Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation

Dit paper introduceert CAPL, een framework dat hallucinaties in multi-image taken van grote vision-language modellen aanpakt door cross-image attentie te kalibreren en voorkeurslering toe te passen om de interactie tussen afbeeldingen te verbeteren en de afhankelijkheid van tekstuele priors te verminderen.

De kern

Stel je voor dat je een slimme robot hebt die foto's kan bekijken en er verhalen over kan vertellen. Deze robot is erg goed in het bekijken van één foto tegelijk. Maar als je hem twee of meer foto's geeft om te vergelijken (bijvoorbeeld: "Wat is het verschil tussen deze twee schilderijen?"), begint hij te hallucineren.

Hij verzint dingen die er niet zijn, of hij verwardt details uit foto A met foto B. Het is alsof hij droomt terwijl hij wakker is.

De onderzoekers van dit paper hebben een oplossing bedacht, genaamd CAPL. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De Eenrichtingsstraat

Stel je voor dat de robot een rij van mensen voor zich heeft staan, die allemaal een foto vasthouden.

• Hoe het nu werkt: De robot kijkt alleen naar de mensen die voor hem staan. Hij kan niet naar de mensen achter hem kijken.
• Het gevolg: Als de eerste persoon een rode bal heeft en de tweede een blauwe, denkt de robot misschien dat de tweede persoon ook een rode bal heeft, omdat hij die informatie niet kan "terugkijken" om te controleren. Hij maakt een gok op basis van wat hij al heeft gezien, en dat leidt tot fouten. In de technische taal noemen ze dit een "causale aandacht" (het kan alleen vooruitkijken).

2. De Oplossing Deel 1: De "Tweewegs Bril" (Cross-Image Attention)

De onderzoekers hebben de robot een speciale bril gegeven.

• De analogie: In plaats van dat de robot alleen naar voren kijkt, mag hij nu ook naar achteren kijken. Hij kan nu direct contact maken tussen de mensen in de rij.
• Hoe het werkt: Als de robot twijfelt over een detail, kan hij even "terugkijken" naar de vorige foto om te zien of het klopt. Hij maakt een verbinding tussen de belangrijkste stukjes van foto A en foto B.
• De selectie: De robot kijkt niet naar alles (dat zou te veel ruis zijn), maar hij focust op de "sterkste" signalen (de belangrijkste details) in elke foto. Dit noemen ze selectieve interactie.

3. De Oplossing Deel 2: De "Goocheltruc" (Preference Learning)

Nu de robot de bril heeft, moet hij nog leren om die bril ook echt te gebruiken. Soms is hij te lui en vertrouwt hij toch op zijn oude gewoontes (zijn "gokken"). Daarom hebben de onderzoekers een slimme trainingsoefening bedacht, vergelijkbaar met een leermeester die een leerling leert fouten te herkennen.

Ze doen dit in twee stappen:

1. De Goede Voorbeeld (De "Wakker" Modus): Ze laten de robot de foto's bekijken met de nieuwe bril (waar hij alle foto's met elkaar kan vergelijken). Hij geeft het juiste antwoord.
2. De Slechte Voorbeeld (De "Blind" Modus): Ze doen alsof de robot zijn bril heeft afgezet en de foto's zijn gescheiden door muren. Hij kan de foto's niet meer met elkaar vergelijken. In deze modus is hij gedwongen om te gokken of te verzinnen. Hij geeft een fout antwoord (een hallucinatie).

De Training:
De robot krijgt nu te horen: "Kijk, dit is wat je zegt als je goed kijkt (Goede Modus), en dit is wat je zegt als je blind bent (Slechte Modus). Ik wil dat je altijd kiest voor de 'Goede Modus'."

Door duizenden keren te oefenen met dit "Goed vs. Slecht" spel, leert de robot dat hij zijn "bril" (de verbinding tussen foto's) écht moet gebruiken om het juiste antwoord te geven, in plaats van te gokken.

4. Het Resultaat: Een Slimme, Betrouwbare Robot

Na deze training gebeurt er iets moois:

• Bij meerdere foto's: De robot maakt veel minder fouten. Hij vergelijkt de foto's echt met elkaar en verzint geen dingen meer.
• Bij één foto: Hij wordt niet dommer! Sterker nog, hij wordt soms zelfs iets slimmer, omdat hij heeft geleerd om beter naar visuele details te kijken in plaats van te vertrouwen op wat hij "denkt" dat waar is.

Samenvattend

Dit paper is als het geven van een tweewegs communicatiekanaal aan een robot die normaal alleen maar naar voren kijkt, en hem daarna trainen door hem te laten zien hoe dom hij is als hij die verbinding niet gebruikt.

Het resultaat is een AI die betrouwbaarder is, minder "droomt" over dingen die er niet zijn, en beter kan omgaan met complexe situaties waar meerdere beelden bij betrokken zijn.

Technische samenvatting

Probleemstelling: Hallucinaties in Multi-Image Taken

Grote Visueel-Taalmodellen (LVLM's) hebben indrukwekkende prestaties geleverd in taken met één afbeelding, maar vertonen aanzienlijke hallucinaties (het genereren van plausibele maar feitelijke onjuiste antwoorden) wanneer ze worden ingezet voor taken met meerdere afbeeldingen.

De auteurs identificeren twee fundamentele oorzaken voor dit probleem:

1. Asymmetrische Informatiestroom: Bestaande Transformer-architecturen gebruiken een causale (autoregressieve) attentiemasker. Hierbij kunnen tokens van latere afbeeldingen kijken naar eerdere afbeeldingen, maar niet andersom. Dit creëert een positiebias en verhindert symmetrische, wederzijdse semantische relaties tussen afbeeldingen.
2. Gebrek aan expliciete kruisbeeldmodellering: Modellen vertrouwen vaak te sterk op taalkundige priors (tekstuele aannames) in plaats van op echte visuele bewijzen uit meerdere bronnen. Bestaande methoden focussen vaak op decoding-strategieën of simpele training, zonder de onderliggende architectuur voor kruisbeeld-interactie te verbeteren.

Methodologie: Het CAPL Framework

De auteurs stellen CAPL (Cross-Image Attention calibration and Preference Learning) voor, een gestructureerd raamwerk dat bestaat uit twee hoofdcomponenten:

1. Selectieve Kruisbeeld-Attentie (Cross-Image Attention Calibration)

Om de asymmetrie van de causale attentie op te lossen, introduceren de auteurs een mechanisme dat de interactie tussen tokens van verschillende afbeeldingen activeert.

• Bidirectionele Interactie: In plaats van alleen eerdere tokens te laten kijken naar latere tokens, wordt de causale beperking tussen afbeeldingen verwijderd, zodat tokens van verschillende afbeeldingen wederzijds naar elkaar kunnen kijken.
• Selectie van Sleuteltokens: Om redundantie en ruis te voorkomen, wordt niet elke token gekoppeld. Er wordt een energie-gebaseerde selectie toegepast waarbij alleen de tokens met de hoogste responsintensiteit (de "sleuteltokens") worden geselecteerd voor kruisbeeld-interactie.
• Hybride Masker: Om de stabiliteit van autoregressieve generatie te behouden, wordt een alternerend masker gebruikt: oneven decoderlagen gebruiken de geselecteerde kruisbeeld-attentie, terwijl even lagen de oorspronkelijke causale masker behouden.

2. Attentieve Voorkeurslering (Attentive Preference Learning)

Om het model effectief te trainen om hallucinaties te vermijden, wordt Direct Preference Optimization (DPO) gebruikt. Dit vereist het construeren van positieve en negatieve voorbeeldparen.

• Positieve Samples: Generaties gegenereerd met het nieuwe, verbeterde kruisbeeld-attentiemechanisme, verfijnd met feedback van een geavanceerd model (Qwen3).
• Negatieve Samples (Truncated Negatives): Dit is een kerninnovatie. Om het model te dwingen zijn hallucinatiegedrag te tonen, wordt de kruisbeeld-attentie volledig afgesneden (truncation) tijdens het genereren van negatieve samples. Hierdoor is het model gedwongen om uitsluitend te vertrouwen op individuele afbeeldingen en taalkundige priors, wat leidt tot meer hallucinaties.
• Trainingsdoel: Het model leert via DPO om de output onder volledige kruisbeeld-interactie (positief) te prefereren boven de output onder afgesneden interactie (negatief). Dit wordt gecombineerd met een Negative Log-Likelihood (NLL) verlies op de positieve samples om de token-generatie te stabiliseren.

Belangrijkste Bijdragen

1. Analyse van de Oorzaak: Het paper identificeert de gebrek aan symmetrische visuele informatiestroom en de afhankelijkheid van tekstuele priors als de hoofdoorzaken van hallucinaties in multi-image taken.
2. CAPL Architectuur: Een nieuw framework dat selectieve kruisbeeld-attentie combineert met voorkeursgerichte training om de semantische interactie tussen afbeeldingen te versterken.
3. Truncated Negatives: Een innovatieve methode om negatieve trainingsdata te genereren door de kruisbeeld-attentie bewust te blokkeren, waardoor het model gedwongen wordt om zijn zwakke punten (hallucinaties) te vertonen voor effectieve optimalisatie.
4. Generalisatie: De methode werkt effectief over verschillende modelarchitecturen heen zonder de prestaties op taken met één afbeelding te schaden.

Resultaten

De auteurs hebben CAPL getest op drie basismodellen: Qwen2.5-VL, InternVL2.5 en GLM4.1VBase.

• Multi-Image Hallucinaties: Er zijn consistente verbeteringen geboekt op gespecialiseerde benchmarks voor hallucinaties (BLINK en MUIRBench).
  • Op MUIRBench (complex kruisbeeld-redeneren) werden verbeteringen van meer dan 3,5 punten gezien in de beste gevallen.
  • Zelfs sterke basismodellen zoals GLM4.1VBase-9B lieten significante winst zien.
• Algemene Multi-Image Taken: Prestaties op algemene benchmarks zoals NLVR2, QBench2 en MIBench bleven stabiel of verbeterden licht, wat aantoont dat het model beter visuele bewijzen gebruikt in plaats van te gissen.
• Single-Image Taken: Belangrijk is dat de prestaties op taken met één afbeelding (zoals POPE, CHAIR, MMBench) stabiel bleven of zelfs licht verbeterden. Dit bewijst dat de methode geen "catastrophic forgetting" veroorzaakt en goed generaliseert.
• Ablatie Studies:
  • Alleen het aanpassen van de attentie (+Attn) gaf al verbetering, maar de combinatie met DPO gaf de grootste winst.
  • Negatieve samples gegenereerd met "truncated attention" bleken effectiever (moeilijker) dan standaard negatieve samples, wat leidde tot sterkere leerresultaten.

Significantie

Dit werk is significant omdat het de aandacht verschuift van oppervlakkige decoding-strategieën naar een fundamentele herstructurering van hoe LVLM's visuele informatie uit meerdere bronnen verwerken. Door de symmetrie in de attentiemaskers te herstellen en het model te trainen via contrastief leren (waarbij het model leert wat niet te doen door hallucinaties opzettelijk te induceren), biedt CAPL een robuuste oplossing voor een van de grootste beperkingen van huidige multimodale modellen. Het bewijst dat het expliciet modelleren van relaties tussen afbeeldingen essentieel is voor betrouwbare redenering in complexe, multi-image scenario's.