Technische Samenvatting: ADAPT (Attention Dynamics Alignment with Preference Tuning)

Probleemstelling

Multimodale Large Language Models (MLLM's) lijden frequent aan hallucinaties, waarbij ze beschrijvingen of antwoorden genereren die inconsistent zijn met de invoerafbeelding. Terwijl bestaande mitigatiestrategieën zich richten op resultaatgestuurde aanpassingen — zoals het manipuleren van token-niveau waarschijnlijkheden tijdens inferentie (bijv. contrastieve decodering) of het afstemmen van outputdistributies via training-doelstellingen (bijv. RLHF, DPO) — negeren zij grotendeels de interne mechanismen die deze fouten aansturen.

Dit artikel identificeert een kritische interne signatuur van hallucinatie: de progressieve degradatie van de tekst-naar-beeld cross-attention tijdens de generatie. De auteurs observeren dat de aandacht van het model tijdens de generatie verschuift van een vroege, visueel gegronde staat naar een latere, door priors gedomineerde staat. Deze degradatie manifesteert zich in drie specifieke foutpatronen:

1. Drift en Bias: Aandacht beweegt weg van tekst-relevante visuele bewijslast, waardoor deze ofwel ongefocusseerd (diffuus) of ruimtelijk bevooroordeeld (geconcentreerd op irrelevante regio's) wordt.
2. Verminderde Responsiviteit: De snelheid van verandering in de cross-attention neemt af naarmate er meer tokens worden gegenereerd, wat duidt op een falen om visuele bewijslast te herlokaliseren voor de daaropvolgende context.
3. Waardedegeneratie (Value Decay): De aandachtswaarde die aan visuele tokens wordt toegewezen, daalt significant over de lagen heen, waardoor visuele beperkingen verzwakken en taalpriors de overhand krijgen.

Gevolgelijk worden hallucinaties steeds waarschijnlijker in de latere stadia van langdurige generatie.

Methodologie: ADAPT-framework

Om deze interne dynamiek aan te pakken, stellen de auteurs ADAPT (Attention Dynamics Alignment with Preference Tuning) voor, een framework dat direct ingrijpt op de cross-attention dynamiek via drie synergetische stadia:

1. Cross-Attention Visual Enhance (Pre-Inference)

De eerste stap omvat het construeren van een betrouwbare Cross-Attention Visual Anchor ($A_{anchor}$) vanuit de vroege, gegronde fase van de generatie (de eerste $K$ tokens). Omdat ruwe cross-attention ruisgevoelig is en vatbaar is voor "attention sinks" (inhoudonafhankelijke positionele biases), verfijnen de auteurs de multi-layer attention maps met behulp van drie complementaire criteria:

• Consistentie & Gladheid (Smoothness): Gekwantificeerd via hoogfrequente energieratio's en inverse Total Variation (TV) regularisaties om ruizige, gefragmenteerde activaties te onderdrukken.
• Focus: Gemeten via Shannon-entropie, dynamisch aangepast op basis van query-semantiek om een balans te vinden tussen object-niveau en globale focus.
• Correctie van Ruimtelijke Bias: Een debiasing-masker wordt afgeleid door de attention maps te middelen over ruisafbeeldingen om inhoudsonafhankelijke positionele priors te identificeren en te onderdrukken.

De resulterende anchor dient als een stabiele, query-relevante referentie voor downstream supervisie en wordt gebruikt om "anchor-geleide" afbeeldingen te creëren die de visuele gronding versterken voordat de volledige generatie begint.

2. Attention-Supervised Inference (Inference-Time)

Tijdens de decodering monitort het framework de getrouwheid van de huidige cross-attention distributie ($A_t$) ten opzichte van de vooraf berekende anchor ($A_{anchor}$).

• Detectie: Een Anchor-Modulated Concentration (AMC) index ($S_{AMC}$) wordt berekend om de uitlijning te meten. Als $S_{AMC}$ onder een drempelwaarde $\tau$ valt, duidt dit op aandachtdrift (ongefocusseerd of bevooroordeeld).
• Correctie: Wanneer drift wordt gedetecteerd, wordt een sparse correctieve sturingsoperator toegepast op de attention logits. Deze operator herweegt de aandacht naar regio's die consistent zijn met de anchor, waardoor het model effectief terug wordt getrokken van taalpriors zonder een rigide, vast doel af te dwingen.

3. Visual Attention Guidance DPO (Training-Time)

Om de intrinsieke voorkeuren van het model af te stemmen op visueel bewijs, introduceren de auteurs VAG-DPO. In tegen tegenstelling tot standaard DPO, dat tekstuele responsen contrasteert, contrasteert VAG-DPO responsen onder verschillende visuele bewijscondities:

• Chosen Sample: Een feitelijke respons gekoppeld aan een visueel versterkte afbeelding (afgeleid van de anchor), wat de link tussen correcte tokens en saillante visuele bewijslast versterkt.
• Rejected Sample: Een hallucinerende respons gekoppeld aan een ruisafbeelding, wat een "blinde" conditie creëert waarin het model geen hoge mate van vertrouwen moet toekennen aan niet-onderbouwde inhoud.

Deze doelstelling straft expliciet het genereren van hallucinaties met een hoog vertrouwen gebaseerd op louter taalpriors af.

Belangrijkste Bijdragen

1. Diagnostisch Inzicht: Het artikel onthult systematisch een tweestaps aandachtsdegradatieproces (van Visueel Gegrond naar Prior-Gedomineerd) en identificeert drie specifieke foutpatronen (drift, verminderde responsiviteit, waardedegeneratie) die geassocieerd worden met hallucinaties.
2. Verfijningsmechanisme: Een nieuwe methode om cross-attention te verfijnen tot een betrouwbare anchor met behulp van drie complementaire criteria (spectraal, gladheid, focus) en expliciete correctie van ruimtelijke bias.
3. Geïntegreerd Framework: Het ontwerp van ADAPT, dat online aandachtsdrift-correctie tijdens inferentie koppelt aan visuele aandacht-geleide voorkeursafstemming tijdens training.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat ADAPT de hallucinatiecijfers met 40–60% vermindert over mainstream backbones (LLaVA, Qwen-VL), terwijl de algemene multimodale capaciteiten behouden blijven.

Experimentele Resultaten

De auteurs evalueerden ADAPT op vier belangrijke hallucinatie-benchmarks: Obj-Hal (Chair metrics), AMBER, MM-Hal, en POPE.

• Prestaties: Volledige ADAPT bereikte State-of-the-Art (S State-of-the-Art (SOTA) resultaten over alle benchmarks en backbones. Bijvoorbeeld, op het LLaVA-v1.5-7B model verminderde het de Chair score van 7.8 naar 3.8 en de Hal score op AMBER van 36.4 naar 15.2.
• Efficiëntie: De training-vrije variant (ADAPT-TF) alleen al presteerde beter dan veel geavanceerde methoden. Het volledige framework introduceerde een bescheiden runtime overhead van slechts 1.42x vergeleken met de baseline, wat aanzienlijk efficiënter is dan andere inferentie-interventies zoals OPERA (7.20x).
• Generalisatie: De methode toonde sterke generaliseerbaarheid over verschillende modelfamilies (7B en 13B varianten van LLaVA en Qwen) en behield algemene multimodale capaciteiten (MME, MMBench) met minimale degradatie vergeleken met vanilla DPO.
• Gronding: De verfijnde visuele anchors vertoonden superieure prestaties in lokalisatietaken (RefCOCO/RefCOCOg), waarbij hogere Accuracy en mIoU werden behaald dan baseline CLIP en andere aandacht-gebaseerde methoden.

Betekenis en Claims

Het artikel claimt dat ADAPT een nieuw aandachtsgebaseerd perspectief biedt op het beperken van hallucinaties. Door de focus te verleggen van resultaatgestuurde outputmanipulatie naar de interne tekst-naar-beeld cross-attention gedragingen, demonstreren de auteurs dat hallucinaties niet enkel het gevolg zijn van slechte trainingsdata of decoderingsstrategieën, maar een gevolg zijn van de degradatie van de aandachtsdynamiek over tijd.

De betekenis van dit werk ligt in:

• Mechanisme-gebaseerde Interventie: Het verder gaan dan "black-box" outputtuning door direct in te grijpen op de interne attention mechanismen van het model.
• Synergetisch Ontwerp: Het aantonen dat het combineren van inferentie-tijd supervisie met training-tijd voorkeursafstemming superieure resultaten oplevert vergeleken met elk van beide benaderingen alleen.
• Praktische Bruikbaarheid: Het bieden van een oplossing die zowel zeer effectief is in het verminderen van hallucinaties als computationeel efficiënt genoeg is voor praktische implementatie.

De auteurs concluderen dat het verkennen en corrigeren van interne aandachtsdynamiek een praktische en effectieve weg is naar het bouwen van meer getrouwe MLLM's.