Information-Regularized Attention for Visual-Centric Reasoning

Technische Samenvatting: Informatie-geregulariseerde Aandacht voor Visueel-Centrisch Redeneren

Probleemstelling
Vision-language modellen (VLM's) hebben zichzelf gevestigd als een paradigma voor multimodale leerprocessen, maar lijden onder aanzienlijke betrouwbaarheidsproblemen, waaronder objecthallucinaties, zwakke visuele gronding en catastrofale vergetelheid na volledige parameter-instructietuning. De auteurs stellen dat deze fouten voortkomen uit een gebrek aan expliciete controle over het leren van visuele representaties tijdens de standaard next-token voorspellingsdoelstelling. Onder de huidige trainingsparadigma's worden visuele embeddings passief geoptimaliseerd via louter taal-supervisie. Dit staat toe dat taakonrelevante of ruisgevoelige visuele signalen door de aandachtslagen (attention layers) propageren, wat leidt tot "attention sinks" (waarbij aandacht instort op semantisch oninformatieve tokens) en spuriële cross-modale interacties. Bestaande datacentrische benaderingen, die vertrouwen op het uitbreiden van supervisiesignalen (bijv. preferentie-optimalisatie), falen erin om de feature-representaties zelf direct te reguleren.

Methodologie: Informatie-geregulariseerde Aandacht (IRA)
Om deze problemen aan te pakken, stelt het artikel Information-Regularized Attention (IRA) voor, een stochastisch aandachtsmechanisme dat ontworpen is om de hoeveelheid visuele informatie die in de verborgen toestanden (hidden states) van tussenliggende transformer-lagen wordt geïnjecteerd, expliciet te reguleren.

• Informatie-theoretische Formulering: De methode formuleert het probleem als een variationele inferentietaken. In plaats van verborgen toestanden $h$ te behandelen als deterministische mapping van input $x$, introduceert IRA een stochastische latente variabele $z$ door willekeurige ruis te injecteren in de waarde-toestanden (value states) van de aandachtmodule voordat ze de aandachtsberekening ingaan. Dit transformeert de deterministische propagatie van visuele embeddings naar een stochastisch proces.
• Architectuur: Een lichtgewicht parametrische kop is aan elke transformer-laag bevestigd om een posterieure distributie $q_\phi(z | v)$ te produceren, waarbij $v$ de waarde-toestanden vertegenwoordigt. Deze posterieure distributie wordt benaderd met behulp van een reparameterisatie-truc ($z = v + \Delta_\phi(v) + \sigma_q \epsilon$), waardoor het model adaptieve perturbaties en onzekerheidsschattingen kan leren zonder extra encoding-overhead.
• Regulatie-doelstelling: De trainingsdoelstelling bevat een Kullback-Leibler (KL) divergentie-term tussen de geleerde posterieure distributie en een datagebonden prior $p_\lambda(z | \lfloor v \rfloor)$. De prior is gecentreerd rond de losgekoppelde originele waarde-toestand (met gebruik van een stop-gradient operatie) om triviale posterieure-prior collaps te voorkomen.
• Onzekerheid-geconditioneerde Weging: In het besef dat niet alle visuele tokens gelijke aandacht vereisen, introduceren de auteurs een token-wijze wegingsmechanisme. De omvang van de regulatie wordt adaptief aangepast op basis van twee factoren:
  1. Belangrijkheid: De gemiddelde aandachtsmassa die aan een token wordt toegewezen door taalcontexten.
  2. Onzekerheid: De entropie van de cross-modale aandachtverdeling.
     Tokens die onbelangrijk zijn (lage aandacht) en onzeker (hoge entropie) ontvangen sterkere regulatie, terwijl cruciale visuele details worden behouden.
• Laag-specifieke Toepassing: Experimenten wijzen uit dat het toepassen van IRA op de midden- tot laat-gelegen lagen (specifiek 60%–80% van de transformer-diepte) de beste prestaties oplevert, aangezien deze lagen een balans vinden tussen abstract redeneren en behouden visuele grondingssignalen.

Belangrijkste Bijdragen

1. Nieuw Mechanisme: Het voorstel van IRA, dat visuele representaties reguleert op het niveau van de representatie voordat ze de cross-modale aandacht ingaan, waardoor de stroom van visuele informatie tijdens volledige parameter-instructietuning expliciet wordt gecontroleerd.
2. Geometrische Inzichten: De demonstratie dat IRA de representatie-geometrie verbetert. De auteurs introduceren een kromming-metriek om neurale trajecten te analyseren, waarbij zij vaststellen dat IRA gladdere, meer lineaire trajecten produceert over de lagen, wat correleert met stabiele trainingsdynamiek en verbeterde gronding.
3. Mitigatie van Attention Sinks: De identificatie van een correlatie tussen attention sinks en representatieve kromming. Er wordt aangetoond dat IRA attention sinks onderdrukt en de ratio van tokens die excessieve, oninformatieve aandacht ontvangen, vermindert.

Resultaten
De auteurs evalueerden IRA op open-source VLM's (InternVL2, InternVL2.5 en LLaVA-OneVision) over diverse benchmarks:

• Algemene Prestaties: IRA presteerde consistent beter dan standaard Supervised Fine-Tuning (SFT) op redeneerintensieve benchmarks (bijv. MMMU, STEM, General QA) en kennisintensieve taken (OK-VQA).
• Robuustheid: De methode verbeterde de prestaties op hallucinatie-detectie benchmarks (POPE, HallusionBench) en verminderde de bias in low-level visuele taken (VLM-are-biased, VLM-are-blind).
• Generalisatie: IRA demonstreerde een betere generalisatie naar Out-of-Distribution (OOD) taken, inclus_ van multi-image begrip (MuirBench, BLINK) en video-begrip (MVBench).
• Representatie-analyse: Kwantitatieve analyse toonde aan dat IRA-modellen lagere veranderingen in kromming (rechtere trajecten) en significant verminderde attention sink-ratio's vertoonden vergeleken met SFT-baselines.
• Ablatie: Het verwijderen van de onzekerheid-gestuurde weging of de datagebonden prior leidde tot prestatievermindering, wat de noodzaak van adaptieve regulatie en verankering aan pretrained representaties bevestigt.

Betekenis en Claims
Het artikel claimt dat stochastische aandacht niet louter een regularisator is, maar een fundamentele bijdrage levert aan het leren van representaties binnen generatieve architecturen. Door de informatie die in de verborgen toestanden wordt geïnjecteerd expliciet te reguleren, pakt IRA de kernoorzaak van visuele hallucinaties en instabiliteit aan: de ongecontroleerde propagatie van ruisgevoelige visuele signalen. De auteurs stellen dat het verbeteren van de betrouwbaarheid van VLM's vereist dat men verder kijkt dan datacentrische post-training en direct de feature-representaties binnen de generatieve architectuur reguleert. Verder suggereert het werk dat aandacht niet alleen moet worden gezien als een wegingsmechanisme, maar ook als een metriek voor het evalueren van de kwaliteit van interne representaties, wat een nieuwe richting biedt voor het bouwen van meer betrouwbare en interpreteerbare multimodale systemen. De auteurs merken op dat hoewel de huidige experimenten beperkt zijn tot 8B-parameter modellen vanwege beperkingen in middelen, zij verwachten dat de bevindingen schaalbaar zijn naar grotere modellen.