Technische Samenvatting: RAVE (Herallocatie van Visuele Aandacht in Grote Multimodale Modellen)

1. Probleemstelling

Grote Multimodale Modellen (LMM's), zoals de families LLAVA en QWEN-VL, projecteren visuele kenmerken doorgaans naar de taal-tokenruimte en verwerken deze binnen een uniforme sequentie met behulp van een decoder-achtige transformer. Hoewel deze modellen effectief zijn, erven ze het zelf-attentie-mechanisme van hun vooraf getrainde taal-ruggengraat (aangeduid als "standaard aandacht") over. De auteurs identificeren dat dit overgenomen mechanisme geen expliciete regulatie biedt voor modality-specifieke toewijzing van aandacht, wat leidt tot twee primaire vormen van suboptimale benutting van visuele bewijslast:

• Cross-modale onevenwichtigheid: Visuele tokens worden als blok systematisch minder aandacht gegeven dan tekstuele tokens. Dit uit zich in het feit dat visuele tokens in diepere decoderlagen minder aandacht ontvangen en dat visuele aandacht progressief afneemt naarmate gegenereerde antwoordtokens zich ophopen (aangeduid als "visueel vergeten" of "visuele verdunning").
• Intra-visuele onevenwichtigheid: De aandacht binnen het visuele blok is ongelijkmatig verdeeld. Visueel niet-informatieve patches (bijvoorbeeld hoeken, homogene achtergronden) kunnen onevenredig veel aandacht absorberen ("visuele zinkgaten"), terwijl positionele bias (door rij-grootte-vlak maken en Rotary Position Embeddings) kan leiden tot concentratie van aandacht op specifieke ruimtelijke gebieden in plaats van op semantisch relevante inhoud.

Bestaande mitigatiestrategieën vertrouwen vaak op handgemaakte heuristieken tijdens de inferentie, vereisen architectonische herontwerpen die integratie bemoeilijken, of noodzaken tot aanvullende trainingspijplijnen met gecureerde data. Er is behoefte aan een minimalistisch, leerbare mechanisme dat contextbewuste herkalibratie van aandacht mogelijk maakt zonder de ruggengraat-architectuur te wijzigen.

2. Methodologie: RAVE

De auteurs stellen RAVE (Re-Allocating Visual Attention) voor, een lichtgewicht, paar-gating mechanisme ontworpen als een "drop-in" correctie voor standaard aandacht. RAVE werkt door een geleerde query-key bias toe te voegen aan de pre-softmax attentiescores die specifiek geassocieerd zijn met visuele keys.

Kernmechanisme

1. Bron van het gating-signaal: In tegenstelling tot methoden die kenmerken na rotatie-positiecodering (RoPE) gebruiken, haalt RAVE zijn gating-signaal uit pre-ROPE query ($\bar{Q}$) en key ($\bar{K}$) kenmerken. Deze keuze beoogt het gating-signaal te ontkoppelen van positionele verval-bias geïntroduceerd door RoPE, waardoor het mechanisme voornamelijk afhankelijk kan zijn van modality-geconditioneerde inhoudskenmerken.
2. Constructie van paar-gating: Op elke laag $\ell$ bevestigt RAVE een paar van geleerbare lineaire projecties ($W_{gq}, W_{gk}$) die gedeeld worden door alle query-koppen. Deze projecties genereren per-token scalair scores ($s_q, s_k$) uit de pre-ROPE kenmerken. Een paar-gate $G_{ij}$ wordt gevormd door het uitwendige product van deze scores, gemapt via een functie $\phi$. Dit biedt een contextbewuste correctie voor elk query-key paar.
3. Pre-softmax herkalibratie: De gate wordt additief geïnjecteerd in de attentielogits ($L_{ij}$) uitsluitend voor visuele keys:
   $$\tilde{L}_{ij} = L_{ij} + \gamma \cdot G_{ij} \cdot \mathbb{1}[j \in I_{img}]$$
   waarbij $\gamma$ de sterkte van de herkalibratie regelt en $\mathbb{1}$ een indicatorfunctie is voor visuele tokens. De herkalibreerde logits worden vervolgens via de standaard softmax geleid.
   • Deze aanpak wijzigt de concurrentie om attentiemassa voor normalisatie, waardoor dynamische herverdeling mogelijk is zowel tussen modaliteiten (cross-modaal) als binnen de set visuele tokens (intra-visueel).
4. Toepassing op gedeelte van koppen: Om te voorkomen dat de sterke taal-prioriteiten die zijn overgeërfd van de vooraf getrainde ruggengraat worden verstoord, wordt RAVE alleen toegepast op een fractie ($p$) van de query-koppen binnen elke Grouped-Query Attention (GQA)-groep. De overige koppen behouden standaard aandacht. De auteurs gebruiken $p=0.25$ in hun hoofdconfiguratie.
5. Training: RAVE wordt end-to-end getraind met de rest van het model met behulp van standaard next-token cross-entropy-verlies, zonder aanvullende supervisie of gespecialiseerde data.

3. Belangrijkste Bijdragen

• Identificatie van knelpunten: Het artikel herbeoordeelt standaard aandacht in LMM's en toont empirisch aan dat suboptimale toewijzing van visuele aandacht (zowel cross-modale verdunning als intra-visuele onevenwichtigheid) een cruciaal knelpunt is voor effectieve visuele grounding.
• RAVE-mechanisme: De voorstelling van een lichtgewicht, architectuurbehoudend paar-gating mechanisme dat pre-softmax attentiescores over visuele keys moduleert met verwaarloosbare parameter-overhead.
• Empirische validatie: Aantonen dat RAVE consequent prestaties verbetert over een breed scala aan multimodale benchmarks, met een gemiddelde winst van ongeveer 3 punten ten opzichte van standaard aandacht, met name sterke resultaten op perceptie-intensieve taken.

4. Experimentele Resultaten

De auteurs evalueerden RAVE op een diverse reeks benchmarks met behulp van Mistral-v0.3-7B en Gemma-2-9B ruggengraten, in vergelijking met Standaard Aandacht en D-Attn (een methode die attentiepaden decomposeert).

• Perceptie-intensieve taken: RAVE toonde de meest significante verbeteringen in taken die fijne visuele grounding vereisen, waaronder meertalige OCR (MTVQA, OCRBench), grafiekbegrip (ChartQA), document VQA (DocVQA) en tekstrijke VQA (InfoVQA, TextVQA). Bijvoorbeeld, op de Mistral-ruggengraat verbeterde RAVE het perceptiegemiddelde van 25,05 (Standaard) naar 25,93, met opmerkelijke winsten in MTVQA (9,50 vs 6,51) en DocVQA (43,55 vs 35,85).
• Redenerings-/kenniszware taken: Op benchmarks zoals MathVista, MMMU en MMMU-Pro bleef RAVE concurrerend, met verbetering ten opzichte van Standaard Aandacht op de Mistral-ruggengraat en vergelijkbare prestaties met D-Attn op Gemma-2-9B. Dit suggereert dat RAVE de toewijzing van visuele bewijslast verbetert zonder de overgeërfde redeneercapaciteiten substantieel te verstoren.
• Ablatiestudies:
  • Locatie: Pre-softmax additieve herkalibratie bleek effectiever dan post-softmax of multiplicatieve vormen.
  • Verhouding koppen: Een verhouding van gedeeltelijke koppen van $p=0.25$ leverde de beste balans op tussen corrigerend vermogen en behoud van taal-prioriteiten; het verhogen van de verhouding leverde geen verdere winst op.
  • Toepassingsfase: Het toepassen van RAVE tijdens zowel prefill als decoding presteerde beter dan alleen toepassing tijdens decoding, wat wijst op het belang van herkalibratie van vraag-naar-visuele aandacht tijdens de initiële constructie van representaties.

5. Betekenis en Claims

Het artikel stelt dat RAVE een minimalistisch, drop-in mechanisme biedt dat contextbewuste herkalibratie van attentietoewijzing mogelijk maakt, terwijl het natiu compatibel blijft met standaard trainings- en inferentieworkflows.

• Correctie op mechanisniveau: In tegenstelling tot methoden die ingrijpen tijdens de inferentie met handgemaakte regels of architectonische herontwerpen vereisen, biedt RAVE een leerbare, end-to-end trainbare oplossing die direct de concurrentie om attentiemassa aanpakt.
• Dubbel voordeel: Door te opereren op pre-softmax scores voor visuele keys, adresseert RAVE tegelijkertijd cross-modale misallocatie (zorgend dat visuele tokens niet onder-aandacht krijgen) en intra-visuele onevenwichtigheid (herverdelen van aandacht weg van niet-informatieve "zinkgaten").
• Bescheidenheid: De auteurs erkennen beperkingen, met name dat experimenten zijn uitgevoerd op instructie-getuned LMM's gebouwd op vooraf getrainde taal-ruggengraten in plaats van modellen die vanaf nul zijn getraind. Bovendien vertrouwt de huidige implementatie op SDPA en is deze nog niet geïntegreerd met FlashAttention-achtige kernels, wat de efficiëntie kan beïnvloeden.

Kortom, RAVE toont aan dat expliciete, geleerde regulatie van visuele aandacht binnen de native attentie-operator een effectieve strategie is voor het verbeteren van de benutting van visuele bewijslast in decoder-only LMM's, met name voor taken die precieze visuele grounding vereisen.