Technische Samenvatting: Grote Visueel-Taalmodellen Verdwalen in Aandacht

1. Probleemstelling

Ondanks snelle vooruitgang in trainingsparadigma's, blijven de decoder-ruggengraten van Grote Visueel-Taalmodellen (LVLM's) fundamenteel geworteld in de Transformer-architectuur met residu-verbindingen. Hoewel eerdere interpretabelheidswerkzaamheden statistische inzichten hebben geboden in modulefuncties (bijv. aandacht als contextafhankelijk redeneren en Feed-Forward Netwerken (FFN's) als key-value geheugens), missen deze benaderingen vaak een verenigd theoretisch fundament om expliciet te contrasteren hoe verschillende submodules bijdragen aan de representatiestructuur in multimodale settings.

Specifiek hebben empirische analyses fenomenen zoals "visuele aandachtssinks" en "aandachtsdrift" aan het licht gebracht, wat suggereert dat LVLM's vaak te weinig aandacht toekennen aan informatieve visuele bewijzen. Er ontbreekt echter een perspectief: een principieel kader dat de geometrische en entropische aard van residu-updates kan kwantificeren om te bepalen of modules semantische innovatie voortstuwen of slechts bestaande informatie herconfigureren. Deze kloof motiveert de vraag of huidige LVLM's visuele context efficiënt benutten of dat ze lijden aan ernstige misallocatie en redundantie in hun aandachtsmechanismen.

2. Methodologie

De auteurs stellen een verenigd kader voor dat is geworteld in informationstheorie en differentiaalmeetkunde om functionele bijdragen op module-niveau binnen de residustroom van LVLM's te kwantificeren en te contrasteren.

Theoretisch Kader

Door de manifold-hypothese te adopteren, formaliseren de auteurs de informatie die is opgesloten in een representatiematrix $X \in \mathbb{R}^{S \times H}$ (waarbij $S$ de tokenlengte is en $H$ de verborgen grootte) als een paar $\mathcal{I}(X) = (\mathcal{S}_X, \mathcal{D}_X)$:

• Informatiecomplexiteit ($\mathcal{S}_X$): Gekwantificeerd door de effectieve rang (eRank) van het spectrale spectrum, wat de schaal van de representatie vertegenwoordigt.
• Informatieondersteuning ($\mathcal{D}_X$): Gedefinieerd door de linker- en rechter singuliere deelruimten (Grassmann-punten), wat de semantische richtingen en token-afhankelijkheden vertegenwoordigt.

Om de bijdrage van een residu-update $\Delta X$ (waarbij $X' = X + \Delta X$) te meten, introduceert het kader twee complementaire metrieken:

1. Representatie Informatie Discrepantie (RID): Meet innovatie. Het kwantificeert externe informatie-injectie door de verandering in spectrale complexiteit ($\Delta \mathcal{S}$) en de nieuwigheid van de deelruimte-ondersteuning ($\Delta \mathcal{D}$) op te tellen. Een hoge RID geeft aan dat de update de semantische deelruimte uitbreidt of de spectrale complexiteit verandert.
2. Mixing Informatiewinst (MixIG): Meet reconfiguratie. Het kwantificeert de verandering in Token Mixing Entropie (TME), wat vastlegt hoe breed tokens interageren en informatie herverdelen binnen de bestaande ondersteuning. Een hoge MixIG geeft aanzienlijke interne herorganisatie aan zonder noodzakelijkerwijs nieuwe semantische richtingen in te brengen.

Experimenteel Protocol

Het kader werd toegepast op 15 state-of-the-art LVLM's die drie dominante architecturen bestrijken (Qwen-familie, LLaVA-1.5-familie en LLaVA-NeXT-familie) over een brede reeks multimodale benchmarks (waaronder POPE, 3DSRBench, MMMU en HallusionBench).

De studie hanteerde drie vergelijkende settings:

• Stochastische Baselines: Het vervangen van aandachtsupdates door Gaussisch ruis (die empirische momenten matcht) of het randomiseren van QKV-weights om de gevoeligheid van de metriek te valideren tegen ongestructureerde verstoringen.
• Module-attributie: Het volgen van de evolutie van RID en MixIG over lagen om de specifieke bijdragen van Aandacht- en FFN-modules te isoleren.
• Interventie (Gedeelde Aandachtsprior - SAP): Het vervangen van geleerde aandachtscores in geselecteerde lagen door vooraf gedefinieerde priors (aandachtskaarten van de visuele encoder, prioriteiten voor patch-complexiteit of Gaussisch ruis) om de functionele noodzaak van geleerde aandachtsweights te testen.

3. Belangrijkste Bijdragen

• Theoretisch Kader: Het artikel vestigt een rigoureus formalisme gebaseerd op de manifold-hypothese om representatieve informatie te definiëren. Het introduceert RID en MixIG als duale metrieken om de geometrische (innovatie) en entropische (reconfiguratie) impacten van residu-updates te kwantificeren, en biedt een gegeneraliseerd instrument om representatiedynamica te onderzoeken die verder gaat dan eenvoudige attributie.
• Interpretabelheid op Module-niveau: De studie biedt een kwantitatieve verklaring voor de onderscheiden rollen binnen Transformer-blokken. Het toont aan dat Aandacht en FFN's opereren in orthogonale regimes:
  • Aandacht fungeert als een deelruimtebehoudende operator, die hoge reconfiguratie (hoge MixIG) maar lage innovatie (lage RID) uitvoert. Het reorganiseert voornamelijk bestaande informatie.
  • FFN's fungeren als deelruimte-uitbreidende operators, die semantische innovatie (hoge RID) voortstuwen met zwakke reconfiguratie (lage MixIG).
• Empirische Diagnostiek: Het onderzoek bloot kritieke inefficiënties in LVLM-ontwerpen. Het onthult dat decoder-visuele aandacht vaak faalt om betekenisvolle mixing uit te voeren over visueel bewijs dat relevant is voor de vraag, waarbij aanzienlijke redundantie optreedt.

4. Resultaten

• Functionele Ontkoppeling: Over 15 LVLM-varianten heen ontstond een consistente scheiding. Aandachtsupdates vertoonden verwaarloosbare innovatie (in de orde van grootte van de tolerantie $\epsilon_{RoPE}$) maar sterke reconfiguratie. Omgekeerd vertoonden FFN-updates aanzienlijke innovatie met zwakke reconfiguratie. Dit valideert een scherpe arbeidsverdeling waarbij aandacht bestaande informatie contextueert terwijl FFN's nieuwe semantische kenmerken berekenen.
• Misallocatie in Visuele Aandacht: Lagen-gewijze analyse toonde aan dat cross-token-interacties in de meeste lagen spaarzaam blijven. Visuele aandacht faalt vaak om interactie toe te wijzen aan regio's die relevant zijn voor de vraag. In foutieve samples was de "key-region degree ratio" (interactiemassa die wordt doorgestuurd naar relevant visueel bewijs) significant lager (4,2%) in vergelijking met correcte samples (13,1%).
• Redundantie van Geleerde Aandacht: In de SAP-interventie-experimenten leverde het vervangen van geleerde aandachtscores door vooraf gedefinieerde waarden (bijv. Gaussisch ruis, kaarten van de visuele encoder of prioriteiten voor patch-complexiteit) in geselecteerde lagen vergelijkbare of zelfs superieure prestaties op over de meerderheid van de datasets ten opzichte van vanilla-modellen. Bijvoorbeeld, in Qwen-2.5-VL en LLaVA-1.5-varianten leidde het vervangen van aandacht door ruis in specifieke lagenreeksen niet tot degradatie van de prestaties, en in sommige gevallen verbeterde het deze.

5. Betekenis en Claims

Het artikel claimt dat huidige state-of-the-art LVLM's effectief "verdwalen in aandacht". De bevindingen suggereren dat de integratie van visuele tokens vaak computationeel duur is maar informatief spaarzaam, waarbij een groot deel van de visuele-aandachtsscorering functioneel onnodig is.

De betekenis van dit werk ligt in:

1. Verschuiving van het Diagnostisch Perspectief: Van het identificeren van wat voor functies er bestaan (bijv. specifieke kop-functionaliteiten) naar het diagnosticeren van wat onvoldoende of overmatig is in de residu-update zelf (innovatie versus reconfiguratie).
2. Uitdagen van Architecturale Aannames: De resultaten bloot ernstige misallocatie en redundantie, wat suggereert dat de kwadratische computatiekosten van standaard self-attention in LVLM-decoders mogelijk niet volledig worden gerechtvaardigd door de informatiestroom die deze biedt.
3. Toekomstige Optimalisatie: Het werk motiveert gerichte, op aandacht gerichte optimalisaties, zoals het ontwerpen van efficiëntere aandachtsmechanismen of regularizers die nuttige mixing behouden terwijl onnodige scorering wordt verminderd, wat potentieel leidt tot efficiëntere LVLM-architecturen.

De auteurs concluderen dat hun kader LVLM-residu-updates omzet in meetbare innovatie-reconfiguratie-dynamica, en bewijs levert dat de huidige afhankelijkheid van geleerde aandachtscores voor visuele contextintegratie vaak redundant is.