💻 computer science

Learning to See What You Need: Gaze Attention for Multimodal Large Language Models

Dit artikel introduceert Gaze Attention, een nieuw mechanisme voor multimodale grote taalmodellen dat dynamisch taakrelevante visuele regio's selecteert tijdens de generatie om de rekenkundige overhead aanzienlijk te verminderen terwijl de prestaties behouden of verbeterd worden door het gebruik van leerbare contexttokens.

Oorspronkelijke auteurs: Junha Song, Byeongho Heo, Geonmo Gu, Jaegul Choo, Dongyoon Han, Sangdoo Yun

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junha Song, Byeongho Heo, Geonmo Gu, Jaegul Choo, Dongyoon Han, Sangdoo Yun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Overweldigde Bibliothecaris"

Stel je een multimodaal Groot Taalmodel (MLLM) voor als een superslimme bibliothecaris die probeert een foto voor je te beschrijven. Op dit moment, wanneer deze bibliothecaris naar een foto kijkt, probeert hij elk enkel woord te lezen dat op elke enkele pagina van een enorme encyclopedie staat die die foto voorstelt.

Zelfs als je alleen vraagt: "Wat doet de hond?", scant de bibliothecaris nog steeds wanhopig het hele boek, inclusief pagina's over de lucht, het gras en een kat in de hoek. Dit heet dichte aandacht (dense attention). Het is inefficiënt, verspilt veel energie (rekenkracht) en kan de focus van de bibliothecaris eigenlijk "verwateren" of verspreiden, omdat hij probeert te veel irrelevante informatie tegelijk te verwerken.

Mensen doen dit niet. Wanneer we een scène beschrijven, verplaatsen onze ogen zich natuurlijk (of "kijken") naar het specifieke deel waar we over praten. Als we het over de hond hebben, kijken we naar de hond. Als we het over de kat hebben, kijken we naar de kat. We staren niet met gelijke intensiteit naar de hele kamer.

De Oplossing: "Gaze Attention" (Blik-Aandacht)

De auteurs van dit paper hebben een nieuw systeem bedacht dat Gaze Attention heet. Denk hierbij aan het leren aan de bibliothecaris om meer als een mens met een zaklamp te handelen.

In plaats van het hele boek te lezen, doet de bibliothecaris nu het volgende:

Verdeelt het boek in hoofdstukken: De afbeelding wordt opgesplitst in kleine, hanteerbare stukken (zogenaamde "blik-regio's").
Maakt een "Cliff's Notes"-samenvatting: Voor elk hoofdstuk schrijft de bibliothecaris een klein, lichtgewicht samenvattingskaartje (een "beschrijver") waarin staat waar dat deel van de afbeelding over gaat.
Schijnt met de zaklamp: Wanneer het model het volgende woord moet genereren (zoals "hond"), controleert het snel de samenvattingskaartjes, kiest het degene die overeenkomt met "hond", en leest alleen de details uit dat specifieke hoofdstuk. Het negeert de rest van het boek voor dat moment.

Dit gebeurt dynamisch. Als de zin verandert van "De hond rent" naar "De kat slaapt", verplaatst het model direct zijn "zaklamp" naar het hoofdstuk van de kat.

Het Veiligheidsnet: "Context Tokens"

Er was een zorg: als de bibliothecaris alleen kijkt naar het specifieke hoofdstuk over de hond, vergeet hij dan misschien de algemene sfeer van de hele kamer?

Om dit op te lossen, hebben de auteurs een paar speciale "Context Tokens" toegevoegd. Stel je deze voor als een panoramafoto van de hele kamer die op het bureau van de bibliothecaris is geplakt. Zelfs wanneer de bibliothecaris inzoomt op de hond, kan hij nog steeds een blik werpen op deze panoramafoto om zich te herinneren: "Ah ja, dit is een parkscène." Dit zorgt ervoor dat het model een "grootbeeld"-bewustzijn behoudt zonder elke enkele detail van de hele afbeelding elke keer te hoeven lezen.

De Resultaten: Sneller, Slimmer en Goedkoper

Het paper testte deze nieuwe methode op veel verschillende taken, variërend van het beantwoorden van vragen over enkele foto's tot het begrijpen van lange video's.

Efficiëntie: Het model behaalde dezelfde (of betere) resultaten als de oude "lees alles"-methode, maar gebruikte tot wel 90% minder visuele tokens om dit te doen. Het is alsof je een boekverslag maakt door alleen de relevante hoofdstukken te lezen in plaats van de hele roman.
Focus: Toen de onderzoekers keken waar het model naar keek, zagen ze dat het zeer gefocust en precies was, net als menselijke oogbewegingen. De oude methode leek op een wazige, verspreide rommel.
Video: Dit was vooral nuttig voor video's. In plaats van te proberen elk frame van een lange film te onthouden, leerde het model om te springen naar de specifieke frames en plekken waar de actie plaatsvond.

Wat het Paper Niet Beweert

Het is belangrijk op te merken wat dit paper niet zegt:

Het beweert niet dat het model nu in menselijke zin kan "zien" of bewustzijn heeft.
Het beweert niet dat dit direct zal worden gebruikt in medische diagnose of zelfrijdende auto's (hoewel het daar in de toekomst nuttig zou kunnen zijn; het paper test het alleen op standaard benchmarks voor het beantwoorden van vragen over afbeeldingen en video's).
Het zegt niet dat het model perfect is; de auteurs geven toe dat als de "hoofdstukken" (regio's) op een manier worden opgesplitst die een object in tweeën deelt, het systeem in de war kan raken.

Samenvatting

Kortom, Gaze Attention leert AI-modellen om te stoppen met leeg naar het hele plaatje te staren en te beginnen met kijken waar ze eigenlijk naar moeten kijken. Door na te bootsen hoe mensen hun blik verplaatsen, worden de modellen sneller, gebruiken ze minder rekenkracht en kunnen ze scènes nauwkeuriger beschrijven door zich te focussen op de details die op dat exacte moment belangrijk zijn.

Technische Samenvatting: Gaze Attention voor Multimodale Grootte Taalmodellen

Probleemstelling

Huidige Multimodale Grootte Taalmodellen (MLLM's) verwerken visuele invoer door op elk generatiestap uniform naar alle visuele tokens te letten. Dit mechanisme van "dichte aandacht" leidt tot twee hoofdzaken:

Verwaterde Focus: Het model verwerkt irrelevante visuele gebieden naast taakrelevante gebieden, waardoor het de selectieve aard van menselijke visuele waarneming niet nabootst, waarbij de blik dynamisch verschuift om te fixeren op gebieden die relevant zijn voor de beoogde beschrijving.
Rekenkundige Overhead: Het letten op de volledige reeks visuele tokens (die massaal kan zijn bij hoge-resolutie afbeeldingen of lange video's) creëert aanzienlijke rekenkundige en geheugenbelastingen, met name in de Key-Value (KV) cache.

Bestaande benaderingen om dit te mitigeren, zoals tokencompressie of KV-cache-verwijdering, bepalen doorgaans welke visuele informatie bewaard moet worden voordat de generatie begint (bijvoorbeeld op basis van een eenmalige relevantieschatting vanuit de invoervraag). Deze statische methoden verwerpen vaak fijne details of falen in aanpassing wanneer latere generatiestappen informatie vereisen uit verschillende, eerder verworpen gebieden. Ze missen het vermogen om dynamisch visuele gebieden te selecteren bij elke decodestap.

Methodologie: Gaze Attention

De auteurs stellen Gaze Attention voor, een mechanisme dat MLLM's in staat stelt om tijdens het generatieproces dynamisch selectief te letten op taakrelevante visuele gebieden. De methode bestaat uit drie kerncomponenten:

1. Gaze-gebieden en Descriptoren

In plaats van visuele tokens als een platte reeks te behandelen, groepeert de methode visuele sleutelvectoren (uit de KV-cache) ruimtelijk in compacte gaze-gebieden.

Partitie: Visuele sleutels worden herschikt naar hun oorspronkelijke ruimtelijke (en temporele, voor video) lay-out en gepartitioneerd in gebieden van grootte $r_h \times r_w \times r_t$ .
Descriptoren: Elk gebied wordt samengevat door een lichtgewicht descriptor ( $d_g$ ), verkregen via mean-pooling van de sleutelvectoren binnen dat gebied. Dit reduceert de kandidaatset van de volledige tokenreeks naar het gebiedsniveau.
Dynamische Routing: Bij elke decodestap $j$ berekent het query-token $q_j$ similariteitsscores met alle gebiedsdescriptoren. Het model selecteert de top- $K$ meest relevante gebieden ( $G_j$ ) en beperkt het aandachtsmechanisme om alleen te letten op de key-value paren binnen deze geselecteerde gebieden.
Stabiliteit: Om trainingsinstabiliteit inherent aan het leren van spaarzame aandacht vanaf nul aan te pakken, wordt een progressieve Top-K-schedule toegepast. De training begint met een dichte instelling (alle gebieden selecteren) en vermindert $K$ geleidelijk naarmate de training vordert, waardoor het model discriminerende routing-signalen kan leren zonder gedwongen te worden tot voortijdige spaarzame beslissingen.

2. Leerbare Contexttokens

Om verlies van globale scenesinformatie veroorzaakt door gelokaliseerde aandacht te voorkomen, introduceren de auteurs leerbare contexttokens.

Een kleine set leerbare tokens wordt toegevoegd aan elke afbeelding of videoframe bij de LLM-invoer.
Deze tokens vormen compacte samenvattingsleutels ( $K_C$ ) die zichtbaar blijven tijdens het gehele generatieproces, ongeacht welke specifieke gaze-gebieden worden geselecteerd.
Dit zorgt ervoor dat het model een holistische visuele bewustwording (globale context) behoudt terwijl het fijne, selectieve aandacht toepast op lokale gebieden, analoog aan hoe mensen een scène als geheel waarnemen voordat ze zich focussen op details.

3. Unificatie van Aandachtsformulering

Het definitieve aandachtsmechanisme combineert drie bronnen van Key-Value-paren voor een gegeven query:

Teksttokens.
Globale contexttokens ( $K_C$ ).
Visuele tokens uit de dynamisch geselecteerde gaze-gebieden ( $K_{selected}$ ).

Deze formulering stelt het model in staat om linguïstische coherentie en globale visuele bewustwording te behouden, terwijl het het grootste deel van zijn visuele rekenbudget toewijst aan taakrelevante gebieden.

Belangrijkste Bijdragen

Dynamische Selectieve Aandacht: In tegenstelling tot eerdere methoden die visuele aandacht vastleggen op basis van vooraf berekende importantiescores, routeert Gaze Attention queries naar relevante gebieden bij elke generatiestap, zich aanpassend aan de evoluerende behoeften van de gegenereerde tekst.
Efficiëntie zonder Globaal Verlies: De methode bereikt aanzienlijke rekenkundige besparingen door aandacht te beperken tot een subset van gebieden, terwijl de globale context wordt behouden via leerbare tokens, waardoor het "vervagen" of "verwerpen" van details dat gebruikelijk is bij tokencompressie of statische verwijderingsmethoden wordt vermeden.
Emergent Gaze-gedrag: Het model leert zijn "blik" te verschuiven om overeen te komen met het onderwerp van het gegenereerde token (bijvoorbeeld focussen op een hond bij het genereren van het woord "hond") uitsluitend via next-token-predictie, zonder expliciete gaze-supervisie.

Resultaten

De auteurs evalueerden Gaze Attention op 13 beeld- en 6 video-interpretatie-benchmarks, waarbij ze het vergeleken met baselines voor dichte aandacht en bestaande KV-cache-verwijderingsmethoden (zoals InfiniPot-V, HERMES).

Prestaties: Gaze Attention komt overeen met of overtreft baselines voor dichte aandacht over alle benchmarks. In sommige gevallen presteert het beter dan baselines, zelfs met aanzienlijk verkleinde KV-cache-groottes.
Efficiëntie: De methode vermindert het aantal visuele KV-entries dat betrokken is bij de aandachtsberekening met maximaal 90%.
- Bij beeldtaken behoudt het de prestaties met slechts ongeveer 16% van de FLOPs voor dichte aandacht.
- Bij videotaken overtreft het baselines voor dichte aandacht die zijn beperkt tot hetzelfde KV-budget.
Vergelijking met Verwijderingsmethoden: Bestaande verwijderingsmethoden (InfiniPot-V, HERMES) lijden onder aanzienlijke prestatiedalingen bij agressieve verkleining van de KV-cache-grootte, met name in settings met één afbeelding, omdat ze hun selectie niet kunnen aanpassen zodra de generatie begint. Gaze Attention blijft robuust onder vergelijkbare of agressievere compressie.
Visualisatie: Visualisaties van aandachtskaarten bevestigen dat Gaze Attention geconcentreerde, interpreteerbare aandachtspatronen produceert die gericht zijn op relevante objecten, terwijl dichte aandacht diffuse, ambiguïteitspatronen oplevert.

Betekenis en Claims

Het artikel beweert dat het mogelijk maken voor MLLM's om selectief te letten op relevante visuele gebieden een veelbelovend alternatief is voor dichte aandacht. Door menselijk gaze-gedrag na te bootsen—dynamisch verschuiven van focus op basis van de huidige generatiestap—biedt Gaze Attention een weg naar:

Rekenkundige Kosten Verminderen: Aanzienlijke verlaging van FLOPs en geheugengebruik (tot ongeveer 80% reductie in aandachts-FLOPs en ongeveer 80% in KV-cache-geheugen) zonder in te leveren op prestaties.
Interpreteerbaarheid Verbeteren: Het genereren van geconcentreerde aandachtskaarten die overeenkomen met de semantische inhoud van de gegenereerde tekst.
Aanpasbaarheid Versterken: Het toestaan aan modellen om op verschillende stadia van generatie toegang te krijgen tot verschillende visuele details, waardoor de beperkingen van statische, vooraf berekende visuele selectie worden overwonnen.

De auteurs merken op dat deze aanpak de kloof overbrugt tussen efficiënte aandachtsmechanismen (doorgaans bestudeerd voor tekst) en selectieve visuele aandacht voor multimodale interpretatie, en aantoont dat hoge prestaties kunnen worden bereikt met een fractie van de verwerkte visuele context.