💻 computer science

Attention Alignment Between Humans and Vision-Language Models

Deze studie onthult dat hoewel LSTM-gebaseerde decoders in visie-taalmodellen een superieure uitlijning met menselijke ruimtelijke aandacht bereiken vergeleken met Transformer-decoders, laatere scherpere ruimtelijke concentratie en betere taakdifferentiatie vertonen, waarbij een afruil ontstaat waarbij modellen met een lagere fixatie-uitlijning (CNN-Transformers) de synthetische neurale activiteit in de vroege visuele cortex beter voorspellen.

Oorspronkelijke auteurs: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Gepubliceerd 2026-06-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om naar een foto te kijken zoals een mens dat doet. Je wilt dat de ogen van de robot op dezelfde plekken landen als wanneer een persoon naar een foto van een drukke straat of een familie bijeenkomst kijkt.

Dit artikel is als een wetenschappelijk experiment waarbij onderzoekers verschillende soorten "robotbreinen" hebben gebouwd om te zien welke het meest op een mens lijkt. Ze hebben niet zomaar één gebouwd; ze hebben een hele familie van robots gebouwd door onderdelen te mixen en te matchen, zoals het uitwisselen van de cameralens (de Encoder) en het deel van het brein dat beslist waar de focus moet liggen (de Decoder).

Hier is de uitslag van hun bevindingen, met behulp van eenvoudige analogieën:

1. De twee belangrijkste onderdelen van de robot

Beschouw het visiesysteem van de robot als een camera en een regisseur:

De Encoder (De Camera): Dit is het deel dat de foto neemt en in stukjes opbreekt. De onderzoekers testten twee soorten:
- CNN (De Lokale Scanner): Zoals een persoon die naar een foto kijkt door telkens naar een klein vierkantje te kijken, waarbij details zoals randen en texturen worden opgemerkt.
- ViT (De Globale Glancer): Zoals een persoon die een stap terug doet om het hele plaatje in één keer te zien, en direct het grote plaatje begrijpt.
De Decoder (De Regisseur): Dit is het deel dat beslist: "Oké, nu ik de foto zie, wat moet ik zeggen en waar moet ik vervolgens naar kijken?" Ze testten twee soorten:
- LSTM (De Single-Threaded Regisseur): Deze regisseur probeert alle visuele informatie in één hand te houden en deze in een enkel "focuspunt" te persen voor elk woord dat hij spreekt.
- Transformer (Het Team van Regisseurs): Deze regisseur heeft een team van specialisten (genaamd "heads") die allemaal tegelijkertijd naar de foto kijken, waarbij elk zich op een ander aspect concentreert.

2. De Grote Ontdekking: De Regisseur is Belangrijker dan de Camera

De onderzoekers ontdekten dat wie de show regisseert veel belangrijker is dan wat voor soort camera wordt gebruikt.

De "LSTM-Regisseur" (Single-Threaded): Deze robot was het beste in het nabootsen van menselijke oogbewegingen. Wanneer mensen naar een foto keken, leek de aandachtkaart van deze robot erg veel op waar mensen naar keken. Hij bereikte ongeveer 85–87% van een perfecte menselijke match.
- Het nadeel: Hoewel hij naar de juiste plekken keek, was hij een beetje "slordig". Zijn aandacht was verspreid als een brede, wazige spotlight. Hij zoomde niet scherp in op specifieke details en veranderde zijn focus niet veel, of de taak nu was om "de scène te beschrijven" of om te "raden waar de persoon naar kijkt".
De "Transformer-Regisseur" (Team van Specialisten): Deze robot was scherper en nauwkeuriger. Hij kon zijn aandacht strak richten op specifieke plekken, net als een laserstraal. Hij veranderde ook drastisch van focus afhankelijk van de taak (bijv. kijken naar een gezicht voor een sociale taak versus kijken naar de hele kamer voor een beschrijving).
- Het nadeel: Ondanks dat hij scherper was, was hij veel minder goed in het matchen van menselijke oogbewegingen. Hij bereikte slechts ongeveer 40–59% van de menselijke match. Hij keek wel naar het juiste soort plekken, maar niet naar de exacte plekken die mensen kozen.

Het oordeel: Als je een robot wilt die precies naar de plekken kijkt waar een mens dat doet, wil je de "LSTM-Regisseur". Als je een robot wilt die nauwkeurig en aanpasbaar is, maar naar andere plekken kijkt dan mensen, wil je de "Transformer-Regisseur".

3. De "Camera" Helpt Toch

Hoewel de Regisseur het belangrijkste deel was, maakte de Camera nog steeds een verschil.

De CNN-Camera (de lokale scanner) hielp de robot consequent om meer op een mens te lijken dan de ViT-Camera (de globale glancer).
De beste combinatie overall was de CNN-Camera gecombineerd met de LSTM-Regisseur. Deze robot kwam het dichtst bij menselijk gedrag en bereikte bijna 87% van de menselijke limiet.

4. De "Hersendamage" Test

Om te zien hoe robuust deze robots waren, simuleerden de onderzoekers een "hersenbeschadiging" door de linkerkant van het gezichtsveld van de robot af te sluiten (zoals een conditie genaamd hemispatiale neglect, waarbij mensen een kant van de ruimte negeren).

De Transformer-robots (het team van regisseurs) waren zeer veerkrachtig. Zelfs wanneer een deel van hun zicht werd geblokkeerd, konden ze nog steeds zin krijgen in de foto omdat hun teamleden de last konden delen.
De LSTM-robots (de single-threaded regisseur) hadden meer moeite. Omdat ze vertrouwden op één grote "samenvatting" van het beeld, deed het blokkeren van een deel van het zicht hen meer kwaad.

5. De Verrassing: Kijken versus Denken

Ten slotte stelden de onderzoekers een lastige vraag: "Denkt een robot die naar een mens kijkt ook als een mens?"

Ze gebruikten een speciaal hulpmiddel om te simuleren hoe een menselijk brein zou reageren op de foto's waar de robots naar keken.

De verrassing: De robot die het meest op een mens leek (de LSTM) was niet degene die de hersenactiviteit het beste voorspelde.
In plaats daarvan was de CNN-Transformer robot (die minder op een mens leek) eigenlijk beter in het voorspellen van welke delen van de hersenen zouden oplichten.
Wat dit betekent: Er is een verschil tussen "waar we kijken" (gedrag) en "hoe ons brein een afbeelding verwerkt" (neurale activiteit). Een robot kan een foto op een menselijke manier bekijken, maar de informatie op een niet-menselijke manier verwerken, en vice versa.

Samenvatting

Om als een mens te kijken: Gebruik een "Lokale Scanner" camera (CNN) met een "Single-Threaded" regisseur (LSTM). Het is een beetje wazig, maar raakt de juiste plekken.
Om scherp en aanpasbaar te zijn: Gebruik een "Globale Glancer" camera (ViT) met een "Team van Regisseurs" (Transformer). Het is nauwkeurig, maar kijkt naar andere plekken dan mensen.
De les: Alleen omdat een robot ogen heeft die bewegen als die van een mens, betekent niet dat zijn brein werkt als dat van een mens. De twee zaken zijn gerelateerd, maar ze zijn niet hetzelfde.

Technische Samenvatting: Attention Alignment tussen Mensen en Vision-Language Modellen

Probleemstelling

Visuele perceptie wordt gestuurd door de wisselwerking tussen bottom-up sensorische mechanismen en top-down doelen. Hoewel Vision-Language Modellen (VLM's) beide componenten implementeren, blijft het onduidelijk hoe specifieke architecturale keuzes in de encoder (bottom-up) en decoder (top-down) de uitlijning van model-aandacht met menselijke visuele fixatie vormen. Voorgaand onderzoek heeft zich grotendeels gericht op bottom-up saliëntie of heeft de trainingsdistributie als primaire drijfveer voor uitlijning beschouwd, waarbij vaak is nagelaten hoe architecturale biases onafhankelijk en gezamenlijk invloed hebben op top-down aandachtmechanismen. Deze studie beoogt deze bijdragen te onderscheiden door systematisch encoder- en decoderarchitecturen te variëren terwijl de trainingsdata constant wordt gehouden, met de vraag of specifieke architecturale configuraties aandachtskaarten produceren die menselijke ruimtelijke selectie en taakanpassing beter nabootsen.

Methodologie

Experimenteel Ontwerp

De auteurs hanteerden een $2 \times 2$ factorieel ontwerp om vier beeldbeschrijvingsmodellen te trainen, waarbij de effecten van encoder- en decoderfamilies werden geïsoleerd:

Encoders: ResNet-101 (CNN) vs. ViT-B/16 (Vision Transformer).
Decoders: LSTM met additieve zachte aandacht (soft attention) vs. 4-laagse Transformer met multi-head cross-attention.
Baseline Modellen: Twee state-of-the-art VLM's (Molmo 7B-D en Qwen3.5 9B) werden geëvalueerd zonder fine-tuning.

Data en Taken

Stimuli: 200 natuurlijke afbeeldingen uit de COCO 2017 validatieset.
Menselijke Data: Oogbewegingen werden opgenomen van 49 participanten met behulp van een EyeLink 1000 Plus (2000 Hz) tijdens twee verschillende taken:
1. Beschrijf-taak (Describe Task): Algemene scènebeschrijving.
2. Sociale Taak (Social Task): Het afleiden van de aandachtstoestand van een specifieke actor binnen de scène.
Ground Truth: Menselijke fixatie-heatmaps werden gegenereerd door gaze-samples te convolueren met een Gaussische kernel en te downsamplen naar $256 \times 256$ .

Trainingsprotocol

Alle vier de aangepaste modellen ondergingen een consistent vierfasen-curriculum:

Pretraining: Decoder getraind op COCO 2014 bijschriften (encoder bevroren).
Fine-tuning (Describe): Encoder ontdooid; getraind op COCO 2014.
Fine-tuning (Social): Encoder onttooid; getraind op een in het lab verzamelde sociale bijschrift-dataset.
Evaluatie: Aandachtskaarten werden geëxtraheerd en vergeleken met menselijke heatmaps voor de corresponderende taak.

Evaluatiemetrieken

Fixatie-uitlijning (Fixation Alignment): Spearman-correlatie tussen model-aandachtskaarten en menselijke fixatie-heatmaps, genormaliseerd tegen de mens-mens ruisplafond (noise ceiling).
Ruimtelijke Verspreiding (Spatial Spread): Genormaliseerde Shannon-entropie om de diffusiteit van aandacht te meten (concentratie vs. distributie).
Taakanpassing (Task Adaptation): Correlatie tussen aandachtskaarten gegenereerd voor de Sociale taak versus de Describe taak om taakspecifieke herconfiguratie te beoordelen.
Robuustheid (Robustness): Simulatie van hemispatiale neglect via progressieve ablatie van het linkerzijdig ruimtelijk rooster (7% tot 100%) om de degradatie van bijschriften te meten.
Neurale Voorspelling (Neural Prediction): Een banded ridge encoding model voorspelde TRIBE-gesimuleerde fMRI-responsen met behulp van model-aandachtskaarten ("waar") en CLIP-embeddings ("wat"). Variantiepartitionering werd gebruikt om unieke en gedeelde bijdragen te isoleren.

Belangrijkste Resultaten

1. Decoder Architectuur Domineert Uitlijning

De keuze van de decoder was de primaire voorspeller van uitlijning met menselijke fixaties, wat een verschil van 40–50 procentpunten verklaart:

LSTM Decoders: Bereikten de hoogste uitlijning, met 80–87% van het menselijke ruisplafond (bijv. CNN-LSTM: 85–87%).
Transformer Decoders: Toonden significant lagere uitlijning, met 40–59% van het plafond (bijv. ViT-Transformer: 39–52%).
Encoder Bijdrage: CNN-encoders boden een secundair voordeel van 5–20 procentpunten ten opzichte van ViT-encoders, afhankelijk van de decoderfamilie. De CNN-LSTM combinatie was de meest uitgelijnde overall.
SOTA Modellen: Molmo 7B-D (76–82%) en Qwen3.5 9B (53–69%) vielen tussen de uitersten van de getrainde modellen in, maar overtroffen de aangepaste CNN-LSTM niet.

2. Dissociatie tussen Uitlijning en Ruimtelijke Eigenschappen

Een cruciaal bevinding was de trade-off tussen uitlijning nauwkeurigheid en ruimtelijke kenmerken:

LSTM Modellen: Hoewel zeer uitgelijnd met menselijke fixatie-locaties, waren hun aandachtskaarten ruimtelijk diffuus (Shannon-entropie $\approx 0.999$ ), waarbij gewichten over bijna alle 196 ruimtelijke posities werden verspreid. Ze vertoonden ook lage taakdifferentiatie, waarbij vergelijkbare aandachtspatronen werden behouden over de Describe en Sociale taken.
Transformer Modellen: Ondanks de lagere fixatie-uitlijning, vertoonden zij een scherpere ruimtelijke concentratie en sterkere taakdifferentiatie (bijv. de ViT-Transformer vertoonde de meest onderscheidende aandachtskaarten tussen taken).

3. Robuustheid tegen Laesies

In simulaties van hemispatiale neglect volgde de robuustheid de mate van gedistribueerde verwerking:

ViT-Transformer: De meest gedistribueerde architectuur was de meest veerkrachtig tegen ruimtelijke ablatie, waarbij de kwaliteit van de bijschriften behouden bleef, zelfs met aanzienlijk verlies van het receptieve veld.
LSTM Modellen: Toonden de grootste degradatie onder laesie, vooral bij hoge ernstniveaus waar alle patches een gelijke weging kregen.

4. Neurale Voorspellende Nauwkeurigheid vs. Gedragsmatige Uitlijning

De studie vond een dissociatie tussen gedragsmatige uitlijning en neurale voorspellende kracht:

CNN-Transformer: Ondanks dat dit model op de derde plaats stond wat betreft fixatie-uitlijning, voorspelden de aandachtskaarten van dit model de synthetische hersenactiviteit het best (hoogste geheel-brein $R^2$ ) in de TRIBE-simulatie.
LSTM Modellen: Hoewel het best uitgelijnd was met de menselijke blik, was het niet de beste voorspeller van neurale responsen.
Variantiepartitionering: "Wat" (visuele/semantische inhoud via CLIP) verklaarde het merendeel van de neurale variantie, geconcentreerd in taal- en temporale regio's. "Waar" (ruimtelijke aandacht) verklaarde unieke variantie primair in de vroege visuele cortex en dorsale aandachtnetwerken. De twee signalen waren grotendeels gedeeld in hogere-orde regio's, wat suggereert dat er minder scheiding is tussen de "wat" en "waar" paden dan traditioneel wordt aangenomen.

Betekenis en Claims

Het artikel claimt dat de decoderarchitectuur de dominante factor is in bepalen hoe goed de aandacht van een VLM uitlijnt met menselijke ruimtelijke selectie, waarbij LSTM-decoders de menselijke gedragsmatige uitlijning overtreffen, maar falen in het vatten van de ruimtelijke scherpte en taakanpassingsvermogen van menselijke aandacht. Omgekeerd bieden Transformer-decoders, hoewel minder gedragsmatig uitgelijnd, superieure ruimtelijke precisie en robuustheid.

De auteurs benadrukken een fundamentele trade-off:

Top-down mechanismen (Decoders): LSTM-decoders fungeren als een bottleneck, wat een brede, diffuse sampling afdwingt die de menselijke fixatieverdeling nabootst maar een gebrek heeft aan taakspecifieke scherpte. Transformer-decoders verdelen de aandacht over verschillende heads, wat specialisatie en taakanpassing mogelijk maakt, maar resulteert in een lagere algehele fixatie-overlap.
Bottom-up mechanismen (Encoders): CNN's presteren consequent beter dan ViT's in uitlijning, wat de gedachte versterkt dat lokale verwerkingsbiases gunstig kunnen zijn voor het nabootsen van menselijke visuele selectie.

Cruciaal is dat de studie aantoont dat fixatie-uitlijning en neurale voorspellende nauwkeurigheid niet uitwisselbare metrieken zijn. Een model kan minder uitgelijnd zijn met menselijke oogbewegingen, maar toch de neurale responsen beter voorspellen, wat suggereert dat verschillende architecturale biases verschillende facetten van menselijke verwerking vastleggen. De bevindingen suggereren dat huidige VLM's niet het volledige spectrum van menselijke aandacht volledig vatten, wat zowel de diffuse sampling van LSTM's als de scherpe, taakadaptieve concentratie van Transformers vereist.