Attention, not scale, drives human-AI alignment in multimodal language prediction

Technische Samenvatting: Aandacht, niet Schaal, Drijft Menselijke AI-Alignment aan in Multimodale Taalvoorspelling

Probleemstelling
Hoewel recente vooruitgang in generatieve AI heeft aangetoond dat grote taalmodellen (LLM's) menselijk gedrag kunnen simuleren in unimodale taken, blijft het onduidelijk in welke mate huidige visie-taalmodellen (VLM's) de menselijke predictieve verwerking in ecologische, multimodale omgevingen repliceren. Menselijk taalbegrip integreert routinematig visuele context om de ruimte van aankomende semantische inhoud te beperken, een proces dat wordt geïndexeerd door oogbewegingen in het Visual World Paradigm (VWP). Het is echter onzeker of het toevoegen van visuele context aan computationele modellen de alignment met menselijke voorspellingen verbetert, of dat deze alignment primair wordt gedreven door model schaal (aantal parameters) of specifieke architecturale kenmerken zoals aandachtmechanismen. Bovendien is de mate waarin model-aandachtspatronen overeenkomen met menselijke blik tijdens multimodale voorspelling grotendeels nog onverkend.

Methodologie
De auteurs voerden een grootschalig, webgebaseerd experiment uit met 600 menselijke participanten en vijf state-of-the-art vooraf getrainde systemen (FLAVA, LLaMA met visuele adapter, GPT-4, CLIP-varianten en BLIP).

• Experimenteel Ontwerp: Participanten bekeken 100 clips van zes seconden uit The Prestige en The Usual Suspects. In een "Multimodale Paradigma" bekeken zij videoclips met gesynchroniseerde audio; in "Unimodale" condities ontvingen zij enkel audio- of enkel visuele stimuli. Participanten beoordeelden de relevantie van de stimulus voor het voorspellen van een specifiek doelwoord op een schaal van 0–100. Oogbewegingen werden gedurende de taak bijgehouden via een webcam.
• Computationele Modellen: De studie evalueerde modellen over drie paradigma's:
  1. Unimodaal (Alleen tekst): Modellen verwerkten ondertiteling of prompts zonder visuele input.
  2. Multimodaal (Tekst + Afbeelding): Modellen verwerkten tekst gesynchroniseerd met videoframes.
  3. Prompt-gebaseerd: Voor gesloten modellen zoals GPT-4 werden de menselijke instructies gebruikt als prompts om deterministische voorspellingsschattingen te genereren (temperatuur ingesteld op 0).
• Geteste Modellen:
  • FLAVA: Een 1,3B parameter visie-taal encoder.
  • LLaMA-Adapter: Een 7B parameter tekst-alleen model met een visuele adapterlaag.
  • GPT-4: Zowel tekst-als tekst-afbeelding versies.
  • CLIP: Varianten met ResNet (geen aandacht) en Vision Transformer (ViT, met aandacht) backbones van verschillende groottes.
  • BLIP: Een model dat beschikt over cross-attention mechanismen.
• Analyse Metrics:
  • Alignment: Pearson-correlaties tussen model voorspellingsscores en menselijke relevantiebeoordelingen, gecorrigeerd tegen een "menselijke plafond" (leave-one-participant-out correlatie).
  • Aandachts-overlap: Vergelijking van model aandachtskaarten (uit transformer lagen) met menselijke eye-tracking kaarten met behulp van Spearman correlatie, Normalized Scanpath Saliency (NSS) en Information Gain (IG).
  • Semantische Alignment: Representational Similarity Analysis (RSA) om model interne representaties te koppelen aan menselijke semantische oordelen over visuele cues.
  • Ablatie: Aandachtsgewichten in CLIP ViT werden gemanipuleerd (uniform en patch-geschud) om de causale rol van geleerde aandacht te testen.

Belangrijkste Resultaten

1. Visuele Context Verbetert Alignment: Het toevoegen van visuele context verhoogde de alignment tussen model en menselijke voorspellingen significant over alle architecturen heen (gemiddelde $\Delta r \approx 0,18$). Multimodale FLAVA bereikte de hoogste ruwe correlatie ($\rho = 0,42$), wat ongeveer 72% van de verklaarbare menselijke variantie verklaart, waarmee zij grotere modellen zoals GPT-4 en LLaMA in de multimodale setting overtrof. Cruciaal was dat parameterschaal niet correleerde met verbeterde alignment; kleinere, zorgvuldig geconstrueerde modellen presteerden beter dan grotere.
2. Aandachtmechanismen zijn Cruciaal: Modellen met Vision Transformer (ViT) backbones (die aandacht bevatten) presteerden significant beter dan modellen met ResNet backbones (geen aandacht) in het voorspellen van menselijke oordelen, met name wanneer visuele cues informatief waren (hoge menselijke voorspelbaarheid). Permutatietesten toonden een consistente ViT-voordeel aan over alle percentielen van voorspelbaarheid.
3. Ablatie van Aandacht Bevestigt Noodzakelijkheid: Wanneer de geleerde aandacht in CLIP ViT werd vervangen door uniforme of patch-geschudde aandacht, keerde de positieve relatie tussen modelvertrouwen en menselijke beoordelingen om, wat aangeeft dat de specifieke inhoud van geleerde aandacht, en niet alleen het bestaan van het mechanisme zelf, de alignment drijft.
4. Model Aandacht Weerspiegelt Menselijke Blik: Aandachtskaarten van BLIP's cross-attention lagen (specifiek laag 9) vertoonden de sterkste overlap met menselijke eye-tracking data, waarbij tot 70% van de variantie van het menselijke plafond werd verklaard. Deze alignment was het hoogst wanneer semantisch saillante visuele cues aanwezig waren.
5. Cross-Modale Integratie: BLIP's cross-attention, die expliciet linguïstische context integreert in visuele aandacht, presteerde beter dan puur visuele aandachtmechanismen (BLIP-Vision) en contrastieve modellen (CLIP) in het alignen met de menselijke blik en semantische oordelen. Cross-attention stelde het model in staat om de anticiperende menselijke fixaties op semantische cues (bijv. objecten, acties, omgevingen) te volgen.
6. Entropiereductie: Visuele input verminderde de voorspellende entropie van modellen betrouwbaar (bijv. FLAVA $\Delta H = 0,26$ bits), wat bevestigt dat visuele context de voorspellende distributie beperkt op een wijze die vergelijkbaar is met hoe het de menselijke cognitie beperkt.

Significantie en Claims
Het artikel betoogt dat selectieve aandacht voor informatieve cues, in plaats van louter model schaal, de primaire drijfveer is van menselijke-AI alignment in multimodale taalvoorspelling.

• Architecturale Beperkingen boven Schaal: De bevindingen dagen het idee uit dat het schalen van parameters alleen menselijk gedrag oplevert. In plaats daarvan suggereert de studie dat architecturale kenmerken die effectieve integratie van modaliteiten mogelijk maken (specifiek cross-attention) crucialer zijn voor het funderen van taal in visuele context.
• Multimodale Grounding: De resultaten suggereren dat modellen die gezamenlijk op multimodale data zijn getraind (zoals FLAVA en BLIP) een betere gedragsmatige alignment kunnen bereiken dan modellen die alleen op tekst zijn getraind en achteraf zijn aangepast, wat ondersteunt dat belichaamde of structurele alignment noodzakelijk is voor effectieve multimodale verwerking.
• Aandacht als Mechanisme: De studie levert bewijs dat transformer aandachtmechanismen, met name cross-modal aandacht, functioneren als menselijke aandacht door selectief te focussen op semantisch relevante visuele informatie om taalvoorspelling te beperken. De overlap tussen model aandacht en menselijke blik suggereert dat deze modellen niet louter statistisch data verwerken, maar een vorm van predictieve verwerking aangaan die menselijke cognitieve strategieën weerspiegelt.
• Beperkingen en Reikwijdte: De auteurs merken op dat hoewel hun modellen menselijk gedrag benaderen, de alignment niet perfect is. Ze wijzen erop dat modellen zoals CLIP de neiging hebben om naar perifere gebieden te focussen wanneer voorspellende cues ontbreken, terwijl mensen en cross-attention modellen de aandacht centraliseren, wat suggereert dat huidige architecturen nog steeds de volledige flexibiliteit van menselijke onzekerheidshantering missen.

Concluderend stelt het artikel dat de weg naar menselijke AI in multimodale settings niet ligt in het simpelweg vergroten van de model grootte, maar in het verfijnen van architecturale mechanismen—specifiek aandacht—die dynamische, semantisch gestuurde integratie van visuele en linguïstische informatie mogelijk maken.