Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models

Technische Samenvatting: Gegrondelde Concretheid in Vision–Language Modellen

Probleemstelling
Het artikel behandelt een centraal spanningsveld in de cognitieve wetenschap en kunstmatige intelligentie: of "betekenis" kan worden afgeleid uit tekst alleen, of dat het zintuiglijke verankering (perceptuele grounding) vereist. Terwijl grote taalmodellen (LLM's) leren van tekstdistributies, variëren menselijke concepten in "concretheid"—een gegradeerde dimensie waarbij concrete woorden (bijv. appel) nauw verbonden zijn met zintuiglijke perceptie, terwijl abstracte woorden (bijv. gerechtigheid) relationeel en contextafhankelijk zijn. De auteurs onderzoeken of Vision–Language Modellen (VLM's), die multimodale pretraining ondergaan, een meer menselijke gevoeligheid voor linguïstische concretheid ontwikkelen vergeleken met gematchte tekst-alleen LLM's, zelfs wanneer ze worden geëvalueerd met tekst-alleen prompts.

Methodologie
De studie maakt gebruik van een gecontroleerd ablatie-ontwerp om het effect van visuele verankering te isoleren.

• Modelvergelijking: De auteurs vergelijken gematchte paren van Meta's Llama 3.1 tekst-alleen modellen (8B en 70B parameters) met hun Llama Vision 3.2 tegenhangers (11B en 90B parameters). De visiemodellen maken gebruik van de tekstmodellen als backbones en zijn getraind op multimodale datasets.
• Evaluatieprotocol: Cruciaal is dat alle evaluaties gebruikmaken van tekst-alleen prompts (er worden geen afbeeldingen verstrekt tijdens de inferentie). Dit zorgt ervoor dat eventuele prestatieverschillen voortkomen uit de interne representaties die tijdens de multimodale pretraining zijn geleerd, in plaats van uit directe visuele input tijdens de taak.
• Drielaags Analyse: De auteurs trianguleren bewijs over drie complementaire niveaus:
  1. Outputgedrag: Het meten van Question Answering (QA) nauwkeurigheid over diverse benchmarks (ARC, BoolQ, Winogrande, etc.) ingedeeld naar zinsniveau concretheidsscores afgeleid van menselijke normen (Brysbaert et al., 2014).
  2. Embedding Geometrie: Het analyseren van de organisatie van token-representaties in een laag-dimensionale ruimte (t-SNE) om te testen of tokens clusteren op basis van concretheidsniveaus.
  3. Attention Dynamiek: Het kwantificeren van contextuele afhankelijkheid via attention entropie. Op basis van psycholinguïstische theorieën is de hypothese dat abstracte tokens een bredere context vereisen (hogere entropie), terwijl concrete tokens vertrouwen op gefocuste aandacht (lagere entropie).
• Menselijke Alignement: De modellen worden geprompt om token-niveau concretheidsscores te genereren, die worden vergeleken met menselijke normverdelingen met behulp van symmetrische KL-divergentie.

Belangrijkste Resultaten
Over beide model-schalen (8B/11B en 70B/90B) vertoonden de VLM's een superieure gevoeligheid voor concretheid vergeleken met hun tekst-alleen tegenhangers:

• QA Prestaties: VLM's presteerden over het algemeen beter dan LLM's, maar het prestatieverschil werd aanzienlijk groter naarmate de concretheid van de vraag toenam. Het voordeel was het meest uitgesproken bij vragen die betrekking hadden op waarneembare entiteiten en ruimtelijke relaties, wat suggereert dat visuele verankering een steunpunt vormt voor concrete semantiek.
• Representatieve Geometrie: In t-SNE projecties vormden de token-representaties van VLM's compactere, meer continue clusters voor zeer concrete woorden vergeleken met de diffuse distributie die wordt gezien bij tekst-alleen LLM's. Kwantitatieve maten van intra-cluster dispersie bevestigden dat VLM's een lagere dispersie (strakkere clustering) bereiken voor concrete tokens.
• Attention Patronen: VLM's vertoonden een sterkere negatieve correlatie tussen token-concretheid en attention entropie. Concrete tokens in VLM's vertoonden lagere entropie (meer gefocuste aandacht), terwijl abstracte tokens hogere entropie vertoonden. Deze scheiding was scherper in VLM's dan in LLM's, met name in de vroege tot middenlagen van het netwerk.
• Menselijke Alignement: VLM's genereerden concretheidsscores die dichter bij menselijke normen lagen dan LLM's. Deze alignement verbeterde significant naarmate de menselijke concretheidsscores toenamen, terwijl de alignement-trend van de LLM zwakker en statistisch minder betrouwbaar was.

Significantie en Claims
Het artikel beweert een gecontroleerde demonstratie te leveren dat visuele supervisie tijdens de training een meer menselijke gevoeligheid voor concretheid induceert in foundation-modellen. Door de taal-backbone constant te houden, isoleert de studie visuele verankering als een causale factor in:

1. Gedragsmatige Robuustheid: Het verbeteren van de QA-prestaties specifiek voor concrete concepten.
2. Representatieve Structuur: Het organiseren van embeddings in een geometrie die gegradeerde concretheid weerspiegelt.
3. Verwerkingsdynamiek: Het verschuiven van de aandachtmechanismen om minder te vertrouwen op brede context voor concrete woorden, consistent met dual-coding en grounded cognition theorieën (Paivio, 1990; Barsalou, 2008).

De auteurs positioneren concretheid als een principieel, interpreteerbaar as voor het diagnosticeren van grounding-gerelateerd gedrag, en bieden hiermee een brug tussen cognitieve theorie en computationale diagnostiek. Zij stellen dat VLM's niet enkel de globale prestaties verschuiven, maar ook doelgericht hun interne representaties en oordelen kalibreren voor perceptueel gegronde woorden.

Beperkingen
De auteurs erkennen dat de studie beperkt is tot een enkele modelfamilie (Llama), wat de generaliseerbaarheid naar andere architecturen of talen kan beperken. Daarnaast fungeert lexicale frequentie als een potentiële confound die niet volledig gecontroleerd kon worden vanwege ontoegankelijke pretraining token-aantallen. Tot slot richt de analyse zich op de finale checkpoints, waardoor het ontwikkelingsverloop van concretheid-gevoeligheid tijdens de training onverkend blijft.