What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?

Probleemstelling
Recente studies hebben aangetoond dat beeldbeschrijvingen (bijschriften) die worden gerepresenteerd door grote taalmodellen (LLM's) de neurale responsen in hoogwaardige visuele gebieden van het menselijk brein kunnen voorspellen, wat het idee uitdaagt dat visuele perceptie uitsluitend rust op strikt visuele kenmerken. De specifieke factoren die deze voorspelbaarheid voor het brein drijven, blijven echter onduidelijk. Het is onzeker of de prestaties worden gedreven door de semantische inhoud van de bijschriften, de vloeiendheid en detail van de tekst, of door de specifieke architectuur van het taalmodel dat wordt gebruikt voor de embeddings. Bovendien vertrouwde eerder werk uitsluitend op door mensen geannoteerde bijschriften van de MS COCO-dataset, die vaak kort zijn en door crowdworkers zijn geleverd, wat de kwaliteit van de linguïstische representaties potentieel kan beperken. Deze studie beoogt systematisch te onderzoeken hoe variaties in de inhoud van de bijschriften (gegenereerd door verschillende vision-language modellen) en variaties in de gebruikte taalmodellen voor de embeddings de voorspelbaarheid voor het brein en de gedragsmatige alignment beïnvloeden.

Methodologie
De auteurs maakten gebruik van de Natural Scenes Dataset (NSD), die hoog-resolutie fMRI-responsen bevat van acht deelnemers die 906 natuurlijke afbeeldingen uit de MS COCO-dataset bekeken. Tijdens de fMRI-scans werden geen beeldbeschrijvingen aan de deelnemers gepresenteerd.

1. Generatie van bijschriften: Voor elke van de 906 afbeeldingen genereerden de auteurs meerdere bijschriften met behulp van vijf open-source Vision-Language Modellen (VLM's): LLaVA OneVision, Phi-4, Pixtral, Qwen2.5-VL en Molmo. Deze werden vergeleken met de oorspronkelijke door mensen geannoteerde MS COCO-bijschriften. De gegenereerde bijschriften varieerden systematisch in lengte, vloeiendheid (gemeten via perplexiteit), "visualness" (gebaseerd op Lancaster Sensorimotor Norms) en lexicale dichtheid.
2. Generatie van embeddings: Elk bijschrift werd geëmbed via vijf verschillende open-source, tekst-gebaseerde taalmodellen (LM's) om ervoor te zorgen dat er geen visuele informatie de linguïstische representaties "verontreinigde". De LM's omvatsen:
   • Een vroeg masked language model (BERT).
   • Twee autoregressieve modellen (GPT-2, Llama3.1).
   • Twee recente tekst-embedders die zijn gefinetuned op semantische taken (Qwen3 Embedding, KaLM Embedding).
   • Embeddings werden geëxtraheerd uit alle lagen van deze modellen.
3. Evaluatiemetrieken:
   • Brain Encoding: Voxel-gewijze geregulariseerde lineaire regressies (Ridge regressie) werden getraind om neurale activaties te voorspellen in drie functioneel gelokaliseerde gebieden van belang (Regions of Interest, ROI's): gezicht-selectieve, lichaam-selectieve en plaats-selectieve gebieden. Prestaties werden gemeten door de Pearson-correlatie tussen voorspelde en geobserveerde activaties.
   • Brain Alignment: Representational Similarity Analysis (RSA) werd gebruikt om de Spearman-correlatie te berekenen tussen Representational Dissimilarity Matrices (RDM's) afgeleid van caption embeddings en die afgeleid van neurale activaties.
   • Behavioral Alignment: RSA werd ook toegepast om caption embeddings te vergelijken met menselijke beeld-gelijkenisbeoordelingen verzameld van dezelfde NSD-deelnemers.
   • Intrinsieke Dimensionaliteit: De auteurs gebruikten de Generalised Ratios Intrinsic Dimension Estimator (GRIDE) om informatiecompressie over model-lagen te analyseren.

Belangrijkste Resultaten

• Machine-gegenereerde versus menselijke annotaties: Machine-gegenereerde bijschriften voorspelden neurale activaties significant, en presteerden vaak beter dan de door mensen geannoteerde MS COCO-bijschriften die in eerder werk werden gebruikt. Specifiek vertoonden bijschriften gegenereerd door Qwen2.5-VL, Pixtral en Molmo de hoogste voorspelbaarheid. De auteurs schrijven de lagere prestaties van MS COCO-bijschriften deels toe aan hun lagere vloeiendheid en beknoptheid, waarbij zij opmerken dat het middelen van meerdere MS COCO-bijschriften de prestaties verbeterde tot het niveau van enkele machine-gegenereerde bijschriften.
• Impact van Taalmodellen: Tekst-embedders (Qwen3 en KaLM) presteerden consequent beter dan autoregressieve LM's (GPT-2, Llama3) en BERT in zowel hersenvoorspelbaarheid als gedragsmatige alignment. Dit suggereert dat modellen die expliciet zijn gefinetuned voor semantische representatie, effectiever brein-relevante informatie vastleggen dan modellen die primair zijn getraind voor next-token voorspelling.
• Laag-gewijze Analyse: Zowel de hersenvoorspelbaarheid als de gedragsmatige alignment piekten bij intermediaire netwerkdieptes, kort na een fase van hoge intrinsieke dimensionaliteit. Deze hoog-dimensionale fase wordt theoretisch beschouwd als het moment waarop abstracte syntactische en semantische structuren ontstaan.
• Dissociatie in ROI's: Een "dubbele dissociatie" werd waargenomen in de laag-gewijze alignment. De alignment met gezichts- en lichaam-selectieve ROI's piekte in de middelste lagen en nam af in de latere lagen, terwijl de alignment met plaats-selectieve ROI's dramatisch toenam in de diepste lagen. Dit suggereert dat verschillende soorten linguïstische informatie vereist zijn om de gelijkenispatronen in deze onderscheidende visuele gebieden te modelleren.
• Gedragsmatige Superioriteit: Caption embeddings, in het bijzonder die van tekst-embedders die gebruikmaken van machine-gegenereerde bijschriften, bereikten een hogere alignment met menselijke beeld-gelijkenisbeoordelingen dan beeldkenmerken geëxtraheerd uit state-of-the-art visiemodellen (ResNet-50 en ViT).

Betekenis en Claims
Het artikel claimt vast te stellen dat zowel de inhoud van beeld-bijschriften als het specifieke taalmodel dat wordt gebruikt om deze te representeren, cruciale determinanten zijn van de prestaties bij het modelleren van het brein en gedrag. De auteurs demonstreren dat caption embeddings een nuttig instrument zijn voor het bestuderen van hoogwaardige visuele perceptie, in staat om neurale activiteit en menselijke gelijkenisbeoordelingen met hoge nauwkeurigheid te voorspellen.

Cruciaal is dat de studie suggereert dat de hersenvoorspelbaarheid van linguïstische representaties niet louter een bijproduct is van visuele informatie-lekkage, maar wordt gedreven door de semantische eigenschappen van de tekst. Het feit dat tekst-embedders autoregressieve modellen overtreffen, geeft aan dat het vermogen om zinsniveau-betekenis te representeren essentieel is voor het modelleren van visuele perceptie. Verder biedt de analyse van intrinsieke dimensionaliteit bewijs dat de opkomst van abstracte linguïstische structuur (gesignaleerd door een piek in intrinsieke dimensionaliteit) de specifieke fase is waarin representaties het meest voorspellend worden voor menselijke hersenactiviteit. Ten slotte biedt de studie de eerste analyse van NSD-gelijkenisbeoordelingen, waarbij wordt onthuld dat linguïstische representaties zelfs beter menselijke waargenomen gelijkenis kunnen modelleren dan visuele kenmerken, wat de diepe interactie tussen taal en visuele perceptie benadrukt.