Semantic Information Orthogonal to Visual Features Peaks in LateralOccipitotemporal Cortex

Deze studie toont aan dat semantische informatie die onafhankelijk is van visuele kenmerken, voornamelijk wordt gecodeerd in de laterale occipitotemporale cortex, terwijl de ventrale stroom en het vroege visuele cortex voornamelijk door visuele signalen worden gedreven.

De kern

Titel: Waar zit de 'betekenis' in je brein? (En waarom het niet daar zit waar je denkt)

Stel je je visuele systeem voor als een enorm, georganiseerd kantoorgebouw. In dit gebouw zijn er verschillende afdelingen die zich bezighouden met het bekijken van foto's.

De oude theorie: Alles is visueel
Vroeger dachten wetenschappers dat dit kantoorgebouw alleen maar werkte op basis van wat je ziet.

• De onderste verdiepingen (het 'ventrale stroom') zijn gespecialiseerd in vormen en objecten. Hier zit de afdeling 'Gezichten' (FFA), de afdeling 'Locaties' (PPA) en de afdeling 'Kleuren en details'.
• De zijkant van het gebouw (het 'laterale stroom') had een afdeling voor 'Lichamen' (EBA). De oude theorie was dat deze afdeling alleen keek naar de vorm van een lichaam: "Is dat een arm? Is dat een been?"

Het nieuwe mysterie
Recente studies toonden aan dat taalmodellen (zoals AI die tekst begrijpt) ook voorspellingen kunnen doen over hoe dit kantoor reageert. Maar er was een groot vraagteken: Zie je de betekenis van een woord, of zie je gewoon dat het woord lijkt op een bepaald visueel patroon?

Stel je voor dat je een foto ziet van een verpleegster.

• Een visueel model ziet: witte jas, stethoscoop, zachte kleuren.
• Een taalmodel ziet: "zorg", "medisch", "helpen", "sociale rol".

De vraag was: Reageert het brein op de witte jas (visueel) of op het idee van zorg (semantisch)?

De nieuwe ontdekking: De 'Lichamen'-afdeling is een vertaler
De auteurs van dit onderzoek hebben een slimme truc bedacht om dit op te lossen. Ze hebben een soort visuele filter gebruikt.

Stel je voor dat ze de 'witte jas' en de 'stethoscoop' uit de foto halen en die volledig uit het brein wissen. Wat er overblijft, is puur de betekenis die niet te zien is. Vervolgens keken ze of het brein nog steeds reageerde op die overgebleven betekenis.

Wat vonden ze?
Het resultaat was verrassend en veranderde het beeld van het kantoorgebouw:

1. De onderste verdiepingen (Gezichten & Locaties): Toen ze de visuele informatie weghaalden, bleven deze afdelingen bijna stil. Ze reageren vooral op hoe iets eruitziet. Als je de vorm van een gezicht verwijdert, is er voor deze afdeling niets meer over.
2. De zijkant (Lichamen/EBA): Hier gebeurde het wonder. Zelfs nadat ze alle visuele details (vorm, kleur, houding) hadden verwijderd, bleef deze afdeling sterk reageren op de taal.
   • De analogie: Het is alsof je een foto van een verpleegster laat zien, maar de jas en het gezicht onzichtbaar maakt. De 'Lichamen'-afdeling in je brein zegt dan nog steeds: "Ah, ik herken het concept van zorg en sociale interactie!"

De belangrijkste conclusie in het kort:

• Gezichten en Locaties zijn puur visuele detectives. Ze kijken naar de vorm.
• Lichamen (EBA) zijn meer dan dat. Ze zijn alsof een sociale vertaler. Ze begrijpen niet alleen hoe een lichaam eruitziet, maar ook wat dat lichaam doet en wat de betekenis is van die actie (bijvoorbeeld: iemand helpen, groeten, of een gesprek voeren).

Waarom is dit belangrijk?
Het betekent dat ons brein niet alleen een camera is die plaatjes opslaat. In de zijkant van ons visuele systeem zit een speciale zone die direct schakelt tussen wat we zien en wat we begrijpen over sociale situaties. Het is alsof die zone zegt: "Ik zie niet alleen een mens, ik zie een mens in een sociale context."

Samengevat in één zin:
Je hersenen hebben een speciale 'sociale vertaler' aan de zijkant die de betekenis van lichaamshandelingen begrijpt, zelfs als je de visuele details volledig zou kunnen verwijderen.

Technische samenvatting

Probleemstelling

Hoewel eerdere studies hebben aangetoond dat taalmodel-embeddings (van Large Language Models, LLM's) de activiteit in het menselijk hogere visuele cortex kunnen voorspellen, blijft een fundamentele vraag onbeantwoord: weerspiegelt deze correlatie werkelijk visueel-onafhankelijke semantische inhoud, of is het een gevolg van het feit dat taalmodellen complexe visuele kenmerken beter nabootsen dan visuele modellen?

Bestaande onderzoek (zoals Doerig et al., 2025; Wang et al., 2023) toonde aan dat taalmodellen variantie in gebieden zoals het Extrastriate Body Area (EBA), Fusiform Face Area (FFA) en Parahippocampal Place Area (PPA) kunnen verklaren. Echter, omdat deze studies geen controle uitvoerden op laag- en midden-niveau visuele kenmerken, kon niet worden vastgesteld of de waargenomen "taalvoordeel" echt semantisch is of slechts een betere benadering van visuele patronen. De vraag is dus: welk gebied in de visuele cortex behoudt de meeste unieke semantische informatie nadat de bijdrage van visuele kenmerken is verwijderd?

Methodologie

De auteurs gebruikten data van de Natural Scenes Dataset (NSD), een grote 7T fMRI-dataset waarbij acht proefpersonen duizenden afbeeldingen uit de MS-COCO-database bekeken.

1. Kenmerkextractie:

   • Visuele kenmerken: Een combinatie van Gabor-filters (voor lage niveau oriëntatie en kleur) en diepe visuele features van een vooraf getraind VGG19-netwerk (en in robustheidsanalyses ook ResNet50, CLIP-visual, EfficientNet).
   • Semantische kenmerken: Embeddings van beeldbeschrijvingen (COCO-captions) gegenereerd door taalmodellen (BERT, GPT-2, CLIP-text).

2. Visuele Residualisatie (De kernmethode):
   Om visueel-onafhankelijke semantische informatie te isoleren, pasten de auteurs een cross-validated residualisatie-procedure toe.

   • Ze trainden een Ridge-regressiemodel om de taalmodel-embeddings te voorspellen op basis van de visuele kenmerken.
   • De residuen (het verschil tussen de daadwerkelijke taalembedding en de visueel voorspelde embedding) werden berekend. Deze residuen zijn per constructie lineair orthogonaal aan de visuele kenmerkruimte.
   • Dit betekent dat de residuen alleen die semantische informatie bevatten die niet lineair voorspelbaar is uit de visuele input.

3. Voxel-wise Encoding:
   Deze geresidualiseerde embeddings werden gebruikt om de fMRI-responsen van individuele voxels te voorspellen via cross-validated Ridge-regressie. De verklaarde variantie ($R^2_{wiped}$) geeft aan hoeveel unieke semantische informatie (na verwijdering van visuele overlap) in een bepaald hersengebied aanwezig is.

4. Robuustheidsanalyse:
   De analyse werd herhaald over een $3 \times 2$ factorial design: drie taalmodellen (BERT, GPT-2, CLIP-text) en twee sets visuele kenmerken (een brede ensemble en een hiërarchische VGG19-set), resulterend in zes onafhankelijke condities.

Belangrijkste Resultaten

1. Dominantie van het Laterale Occipitotemporale Cortex (LOTC):
   Na verwijdering van visuele variantie bleek dat het Extrastriate Body Area (EBA) en de laterale stroom (lateral stream) de sterkste visueel-onafhankelijke semantische signalen vertoonden.

   • De $R^2_{wiped}$ in EBA was significant hoger dan in ventrale gebieden zoals FFA (gezichten) en PPA (plekken).
   • In de rechterhemisfeer was de $R^2_{wiped}$ in EBA bijna 4 keer zo hoog als in PPA (0.0392 vs 0.0100).
   • Ongeveer 17-18% van de totale verklaarbare variantie in EBA is visueel-onafhankelijke semantische informatie, vergeleken met slechts ~5% in PPA.

2. Negatieve Voorspelling in Vroeg Visueel Cortex:
   Gebieden in het vroege visuele cortex (V1, V2, V3) vertoonden sterk negatieve $R^2_{wiped}$-waarden (bijv. $R^2 \approx -0.014$ in V1v).

   • Dit fungeert als een interne validatiecontrole: omdat de residuen orthogonaal zijn aan visuele structuren, "voorspellen" ze de responsen in V1 negatief. Dit bevestigt dat de residualisatie succesvol visuele signalen heeft verwijderd en geen artefacten introduceerde.

3. Architectonische Onafhankelijkheid:
   Het patroon van dissociatie (Lateraal > Ventraal) was consistent over alle zes combinaties van taalmodellen en visuele kenmerken.

   • GPT-2 (enkel getraind op tekst, geen visuele training) toonde het sterkste effect, gevolgd door BERT, en dan CLIP-text.
   • Zelfs CLIP-text (dat direct is getraind op beeld-tekst koppelingen) behield een significant positief signaal in EBA, wat aantoont dat het effect niet puur het gevolg is van gedeelde trainingsdata.

4. Secundaire bevinding:
   Het linker VWFA-2 (een woord-selectief gebied) toonde ook een hoge mate van visueel-onafhankelijke semantische informatie (ratio ~0.17), vergelijkbaar met EBA, wat suggereert dat dit gebied ook semantische processen uitvoert die losstaan van puur visuele woordvormen.

Bijdragen en Betekenis

• Methodologische Doorbraak: Het artikel introduceert een directe operationalisatie van "visueel-onafhankelijke semantische inhoud" door taalembeddings te residualiseren tegenover visuele kenmerken. Dit onderscheidt zich van eerdere "variance partitioning" studies die vaak beperkt waren tot visuele kenmerken of geen expliciete controle toepasten.
• Hersenen-architectuur: De studie weerlegt het idee dat het EBA uitsluitend een perceptueel gebied is voor het detecteren van lichaamsvormen. In plaats daarvan bevat het EBA een aanzienlijke hoeveelheid semantische informatie die losstaat van visuele kenmerken, wat consistent is met zijn rol in sociale interactie, actieperceptie en relationele verwerking.
• Lateral vs. Ventraal Dissociatie: Er wordt een duidelijke scheiding getrokken: terwijl het ventrale stroom (FFA, PPA) sterk afhankelijk is van visuele kenmerken voor zijn semantische voorspellingskracht, bevat het laterale stroom (EBA) een unieke, niet-visuele semantische component.
• Implicaties voor Modellen: Voor visuele encoding-modellen betekent dit dat feed-forward visuele modellen systematisch de voorspellingskracht in lichaam-selectieve en sociale perceptie-gebieden onderschatten. Het integreren van taalmodel-embeddings (specifiek de residuen) kan de voorspellingsgrenzen in deze gebieden aanzienlijk verbeteren.

Kortom, deze studie toont aan dat het menselijk visuele systeem niet alleen encodeert hoe objecten eruitzien, maar ook wat ze betekenen in een sociale en relationele context, en dat deze "visueel-onafhankelijke" semantische code vooral geconcentreerd is in de laterale occipitotemporale cortex.