A hierarchy of spatial predictions across human visual cortex during natural vision

Dit onderzoek toont aan dat tijdens het kijken naar natuurlijke scènes de menselijke visuele cortex een hiërarchie van voorspelling implementeert die afhankelijk is van het gezichtsveld, waarbij centrale visie gespecialiseerd is in laag- en hoog-niveau voorspelling per hersengebied, terwijl perifere visie zelfs in V1 gevoelig is voor hoog-niveau voorspelling.

De kern

Hoe je brein de wereld voorspelt: Een reis van het centrum naar de rand van je zicht

Stel je voor dat je brein niet als een camera werkt die simpelweg plaatjes maakt van wat je ziet. Nee, je brein is meer als een slimme detective die de hele tijd giswerk doet. Het probeert voortdurend te voorspellen wat er als volgende gaat gebeuren of wat er in een hoekje van je zicht te zien is, voordat het daar echt naar kijkt.

Deze nieuwe studie, uitgevoerd met heel krachtige hersenscanners (7T fMRI) terwijl mensen naar 73.000 natuurlijke foto's keken, laat zien hoe deze detective precies werkt. En het verrassende is: de detective werkt op twee heel verschillende manieren, afhankelijk van waar je kijkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De detective is altijd aan het werk

Vroeger dachten wetenschappers dat voorspellen misschien alleen gebeurde bij moeilijke taken of in experimenten. Maar deze studie bewijst het tegenovergestelde: Je brein voorspelt de hele tijd, zelfs als je gewoon rustig naar een bos of een straat kijkt.

• De vergelijking: Stel je voor dat je een raadsel oplost. Als het antwoord heel makkelijk te raden is (bijvoorbeeld: "de zon schijnt"), dan hoeft je brein niet hard te werken. Maar als het antwoord verrassend is (bijvoorbeeld: "een pinguïn in de sneeuw"), dan schrikt je brein wakker en werkt het extra hard.
• De bevinding: Hoe minder voorspelbaar een beeldje is, hoe sterker je hersenen reageren. Voorspelbare dingen worden "stil" verwerkt; onverwachte dingen trekken alle aandacht.

2. Twee verschillende werkwijzen: Centraal vs. Rand

Het meest interessante deel van dit onderzoek is dat de detective in je hoofd twee verschillende "modi" heeft, afhankelijk van of je naar het centrum van je zicht kijkt of naar de rand.

A. Het centrum (Fovea): De "Meester-architect"

Wanneer je recht vooruitkijkt (naar het midden van je zicht), werkt je brein als een hiërarchisch bouwteam.

• Hoe het werkt:
  • De laagste verdiepingen van je visuele systeem (V1) kijken naar de kleine details: lijntjes, hoekjes en randen. Ze voorspellen: "Moet ik hier een rechte lijn zien?"
  • De hogere verdiepingen (V2, V3, V4) kijken naar grotere patronen: vormen, texturen en objecten. Ze voorspellen: "Is dit een boom of een auto?"
• De analogie: Denk aan het bouwen van een huis. De arbeiders op de begane grond (V1) controleren of de bakstenen recht liggen. De architecten op de bovenverdieping (V4) controleren of het hele huis eruitziet als een huis. Iedere verdieping heeft zijn eigen taak en kijkt naar zijn eigen niveau van detail. Dit komt overeen met de klassieke theorieën over hoe ons brein werkt.

B. De rand van je zicht (Perifeer): De "Snelle giswerk-expert"

Wanneer je naar de rand van je zicht kijkt (waar je minder scherp ziet), verandert de detective van modus.

• Hoe het werkt: Zelfs de laagste verdiepingen (V1), die normaal gesproken alleen naar lijntjes kijken, gaan hier opeens kijken naar grote, abstracte ideeën. Ze vragen niet meer: "Is dit een lijntje?", maar: "Is dit een bos of een stad?"
• De analogie: Stel je voor dat je in het donker loopt en je ziet iets vaags in je ooghoek. Je brein kan niet wachten tot het scherp is om te zien of het een tak of een mens is. Het springt direct naar de conclusie: "Dat is waarschijnlijk een mens, dus pas op!" Het overslaat de kleine details en focust direct op het grote plaatje.
• Waarom? Omdat je aan de rand van je zicht minder details ziet, is het slimmer om direct te gokken op het grote idee. Het is een efficiënte manier om snel te reageren op gevaar of beweging.

3. Waarom is dit belangrijk?

Deze studie lost een groot mysterie op in de wetenschap.

• Het conflict: Sommige eerdere studies (vaak met muizen of apen) zeiden: "Het brein voorspelt alleen grote dingen." Andere studies zeiden: "Het brein voorspelt eerst kleine dingen, dan grote."
• De oplossing: Beide hadden gelijk, maar ze keken naar een ander deel van het zicht!
  • In het centrum voorspellen we stap voor stap: eerst lijnen, dan objecten.
  • In de rand voorspellen we direct het grote plaatje, omdat de details daar niet betrouwbaar genoeg zijn.

Conclusie

Je brein is geen statische machine. Het is een slimme, flexibele detective die zijn strategie aanpast aan de situatie.

• Kijk je scherp naar iets? Dan bouwt het het beeld stap voor stap op, van lijntje tot object.
• Kijk je naar de rand? Dan schakelt het over op "snelle giswerk": "Wat is dit grove idee?"

Dit helpt ons begrijpen hoe we de wereld zo snel en efficiënt kunnen navigeren zonder overprikkeld te raken. Het laat zien dat voorspellen niet één vaste regel is, maar een slimme aanpassing die helpt om te overleven in een complexe wereld.

Technische samenvatting

Probleemstelling

Voorspelling wordt beschouwd als een fundamenteel principe in zowel de neurowetenschap als kunstmatige intelligentie (AI) voor perceptuele verwerking en leren. Echter, twee cruciale vragen blijven onbeantwoord:

1. Automatisering: Treedt voorspelling routinematig op tijdens natuurlijke waarneming, of is het een strategisch, kostbaar proces dat alleen bij specifieke taken of moeilijke omstandigheden wordt ingeschakeld?
2. Abstractieniveau: Op welk niveau van abstractie voorspelt het brein? Voorspelt het lage niveaus (zoals randen en texturen), hoge niveaus (objecten en scènes), of een hiërarchie van beide?

Bestaande theorieën zijn verdeeld:

• Klassieke Predictive Coding: Stelt een hiërarchie voor waarbij vroege visuele gebieden (V1) gevoelig zijn voor lage-niveau onvoorspelbaarheid en latere gebieden voor hoge-niveau onvoorspelbaarheid.
• Reverse Hierarchy & Recent AI-onderzoek: Suggereert dat het brein (en effectieve AI-modellen) voornamelijk op hoge niveaus van abstractie voorspelt, zelfs in vroege visuele gebieden.

De meeste empirische bewijzen komen uit kunstmatige experimenten (zoals cueing of oddball-paradigma's) en generaliseren mogelijk niet naar natuurlijke visuele stimuli.

Methodologie

De auteurs combineren hoogresolutie 7T fMRI-data met diepe generatieve AI-modellen om voorspelling tijdens natuurlijke visie te bestuderen.

1. Dataset: Gebruik van de Natural Scenes Dataset (NSD), bestaande uit 7T fMRI-opnames van 8 proefpersonen die 73.000 natuurlijke beelden bekeken.
2. Generatieve Modellen: Een Partial Convolution U-Net (PConvUNet) werd getraind om afbeeldingspatches te reconstrueren (inpainten) op basis van hun omgeving.
   • Voor elk beeld werd een centrale patch (straal 1°) gemaskeerd en gereconstrueerd door het model.
   • De ruimtelijke onvoorspelbaarheid werd berekend als de Euclidische afstand ($\ell_2$) tussen de daadwerkelijke patch en de gereconstrueerde patch in de feature-ruimte van VGG-16 (een diep neurale netwerk getraind op visuele taken).
   • Dit werd gedaan op meerdere niveaus van abstractie (verschillende lagen van VGG-16).
3. Neurale Analyse:
   • Voxel-selectie: Alleen voxels met een populatie-receptorveld (pRF) binnen de centrale 2° van het gezichtsveld werden geselecteerd voor de hoofdanalyse.
   • Baseline Model: Een model gebaseerd op lokale contrastkenmerken (Gabor-filter pyramide) werd gebruikt om de bijdrage van voorspelbaarheid te isoleren bovenop de standaard visuele input.
   • Regressie: Ridge-regressie werd gebruikt om de relatie te modelleren tussen de onvoorspelbaarheidsscores en de BOLD-responsen (HRF) in visuele gebieden V1 tot V4.
   • Eccentriciteit: Analyses werden herhaald voor parafoveale patches (2° excentriciteit) om te testen of voorspelling verschilt afhankelijk van de resolutie van het zintuiglijke input.

Belangrijkste Resultaten

1. Voorspelling moduleren neurale responsen:

   • Ruimtelijke onvoorspelbaarheid verklaart unieke variantie in de neurale responsen in V1-V4, bovenop lokale contrastkenmerken.
   • Er is een positieve correlatie: minder voorspelbare input leidt tot sterkere neurale responsen. Dit ondersteunt het concept van "expectation suppression" (verwachte stimuli onderdrukken de respons).

2. Hiërarchie in het centrale gezichtsveld (Fovea):

   • In het centrale gezichtsveld werd een duidelijke hiërarchie gevonden die parallel loopt aan de feature-encoding gradiënt:
     • V1 is het meest gevoelig voor lage-niveau onvoorspelbaarheid.
     • V2, V3 en V4 worden progressief gevoeliger voor hoge-niveau onvoorspelbaarheid.
   • Dit ondersteunt de klassieke Predictive Coding-theorie en weerlegt het idee dat vroege gebieden uitsluitend op hoge niveaus voorspellen.

3. Invloed van Excentriciteit (Parafovea):

   • De effecten van voorspelling waren sterker in de parafovea dan in de fovea (hogere onzekerheid in de input).
   • Cruciaal: De hiërarchie verdween in de periferie. Zelfs V1 in de parafovea was het meest gevoelig voor hoge-niveau onvoorspelbaarheid.
   • De gevoeligheid voor visuele kenmerken (bottom-up) veranderde niet met excentriciteit, wat aangeeft dat dit een specifiek effect is op het voorspellingsmechanisme.

Bijdragen en Significantie

• Reconciliatie van conflicterende theorieën: De studie lost de schijnbare tegenstelling op tussen klassieke theorieën (hiërarchische voorspelling) en recente AI/animal studies (voornamelijk hoge-niveau voorspelling). Het concludeert dat het visuele systeem distincte voorspellingsregimes implementeert afhankelijk van de locatie in het gezichtsveld:
  • Centraal (Fovea): Hoog-resolutie input staat toe voor gedetailleerde, hiërarchische voorspelling op alle niveaus (van randen tot objecten). Dit is essentieel voor gedetailleerde herkenning.
  • Perifeer (Parafovea): Bij lagere resolutie en hogere onzekerheid schakelt het systeem over naar voornamelijk hoge-niveau voorspelling. Dit is efficiënter voor snelle scènebegrip en oogbewegingssturing.
• Methodologische doorbraak: Het gebruik van generatieve AI-modellen op enorme datasets van natuurlijke stimuli toont aan dat voorspelling een automatisch, continu proces is tijdens natuurlijke waarneming, en niet alleen een strategisch proces in kunstmatige experimenten.
• Implicaties voor AI en Neurowetenschap: De bevindingen suggereren dat modellen voor zelftoezicht (self-supervised learning) en predictieve verwerking rekening moeten houden met de variabiliteit in voorspellingsstrategieën over het gezichtsveld. Het benadrukt dat "wat het visuele cortex voorspelt" afhangt van waar in het gezichtsveld men kijkt.

Samenvattend toont dit onderzoek aan dat het menselijke visuele systeem een dynamisch voorspellend systeem is dat zijn strategie aanpast aan de betrouwbaarheid van de zintuiglijke input, waarbij het centrale gezichtsveld werkt volgens klassieke hiërarchische principes en de periferie werkt volgens principes die meer lijken op recente AI-adviezen.