During natural vision, semantic novelty modulates fixation-related processing in primate cortex

Onderzoek met EEG en intracraniële opnames bij mensen en apen toont aan dat semantische nieuwigheid de verwerking van fixaties in het cortex moduleren, wat wijst op een integratie van visuele informatie over saccades heen via top-down voorspellingen.

De kern

Stel je voor dat je hersenen een reusachtige, slimme camera zijn die de wereld niet in één grote foto vastlegt, maar in duizenden kleine, snelle "flitsfoto's". We bewegen onze ogen voortdurend (dit noemen we saccades) om de wereld te verkennen. Tussen die flitsen door kijken we even stil (fixaties) om details te zien.

De vraag die deze wetenschappers stelden, was: Hoe slaan onze hersenen al die losse flitsfoto's samen tot één logisch verhaal? En vooral: weten onze hersenen al wat er volgende te zien komt, voordat we er zelfs maar naar kijken?

Hier is wat ze ontdekten, vertaald naar alledaags taal:

1. De "Voorspeller" in je hoofd

Je hersenen zijn niet passief. Ze zijn als een voorspeller die constant een gok doet.
Stel je voor dat je door een bos loopt. Je ziet een boom, dan een pad, dan een rivier. Je hersenen zeggen eigenlijk: "Oké, ik heb net een boom gezien. De kans is groot dat ik nu een pad ga zien, en daarna misschien water."

De onderzoekers ontdekten dat er een speciaal signaal in de hersenen is dat reageert op nieuwheid. Als je hersenen een gok doen over wat je gaat zien, en dat blijkt niet te kloppen (het is iets heel anders dan verwacht), dan schieten je hersenen in de modus: "Oh! Dit is nieuw! Dit is een verrassing!" Dit noemen ze semantische nieuwheid.

2. De "Surprise" in je brein

Het meest fascinerende is wanneer dit gebeurt.

• Vroeger dachten we: Je hersenen wachten tot je oog stopt, kijken naar het beeld, en dan pas verwerken wat het is.
• Wat ze nu ontdekten: Je hersenen zijn al bezig voordat je oog helemaal gestopt is met bewegen.

Het is alsof je een voorspelling doet terwijl je nog aan het rennen bent. Zelfs in de frontale delen van je hersenen (het "commandocentrum") zie je een signaal dat aangeeft: "Ik voel al aan dat er iets nieuws aankomt." Pas daarna, als je oog stopt, komt het visuele deel van je hersenen (achterin je hoofd) met de bevestiging.

3. De Vergelijking: Filmen vs. Foto's

De onderzoekers keken naar mensen die naar films keken en naar mensen die naar stilstaande foto's keken.

• Films: Hier was het "nieuwheids-signaal" veel sterker.
• Foto's: Hier was het zwakker.

Waarom? Omdat een film dynamisch is. De wereld verandert continu. Je hersenen moeten harder werken om te voorspellen wat er nu gebeurt. Bij een stilstaande foto is er minder "actie" en minder verrassing, dus je hersenen hoeven minder hard te "schreeuwen" over nieuwheid.

4. De "Leren Machine" in je hoofd

De onderzoekers vergelijken dit met hoe moderne kunstmatige intelligentie (AI) leert.

• Oude manier: AI leerde met een leraar die elke foto een label gaf ("dit is een kat").
• Nieuwe manier (zoals in dit onderzoek): AI leert door te kijken naar de ene foto, en dan te raden wat de volgende foto is. Als het raadt dat het een kat is, maar er staat een hond, leert het AI: "Ah, ik had het fout! Ik moet mijn voorspelling aanpassen."

Deze studie suggereert dat ons menselijk brein precies zo werkt. We leren de wereld kennen door continu te voorspellen wat we gaan zien. Als we een verrassing krijgen (nieuwheid), gebruiken we dat als een trainingsmoment om ons visuele systeem scherper te maken. Het is alsof je hersenen zeggen: "Oké, die gok was fout, ik pas mijn interne kaart van de wereld aan zodat ik de volgende keer beter voorspel."

Samenvattend in één zin:

Onze hersenen zijn geen passieve camera's die wachten tot een foto wordt genomen; ze zijn actieve voorspellers die de wereld proberen te raden, en elke verrassing (nieuwheid) gebruiken ze als een lesje om de volgende voorspelling nog beter te maken.

De grote les: We zien de wereld niet als een reeks losse snapshots, maar als één continu, voorspellend verhaal dat onze hersenen in real-time schrijven.

Technische samenvatting

Probleemstelling

Bij natuurlijk zien bewegen de ogen voortdurend via snelle saccades (sprongen) gevolgd door korte fixaties om de wereld met hoge resolutie (foveaal) te scannen. Hoewel bekend is dat er een integratie van visuele informatie plaatsvindt over saccades heen (transsaccadische integratie) op het niveau van lage visuele kenmerken, blijft het onduidelijk hoe de hersenen semantische informatie (betekenis) integreren over meerdere fixaties heen.

Bestaand onderzoek vergelijkt de hersenen vaak met diepe netwerken die op statische afbeeldingen zijn getraind, maar dit negeert de dynamische aard van natuurlijk kijken. De auteurs hypotheseren dat de hersenen een voorspelling maken van de semantische inhoud van de volgende fixatie op basis van de huidige fixatie. Als deze voorspelling niet klopt, zou er een signaal van "semantische noviteit" (een voorspellingsfout) moeten ontstaan dat neurale activiteit moduleert.

Methodologie

De studie combineert elektrofysiologische data van mensen en niet-menselijke primaten (NHP) met geavanceerde deep-learning modellen.

1. Datasets:

   • Menselijke scalp EEG: 79 deelnemers die volledige films bekeken (totaal ~3,4 miljoen saccades).
   • Menselijke intracraniële EEG (iEEG): 31 patiënten (met epilepsie) met 6328 elektroden, die films en statische afbeeldingen bekeken.
   • NHP iEEG: 2 rhesusapen met 50 geïmplanteerde sEEG-contacten die films en afbeeldingen bekeken.
   • Opmerking: 95,2% van de data was nog niet eerder geanalyseerd.

2. Berekening van Semantische Noviteit:

   • Voor elke fixatie werd een beeldpatch van 5° (foveaal zicht) geselecteerd.
   • Deze patches werden verwerkt door een ResNet50 die was getraind met SimCLR (een zelftoezichtend leermodel dat semantisch vergelijkbare patches dicht bij elkaar in de vectorruimte brengt zonder handmatige labels).
   • Noviteit werd gedefinieerd als de cosine-afstand tussen de semantische embeddings van de patch voor de saccade en de patch na de saccade. Een grote afstand betekent hoge semantische noviteit.

3. Modellering (Temporal Response Functions - TRF):

   • Er werd een lineair encoderingsmodel gebruikt om neurale activiteit te voorspellen op basis van tijdsvertragingen van inputkenmerken.
   • Controle voor verstorende factoren: Om te garanderen dat het effect puur semantisch was, werd het model hierarchisch getraind om eerst rekening te houden met:
     • Saccade-amplitude.
     • Lage visuele kenmerken: luminantie, spectrale helling (spectrum slope), en optische stroming (optical flow).
   • Pas daarna werd de variatie verklaard door de semantische noviteit.
   • De prestatie werd gemeten aan de hand van de toename in correlatie ($\Delta r$) tussen de voorspelde en de werkelijke neurale activiteit.

Belangrijkste Resultaten

1. Modulatie van Scalp EEG:

   • Semantische noviteit moduleerde significant de fixatie-gerelateerde potentieel (FRP) in de menselijke scalp EEG.
   • Dit effect was zichtbaar in zowel frontale als occipitale gebieden.
   • De ruimtelijke verdeling sluit oogbewegingsartefacten uit als oorzaak.

2. Ruimtelijke en Temporele Dynamiek (iEEG):

   • Frontale activiteit: Er was een vroege modulatie in frontale gebieden (inclusief de Frontale Oogvelden, FEF), vaak voordat de fixatie begon. Dit suggereert een top-down voorspelling of anticipatie op basis van perifere visie.
   • Occipitale/Ventrale stroom: Latere modulatie werd waargenomen in visuele gebieden langs de ventromediale visuele stroom (inclusief sceneselectieve gebieden zoals parahippocampale en retrospleniale cortex).
   • Enhancement vs. Suppression: De noviteit leidde voornamelijk tot een versterking (enhancement) van de brede-band hoge-frequentie activiteit (BHA), in plaats van onderdrukking.

3. Dynamische vs. Statische Stimuli:

   • De modulatie door noviteit was aanzienlijk sterker tijdens het bekijken van films dan van statische afbeeldingen. Dit geldt voor zowel menselijke als NHP-data.

4. Cross-Species Generalisatie:

   • De bevindingen waren consistent tussen mensen en apen, wat wijst op een geconserveerd mechanisme in de primate visuele verwerking.

Bijdragen en Significatie

• Mechanisme van Integratie: De studie levert direct bewijs dat visuele verwerking geen reeks van onafhankelijke "snapshots" is, maar een continu, voorspellend proces dat foveale informatie over saccades heen integreert.
• Semantische Voorspellingsfout: De auteurs isoleren een puur semantisch signaal (noviteit) dat losstaat van lage visuele kenmerken. Dit signaal fungeert waarschijnlijk als een "tuning-signal" voor het ventrale visuele systeem, vergelijkbaar met hoe zelftoezichtende AI-modellen (zoals JEPA) worden getraind door voorspellingsfouten te minimaliseren.
• Top-Down Invloed: De vroege frontale activiteit vóór de fixatie ondersteunt het idee dat de hersenen semantische informatie uit het perifere zicht gebruiken om de komende fixatie te anticiperen.
• Brug tussen AI en Biologie: Door gebruik te maken van zelftoezichtende deep-learning modellen (SimCLR) om biologische visuele data te analyseren, creëren de auteurs een nieuwe raamwerk om te begrijpen hoe biologische visie semantische coherentie behoudt in een dynamische wereld.

Conclusie

De hersenen voorspellen actief de semantische inhoud van de volgende oogbeweging. Wanneer de werkelijke input afwijkt van deze voorspelling (semantische noviteit), wordt dit verwerkt als een voorspellingsfout die neurale activiteit versterkt, voornamelijk in frontale gebieden (anticipatie) en later in visuele gebieden (verwerking). Dit mechanisme is cruciaal voor het opbouwen van een coherent begrip van de wereld tijdens natuurlijk kijken.