Layer-specific spatiotemporal dynamics of feedforward and feedback in human visual object perception

Dit onderzoek combineert laagspecifieke fMRI en EEG om de spatiotemporale dynamiek van vooraanwaartse en terugwaartse informatiestromen in de menselijke visuele cortex te ontrafelen, waarbij wordt aangetoond dat terugwaartse signalen in de laterale occipitale complex de representatie van objecten verrijken naar hogere complexiteit.

De kern

Stel je voor dat je brein een enorme, super-snelle fabriek is die beelden van de wereld om je heen verwerkt. Wanneer je naar een object kijkt – bijvoorbeeld een appel of een auto – stroomt er informatie door deze fabriek. Maar hoe werkt dat precies?

Deze wetenschappelijke studie probeert een heel oud raadsel op te lossen: hoe werkt de samenwerking tussen 'naar boven stromen' en 'naar beneden stromen' in je brein?

Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen.

1. Het Probleem: Een drukke kruising

In je visuele systeem (het deel van je brein dat ziet) zijn er twee soorten signalen:

• Voerwaartse signalen (Feedforward): Dit is de informatie die van je ogen naar de hogere delen van je brein stroomt. Het is als een postbode die een brief (het beeld) bezorgt.
• Terugwaartse signalen (Feedback): Dit is informatie die van de hogere delen terugstroomt naar de lagere delen. Het is als de chef die de postbode vertelt: "Kijk goed, dat is geen appel, dat is een rode bal!" of "Verwacht een appel, want we zaten net in de keuken."

Het probleem is dat deze twee signalen razendsnel door elkaar gaan. Het is alsof de postbode en de chef op hetzelfde moment door dezelfde smalle gang rennen. Het is voor onderzoekers tot nu toe bijna onmogelijk geweest om te zien wie wanneer wat deed, omdat ze door elkaar heen lopen.

2. De Oplossing: Een superkrachtige microscoop

De onderzoekers van deze studie (uit Berlijn en Leipzig) hebben een slimme truc bedacht. Ze hebben een 7T MRI-scan gebruikt. Dit is een heel krachtige scanner die je brein in detail kan zien, tot op het niveau van de laagjes (zoals de lagen van een taart).

Ze wisten dat in de natuurkunde van het brein:

• De postbode (voerwaartse signalen) meestal de middenlaag van het brein binnenkomt.
• De chef (terugwaartse signalen) meestal de bovenste laag bereikt.

Door te kijken naar welke laag op welk moment reageerde, konden ze de postbode en de chef uit elkaar houden.

3. Wat hebben ze ontdekt?

Deel 1: De tijdlijn (Wie is er eerst?)
Ze keken naar twee belangrijke gebieden in je brein:

1. EVC (De ingang): Hier komt het beeld binnen.
2. LOC (De verwerker): Hier wordt het beeld herkend als een object.

• In de ingang (EVC): De postbode kwam eerst aan in de middenlaag (ongeveer 100 milliseconden na het zien van het beeld). Daarna zag men signalen in de boven- en onderlaag, maar dat was waarschijnlijk gewoon de postbode die zijn werk afmaakte of collega's hielp. Er was geen duidelijke "chef" die terugkwam.
• In de verwerker (LOC): Hier gebeurde er iets spannends. Eerst kwam de postbode aan in de middenlaag (ongeveer 160 ms). Maar daarna, veel later (ongeveer 400 ms), verscheen er een heel sterk signaal in de bovenste laag. Dit was de chef die terugkwam met instructies!

Deel 2: De complexiteit (Wat is er te vertellen?)
Ze keken ook naar hoe slim de berichten waren. Ze vergeleken de hersensignalen met een kunstmatige intelligentie (een AI) die ook beelden leert kennen.

• De eerste boodschap (Voerwaarts): De postbode bracht berichten over gemiddelde complexiteit. Hij zei: "Ik zie een rond, rood ding." (Dit is de basisinformatie).
• De tweede boodschap (Terugwaarts): De chef bracht berichten over zeer hoge complexiteit. Hij zei: "Dat is geen willekeurig rood ding, dat is een specifiek type appel dat we in de keuken hebben, en het is waarschijnlijk rot!"

4. De Grote Les: Het brein bouwt in twee stappen

De studie laat zien dat zien geen éénmalige actie is, maar een proces in twee stappen:

1. Stap 1 (De snelle scan): Je brein kijkt snel naar de basisvormen en kleuren (de postbode in de middenlaag).
2. Stap 2 (De verfijning): Je brein stuurt een bericht terug (de chef in de bovenste laag) om die basisinformatie te verrijken. Hierdoor wordt het beeld "slimmer" en complexer. Je begrijpt niet alleen wat het is, maar je begrijpt het in context.

Waarom is dit belangrijk?

Vroeger dachten we dat het brein vooral een simpele "lijn" was: oog -> hersenen -> resultaat. Deze studie toont aan dat het brein meer lijkt op een dynamisch gesprek. De hogere delen van je brein (waar je kennis en verwachtingen zitten) sturen voortdurend terug naar je ogen om te helpen bij het interpreteren van wat je ziet.

Kort samengevat:
Je brein ziet niet alleen met je ogen; het "denkt" ook mee terwijl het kijkt. Eerst krijg je een ruwe schets (voerwaarts), en daarna komt er een verfijnde, slimme versie van terug (terugwaarts) die je vertelt wat het echt is. Dankzij deze nieuwe "laagjes-microscoop" kunnen we eindelijk zien hoe die twee processen samenwerken in tijd en ruimte.

Technische samenvatting

Probleemstelling

Visuele objectperceptie wordt gemedieerd door informatiefluss tussen regio's van de ventrale visuele stroom via anatomische feedforward (voortstuwend) en feedback (terugkoppeling) verbindingen. Een fundamentele uitdaging in de cognitieve neurowetenschap is het onderscheiden van deze twee stromen tijdens natuurlijke visie. Deze signalen zijn snel, overlappen in de tijd en zijn functioneel verweven, wat het moeilijk maakt om hun specifieke bijdragen in ruimte en tijd te identificeren.

• Bestaande beperkingen: Invasieve methoden bij niet-menselijke primaten bieden circuit-niveau controle maar zijn niet toepasbaar op mensen. Experimentele benaderingen bij mensen (bijv. perceptie vs. mentale beeldvorming) zijn indirect en kunnen verward worden door niet-gecontroleerde verschillen tussen condities.
• Doel: Het onderzoek streeft ernaar feedforward en feedback signalen te isoleren op basis van hun specifieke anatomische terminatiepatronen in de corticale lagen, en hun spatiotemporale dynamiek en functionele rol te karakteriseren.

Methodologie

De auteurs combineerden meerdere geavanceerde neuroimaging- en analysetechnieken om een hoge ruimtelijke en temporele resolutie te bereiken:

1. Sub-millimeter 7T fMRI:

   • Deelnemers: 10 proefpersonen.
   • Stimuli: 24 natuurlijke objectafbeeldingen op realistische achtergronden.
   • Resolutie: Isotrope voxelgrootte van 0,9 mm, waardoor het mogelijk was om de corticale ribbon te segmenteren in drie lagen: diep (deep), midden (middle) en oppervlakkig (superficial).
   • Regio's van Interesse (ROI): Vroege visuele cortex (EVC, inclusief V1-V3) en de laterale occipitale complex (LOC).
   • Preprocessing: Handmatige segmentatie van grijze stofgrenzen en gebruik van het LAYNII-algoritme voor equidistante laagsegmentatie. Er werd gebruikgemaakt van partiële correlaties om macrovasculaire effecten (bloedafvoer naar oppervlakkige lagen) te controleren.

2. EEG-fMRI Fusie (Representational Similarity Analysis - RSA):

   • EEG-data: Gebruik van bestaande EEG-data (N=32) van dezelfde stimuli (Xie et al., 2024) met een temporele resolutie van milliseconden.
   • Fusie: De auteurs berekenden Representational Dissimilarity Matrices (RDM's) voor fMRI (ruimtelijk) en EEG (temporeel). Door de correlatie tussen EEG-RDM's en laag-specifieke fMRI-RDM's te analyseren, konden ze de temporele dynamiek van de fMRI-activiteit reconstrueren met EEG-snelheid.
   • Analyse: Er werd gebruikgemaakt van partiële Spearman-correlaties om de invloed van onderliggende lagen uit te sluiten bij de analyse van bovenliggende lagen.

3. Deep Neural Networks (DNN) als Referentie:

   • Om de "format" van de neurale representaties te kwantificeren (d.w.z. complexiteit van visuele kenmerken), werd een Vision Transformer (ViT, DeiT-architectuur) gebruikt.
   • Commonality Analysis: De auteurs correleerden de neurale RDM's met de RDM's van verschillende lagen van het DNN. Lagere DNN-lagen corresponderen met lage complexiteit, hogere lagen met hoge complexiteit.

Belangrijkste Bijdragen

1. Spatiotemporale Ontleding: Voor het eerst werden feedforward en feedback signalen in de menselijke visuele cortex gescheiden op basis van hun specifieke terminatie in corticale lagen tijdens natuurlijke objectperceptie.
2. Validatie van EEG-fMRI Fusie op 7T: Het onderzoek valideert de methode van EEG-fMRI fusie bij 7 Tesla, wat een overgang mogelijk maakt van macroscopische regio-analyses naar mesoscale (laag-specifieke) analyses.
3. Functionele Karakterisering: Het koppelen van laag-specifieke dynamiek aan kenmerkcomplexiteit via DNN's biedt een nieuw inzicht in wat er wordt verwerkt tijdens feedforward versus feedback fasen.

Resultaten

1. Temporele Dynamiek (Feedforward vs. Feedback):

• EVC (Vroege Visuele Cortex): Feedforward signalen pieken vroeg in de middenlaag (~100 ms). Later (140 ms) worden signalen waargenomen in de diepe en oppervlakkige lagen. Echter, er was geen duidelijke verschuiving in kenmerkcomplexiteit tussen deze lagen, wat suggereert dat de latere signalen in EVC eerder te maken hebben met feedforward propagatie, laterale interacties of vasculaire bias dan met interareale feedback.
• LOC (Hoge Visuele Cortex): Er werd een duidelijke tweestapsdynamiek gevonden:
  • Feedforward: Piekt vroeg in de middenlaag (~160 ms).
  • Feedback: Piekt significant later in de oppervlakkige laag (~400 ms).
  • Het tijdsverschil tussen de midden- en oppervlakkige laag in LOC bedroeg gemiddeld 240 ms.

2. Representatieformaat (Kenmerkcomplexiteit):

• EVC: Alle lagen vertoonden een vergelijkbaar patroon van lage tot middelhoge complexiteit (overeenkomend met DNN-laag 2), wat bevestigt dat EVC voornamelijk feedforward verwerking uitvoert.
• LOC: Er was een duidelijke verschuiving in complexiteit:
  • De vroege feedforward signalen (middenlaag) vertegenwoordigden middelhoog tot hoog complexiteit (DNN-laag 3).
  • De late feedback signalen (oppervlakkige laag) vertegenwoordigden hoog complexiteit (DNN-laag 4).
  • Dit suggereert dat feedback in LOC niet alleen de gain van bestaande signalen modificeert, maar actief bijdraagt aan de vorming van nog complexere, emergente representaties.

Betekenis en Conclusie

De studie biedt een mechanistisch inzicht in hoe het menselijk brein objecten ziet:

• Spatiotemporale Volgorde: Visuele informatie stroomt eerst feedforward via de middenlagen van EVC en LOC, gevolgd door feedback die specifiek de oppervlakkige lagen van hogere visuele gebieden (LOC) bereikt.
• Rol van Feedback: Feedback in de hogere visuele cortex (LOC) speelt een actieve rol bij het verhogen van de complexiteit van visuele representaties. Dit ondersteunt theorieën zoals voorspellende codering, waarbij feedback (voorspellingen) en feedforward (sensory input) in verschillende kanalen en lagen worden verwerkt.
• Methodologische Vooruitgang: De combinatie van 7T laag-resolutie fMRI met EEG en DNN-analyse biedt een krachtig raamwerk om de spatiotemporale dynamiek van neurale informatiestromen in het menselijk brein niet-invasief te bestuderen. Dit heeft implicaties voor het begrijpen van cognitieve functies zoals aandacht, verwachting en bewustzijn.

De auteurs benadrukken dat hoewel de timing robuust is, de exacte relatie met invasieve spike-timing nog verder onderzoek vereist, en dat vasculaire contaminatie een beperking blijft, hoewel deze is geminimaliseerd door hun analysestrategie.