The macaque IT cortex but not current artificial vision networks encode object position in perceptually aligned coordinates

Dit onderzoek toont aan dat de macaques inferieure temporale cortex objectpositie codeert in perceptueel uitgelijnde coördinaten die beïnvloed worden door visuele illusies, terwijl huidige kunstmatige visuele netwerken dit vermogen missen tenzij ze specifiek worden getransformeerd.

De kern

Titel: Waarom onze hersenen (en niet de AI) weten waar iets is, zelfs als het niet beweegt

Stel je voor dat je door een drukke supermarkt loopt. Je ziet een blikje cola op een plank. Je hersenen doen twee dingen tegelijk: ze zeggen "Dat is een cola!" (wat) en "Dat staat rechts van mij" (waar).

Vroeger dachten wetenschappers dat deze twee taken gescheiden waren. De ene kant van je hersenen (de 'ventrale' weg) zou alleen kijken naar wat je ziet, en de andere kant (de 'dorsale' weg) zou alleen kijken naar waar het staat. Maar dit nieuwe onderzoek laat zien dat het veel ingewikkelder – en interessanter – is.

Hier is wat de onderzoekers hebben ontdekt, vertaald naar begrijpelijke taal:

1. De Magische Illusie: De "Bewegings-Na-effect"

Om dit te testen, gebruikten de onderzoekers een klassieke hersenillusie.

• Het experiment: Stel je voor dat je 30 seconden lang naar een stroom van rode auto's kijkt die naar rechts rijden. Dan kijk je plotseling naar een stilstaand witte auto.
• Het resultaat: Je hersenen zijn zo gewend geraakt aan de beweging naar rechts, dat de stilstaande auto er voor jou even naar links lijkt te verschuiven. Je hersenen "corrigeren" de positie op basis van wat je net hebt gezien, zelfs als de auto op dezelfde plek staat.

Dit is de sleutel: De foto op je netvlies verandert niet, maar je waarneming wel.

2. Wat gebeurt er in de hersenen van de Aap?

De onderzoekers keken in de hersenen van makaken (die visueel heel veel op mensen lijken), specifiek in een gebied dat IT-cortex heet. Dit gebied staat bekend als de "herkenningscentrale" voor objecten (wat is het?).

• De ontdekking: Toen de apen naar de stilstaande auto keken (na de bewegingsillusie), veranderden de signalen in hun hersenen. De neuronen die normaal gesproken zeggen "het object is hier", begonnen te zeggen "het object is daar".
• De conclusie: Het gebied dat normaal alleen kijkt naar wat een object is, past ook de positie aan op basis van wat je net hebt gezien. Het is alsof de herkenningscentrale een interne kompasnaald heeft die door de beweging wordt gekalibreerd. Ze weten precies waar iets is, niet alleen op basis van de pixels op je oog, maar op basis van hoe je het ervaart.

3. En de Kunstmatige Intelligentie (AI)?

Hier wordt het spannend. De onderzoekers keken naar de beste AI-modellen ter wereld (zoals die gebruikt worden in zelfrijdende auto's of foto-apps).

• Het probleem: Als je dezelfde illusie toepast op deze AI-modellen (je laat ze eerst naar beweging kijken en dan naar een stilstaand object), gebeurt er niets. De AI zegt: "Het object staat precies op dezelfde pixel-coördinaten."
• Waarom? Deze AI-modellen zijn als een super-snel fototoestel zonder brein. Ze kijken alleen naar de pixels. Als de pixels niet bewegen, denkt de AI dat er niets veranderd is. Ze missen de "magie" van de hersenen die de context en de geschiedenis van de beweging meeneemt in de berekening.

4. De Creatieve Proef: "Neuraliseren"

De onderzoekers deden een experiment om te zien of AI het wel kan, als ze het dwingen.

• Ze namen de regels uit de hersenen van de aap (hoe de neuronen reageren op beweging) en pasten die handmatig toe op de AI.
• Het resultaat: Zodra ze de AI "hersenachtig" maakten, begon de AI ook de illusie te zien! De AI zag de stilstaande auto ineens verschuiven.
• Betekenis: Dit bewijst dat de AI-modellen de ruimte hebben om dit te doen, maar dat ze de mechaniek (de dynamiek) missen om het zelf te bedenken.

Samenvatting in één zin

Onze hersenen zijn slimme detectives die kijken naar wat ze zien én wat ze net hebben gezien om te weten waar iets is, terwijl huidige AI-modellen nog steeds als simpele camera's werken die alleen kijken naar wat er nu op het scherm staat.

Waarom is dit belangrijk?
Dit onderzoek laat zien dat er nog een enorme kloof is tussen hoe wij zien en hoe computers zien. Om echte slimme robots of AI te bouwen die net zo goed kunnen navigeren in een dynamische wereld als wij, moeten we ze niet alleen leren "zien", maar ook leren "voelen" hoe beweging hun waarneming beïnvloedt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "The macaque IT cortex but not current artificial vision networks encode object position in perceptually aligned coordinates", geschreven in het Nederlands.

Probleemstelling

Het visuele systeem moet objecten niet alleen identificeren ("wat"), maar ook lokaliseren ("waar"). Traditioneel wordt aangenomen dat deze functies gescheiden zijn in de ventrale ("wat") en dorsale ("waar") visuele paden. Eerdere studies hebben aangetoond dat de inferie temporale (IT) cortex in de ventrale stroom informatie bevat over objectpositie. Een cruciale onzekerheid bleef echter bestaan: zijn deze positiecodes in de IT cortex perceptueel relevant (d.w.z. vertegenwoordigen ze wat het dier werkelijk ziet), of zijn ze slechts een triviaal bijproduct van de feedforward retinotopische invoer (d.w.z. een directe weergave van de pixellocatie op het netvlies)?

Om dit te onderscheiden, is een experiment nodig waarbij de waargenomen positie afwijkt van de fysieke (pixel) positie, terwijl de visuele input constant blijft. Bestaande methoden konden dit niet testen omdat objectpositie en pixellocatie daar perfect gecorreleerd waren.

Methodologie

De auteurs combineerden drie disciplines om dit vraagstuk te onderzoeken:

1. Neurofysiologie: Grote-schaal intracorticale opnames in de IT-cortex van makaken.
2. Psychofysica: Gedragsmatige lokalisatietaken bij menselijke proefpersonen.
3. In-silico Modellering: Testen van state-of-the-art kunstmatige neurale netwerken (ANN's).

Het Experimenteel Paradigma (Motion Aftereffect - MAE):
De studie gebruikte het bewegings-nabereffect (MAE).

• Adaptatie: Proefpersonen (mens en aap) werden blootgesteld aan langdurige beweging in één richting (bijv. naar rechts) via drijvende roosters (gratings).
• Test: Vervolgens werd een stilstaand objectbeeld gepresenteerd.
• Resultaat: Door adaptatie wordt een stilstaand object waargenomen als verschoven in de tegenovergestelde richting van de adaptatiebeweging (bijv. na rechts-adaptatie lijkt het object links te verschuiven), hoewel de pixellocatie op het scherm ongewijzigd blijft.

Analyse:

• Mens: Deelnemers (n=35 voor baseline, n=22 per adaptatieconditie) klikten op het scherm om de waargenomen centrumpositie van het object aan te geven.
• Makaken: Linear decoders werden getraind op IT-spike-activiteit (70-170 ms na stimulus) om de objectpositie te voorspellen. Deze decoders werden toegepast op data verzameld voor en na adaptatie.
• ANN's: Verschillende modellen (feedforward zoals VGG-16, ResNet-18; recurrente/temporale modellen zoals SlowFast, ConvRNN) werden getest. De auteurs toetste of deze modellen intrinsieke verschuivingen vertoonden na adaptatie, en of het toepassen van empirisch afgeleide transformaties (gebaseerd op IT-data) op ANN-features de bias kon reproduceren.

Belangrijkste Bijdragen en Resultaten

1. IT-cortex encodeert positie in perceptueel uitgelijnde coördinaten

• Baseline: IT-activiteit kan objectpositie betrouwbaar decoderen (correlatie r ≈ 0.6-0.7), wat consistent is met eerdere studies.
• Adaptatie-effect: Na bewegingsadaptatie vertoont de IT-populatiecode een systematische, richting-antagonistische verschuiving. Als de adaptatie naar rechts was, verschoof de gedecodeerde positie naar links, en vice versa.
• Korrelatie met gedrag: Deze neurale verschuivingen kwamen kwalitatief overeen met de perceptuele bias die bij mensen werd waargenomen. Dit bewijst dat IT niet alleen pixellocatie codeert, maar een representatie heeft die is gekoppeld aan de waarneming.

2. Representatieve geometrie verandert door adaptatie

• Adaptatie verandert de structuur van de neurale representatie (gemeten via Centered Kernel Alignment - CKA). De geometrie van de responsruimte na adaptatie verschilt significant van de baseline, wat wijst op een herstructurering van de codering en niet slechts op een uniforme schaalverandering van de responsen.

3. Huidige ANN's falen in het reproduceren van perceptuele bias

• Feedforward modellen: Standaard modellen (VGG, ResNet) voorspellen exact dezelfde positie voor een beeld, ongeacht adaptatie, omdat de pixelinput identiek blijft.
• Temporale modellen: Zelfs geavanceerde video-modellen met recurrente connectiviteit en tijdsconvolutie (SlowFast, ConvRNN) faalden om de richting-antagonistische positieverschuivingen te genereren. Ze vertoonden geen systematische bias, in tegenstelling tot biologische systemen.
• Intrinsieke suppressie is onvoldoende: Het simuleren van neuronale adaptatie (exponentiële afname van activiteit) in ANN's leidde wel tot een verlies aan informatie, maar niet tot de specifieke perceptuele verschuivingen.

4. "Neuralization" werkt wel

• Een cruciale bevinding is dat als men empirisch afgeleide lineaire transformaties (afgeleid van de IT-adaptatie-data) toepast op de feature-ruimtes van ANN's, deze modellen plotseling wel de perceptuele bias vertonen. Dit bewijst dat de feature-ruimtes van ANN's potentieel geschikt zijn, maar dat de huidige architecturen de dynamische mechanismen missen die deze transformaties intrinsiek genereren.

Significantie en Conclusie

Deze studie biedt drie fundamentele inzichten:

1. Hervorming van het "Wat vs. Waar" paradigma: De IT-cortex is niet louter een objectherkenningscentrum; het bevat ook ruimtelijke informatie die direct gekoppeld is aan perceptie, zelfs in situaties waar de fysieke input misleidend is.
2. Mechanisme van perceptie: Adaptatie leidt tot een herstructurering van de representatieve geometrie in de hersenen, wat de link legt tussen neurale dynamica en perceptuele illusies.
3. Kloof tussen Biologisch en Kunstmatig Visie: Huidige state-of-the-art ANN's missen essentiële computationele ingrediënten. Ze hebben geen mechanismen voor geschiedenis-afhankelijke gain control of interactie tussen bewegings- en vormkanalen die nodig zijn om perceptuele stabiliteit en bias in dynamische omgevingen te simuleren.

Conclusie: De IT-cortex encodeert objectpositie in perceptueel uitgelijnde coördinaten, een eigenschap die door adaptatie dynamisch wordt herschikt. Huidige kunstmatige visiesystemen kunnen dit fenomeen niet intrinsiek reproduceren, wat een nieuwe benchmark biedt voor het ontwikkelen van de volgende generatie biologisch plausibele en perceptueel robuuste AI-modellen.