Parametric neural control differentiates top neural network models of primate visual cortex

Het menselijk brein is een enorme, complexe machine om de wereld te begrijpen, en aan de voorkant van deze machine ligt de visuele cortex, een gebied dat volledig gewijd is aan het verwerken van wat we zien. Decennialang hebben wetenschappers geprobeerd computerprogramma's te bouwen die deze biologische machinerie nabootsen. Deze programma's, bekend als diepe neurale netwerken, worden getraind op miljoenen foto's totdat ze objecten, gezichten en scènes leren herkennen met een vaardigheid die de onze evenaart. Wanneer onderzoekers deze programma's testen, stellen ze vaak met verbazingwekkende nauwkeurigheid vast dat de meest geavanceerde modellen voorspellen hoe de neuronen in het brein van een aap zullen vuren wanneer deze een natuurlijke afbeelding te zien krijgt. Dit succes leidde tot een geruststellende aanname: als verschillende computermodellen allemaal de hersenactiviteit zo goed kunnen voorspellen, moeten ze wel allemaal dezelfde interne logica gebruiken om de visuele wereld te begrijpen. Het leek alsof de weg naar begrip van het brein eindelijk was gevonden, en dat al deze succesvolle modellen waren geconvergeerd op één enkele, juiste manier van kijken.

Een nieuwe studie daagt echter deze geruststellende conclusie uit, en suggereert dat een hoge nauwkeurigheid in voorspelling niet noodzakelijkerwijs betekent dat de modellen de logica van het brein werkelijk hebben begrepen. De onderzoekers, werkend met vijf macrocuten, zetten zich af om te testen of deze computermodellen slechts correct raden of daadwerkelijk de specifieke regels begrijpen die bepalen hoe neuronen reageren. Ze ontwikkelden een nieuwe methode om de modellen te bevragen, waarbij ze verder gingen dan eenvoudige beeldherkenning naar een meer directe vorm van interactie. In plaats van de modellen alleen afbeeldingen te tonen en te controleren of ze de juiste hersenrespons raadden, gebruikten de wetenschappers de modellen om specifieke, gecontroleerde veranderingen aan een afbeelding aan te brengen. Ze namen de interne instellingen van elk model en transformeerden deze tot een reeks instructies voor het aanpassen van een afbeelding om een neuron meer of minder te laten vuren. Dit proces, dat de onderzoekers "axis-aligned feature accentuation" noemen, stelde hen in staat om duizenden unieke testafbeeldingen te creëren die ontworpen waren om de neurale respons in een specifieke richting te duwen.

Het team genereerde meer dan 27.500 van deze aangepaste stimuli van tien toonaangevende visiemodellen en presenteerde deze aan de apen in een closed-loop experiment. Deze opstelling stelde de onderzoekers in staat om specifieke gebieden van de visuele cortex te targeten, van de vroege stadia waar eenvoudige vormen worden verwerkt tot de hogere niveaus waar complexe objecten worden herkend. De resultaten waren verrassend. Hoewel de tien modellen allemaal even goed presteerden bij het voorspellen van reacties op standaard, natuurlijke foto's, faalden ze wanneer ze werden gevraagd de neuronen te controleren met hun zelfgemaakte stimuli. De meeste modellen slaagden er niet in om de voorspelde veranderingen in neurale activiteit te produceren. Hun interne kaarten van de visuele wereld waren, hoewel goed genoeg om te raden, fundamenteel niet afgestemd op de werkelijke afstemming van de hersencellen. De modellen legden niet de precieze details vast van hoe neuronen op de wereld reageren; ze vonden simpelweg statistische afkortingen die werkten voor natuurlijke afbeeldingen, maar die onder nauwkeurige inspectie uiteenvielen.

Er was één opmerkelijke uitzondering op dit falen. Twee van de modellen, die getraind waren met een specifieke techniek genaamd adversarial training, toonden een consistent voordeel. Deze modellen waren beter in het controleren van de neurale activiteit, wat suggereert dat hun interne parameters dichter bij het eigen brein liggen. Toch bleek uit de studie dat het robuust zijn tegen deze adversarial trucs niet het hele verhaal was. Het vermogen om de neuronen te controleren was niet sterk gekoppeld aan hoe goed een model weerstand bood aan kunstmatige aanvallen. In plaats daarvan was de sleutelfactor iets fundamentelers: de ruimtelijke frequentiestructuur van de inputgradiënt. In gewone taal verwijst dit naar het specifieke patroon van pixels dat een beslissing van een model beïnvloedt. De modellen die het beste werkten, waren die waarbij de distributie van pixels die de coderingsas beïnvloeden overeenkwam met de manier waarop het brein werkelijk visuele informatie verwerkt.

Dit onderzoek vestigt een nieuwe, meer rigoureuze manier om te testen hoe goed computermodellen overeenkomen met het brein. Door over te stappen van passieve voorspelling naar actieve controle, hebben de wetenschappers aangetoond dat een hoge nauwkeurigheid op standaardtests diepe gebreken kan verbergen in de manier waarop een model de visuele wereld representeert. De bevindingen suggereren dat hoewel huidige modellen indrukwekkend zijn, de meeste nog niet zijn geconvergeerd op de ware biologische parametrisering van de natuurlijke beeldruimte. Alleen door te testen of een model in staat is om neurale activiteit causaal aan te sturen met precieze, geaccentueerde kenmerken, kunnen we weten of het de visuele wereld werkelijk begrijpt zoals een primatenbrein dat doet.