Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

Stel je voor dat je een robot probeert te leren de wereld te zien zoals een mens dat doet. Wetenschappers in een vakgebied genaamd NeuroAI zijn geobsedeerd door deze vraag: "Wat is de beste set regels om een computer te leren hoe hij een kat of een auto herkent?" Ze hebben een paar verschillende regelboeken om uit te kiezen. Eén is de standaard, superefficiënte methode die in bijna alle moderne AI wordt gebruikt (backpropagation). De andere zijn "biologisch plausibele" regels, die proberen na te bootsen hoe echte hersenen werkelijk leren, zoals hoe neuronen vuren als reactie op timing of hoe de hersenen voorspellen wat ze er een volgende keer zullen zien.

Om te zien welke regel het beste werkt, gebruiken onderzoekers een slimme truc genaamd Representational Similarity Analysis (RSA). Denk aan het als een spel van "Raad de Verbinding". Ze nemen de interne "gedachten" (de digitale representaties) van de robot over een afbeelding en vergelijken die met de werkelijke elektrische activiteit in een menselijk brein wanneer die persoon naar diezelfde afbeelding kijelt. Als de gedachten van de robot nauw aansluiten bij de activiteit van het brein, zeggen we dat de robot een "hersenvormig" begrip heeft. De grote hoop is dat het vinden van de regel die de robot het meest op het brein laat lijken, ons eindelijk de code van het menselijk visueel systeem zal laten kraken. Maar er is een addertje onder het gras: het echte brein is ongelooflijk complex, en de robots die we momenteel kunnen trainen met deze bijzondere biologische regels zijn nog steeds klein en simpel.

Deze paper luidt het doek op voor een verborgen valstrik in deze vergelijkingen. De onderzoeker ontdekte dat het antwoord op de vraag "welke regel is het beste?" volledig verandert afhankelijk van één ding: de grootte van de afbeelding die je de robot laat zien. Het blijkt dat wanneer wetenschappers deze kleine, biologisch geïnspireerde robots vergelijken met het menselijk brein, ze vaak hoog-resolutie, gedetailleerde foto's gebruiken (zoals 224 pixels breed) om ze te testen, ook al zijn de robots getraind op kleine, wazige afbeeldingen van 32 pixels. De studie laat zien dat deze mismatch een magische illusie creëert. Wanneer ze worden getest op grote, gedetailleerde foto's, lijkt de ongetrainde, willekeurige robot plotseling net zo goed, of zelfs beter, dan de slimme, getrainde robot bij het begrijpen van de vroege delen van het visuele systeem. De auteur laat zien dat dit niet komt omdat de willekeurige robot stiekem briljant is; het komt omdat de manier waarop we de robot meten, bevooroordeeld is door de grootte van de afbeelding.

De Resolutieval

De kernontdekking hier is dat de "winnaar" van de wedstrijd om het brein te matchen, volledig afhangt van de resolutie van de testafbeeldingen. Stel je voor dat je een kookwedstrijd beoordeelt. Je hebt een chef die een gerecht heeft geoefend in een piepkleine, 3-inch pan, en je hebt een willekeurig persoon die gewoon ingrediënten in een kom heeft gegooid zonder te koken. Als je hen vraagt het gerecht te serveren op een enorme, 2-voet grote schaal, kan de willekeurige persoon er per ongeluk beter uitzien omdat de enorme schaal verbergt dat het eten rauw is. Maar als je het serveert op dezelfde kleine 3-inch pan waarvoor ze geoefend hebben, schittert de getrainde chef, en ziet de willekeurige persoon er verschrikkelijk uit.

In deze studie is de "kleine pan" de 32-pixel resolutie waarop de robots zijn getraind, en de "enorme schaal" is de 224-pixel resolutie die vaak wordt gebruikt om ze te testen tegen breindata. Wanneer de onderzoeker de robots testte op dezelfde 32-pixel grootte waarop ze leerden, waren de getrainde robots (met backpropagation) iets beter dan de ongetrainde, precies zoals je zou verwachten. Maar wanneer ze overgingen naar de grotere 224-pixel afbeeldingen, draaide de uitslag om. De ongetrainde, willekeurige netwerk leek plotseling veel meer op de vroege visuele cortex (V1) van het menselijk brein dan de getrainde een deed. De kloof tussen hen groeide gestaag naarmate de afbeelding groter werd, van een klein verschil van -0.001 bij 32 pixels naar een groot verschil van +0.044 bij 224 pixels.

De Verdachten Uitsluiten

De auteur stopte niet alleen bij het vinden van het probleem; hij speelde ook detective om te achterhalen waarom dit gebeurde. Er waren vier hoofdverdachten, en hij sloot ze een voor een uit.

Ten eerste dachten ze dat het gewoon een "mismatch"-probleem was: misschien presteren de getrainde robots simpelweg slechter wanneer ze afbeeldingen te zien krijgen waar ze niet op getraind zijn. Om dit te testen, probeerden ze robots die daadwerkelijk getraind waren op de grote 224-pixel afbeeldingen (zoals een ResNet-50 en een Swin-Tiny transformer). Als de mismatch-theorie waar zou zijn, zouden deze op grote afbeeldingen getrainde robots het best moeten presteren bij 224 pixels. Maar dat deden ze niet. Ze presteerden ook het best bij lage resoluties en werden slechter naarmate de afbeeldingen groter werden. Het was dus niet alleen een kwestie van getraind zijn op de verkeerde grootte.

Ten tweede keken ze naar de instellingen van de "ongetrainde" robot. Ongetrainde robots hebben vaak hun "normalisatie"-instellingen (die helpen de data in balans te houden) op standaardwaarden staan, terwijl getrainde robots geleerde instellingen hebben. De auteur dacht dat deze standaardinstelling misschien het geheime ingrediënt was. Ze pasten de instellingen van de ongetrainde robot handmatig aan om de trainingsdata perfect te matchen. Zelfs met deze perfecte instellingen versloeg de ongetrainde robot de getrainde nog steeds bij hoge resoluties. Het was dus geen instellingsfout.

Ten derde controleerden ze of de robots simpelweg eenvoudige visuele patronen imiteerden, zoals de manier waarop licht- en donkere vlakken (Gabor-filters) of ruwe pixels eruitzien. Ze ontdekten dat de robots die het meest op deze eenvoudige patronen leken, niet noodzakelijkerwijs het meest op het brein leken. Sterker nog, een van de getrainde robots zag er zeer "Gabor-achtig" uit, maar kwam nog steeds niet goed overeen met het brein. Dus eenvoudige patronen waren niet het hele verhaal.

Ten vierde overwoogden ze dat naarmate de afbeelding groter wordt, de robot over steeds meer pixels middelt, wat de uiteindelijke uitslag een simpele maatstaf voor de algemene helderheid van de afbeelding kan maken. Ze ontdekten dat een enkel getal dat de gemiddelde helderheid van een afbeelding vertegenwoordigt, de breindata bijna even goed mat als de ongetrainde robot deed. Dit was een enorme aanwijzing: de ongetrainde robot deed veel van zijn "matching" door simpelweg de helderheid te raden. Echter, zelfs na het meewegen van de helderheid, verdween het resolutie-effect niet volledig.

De Echte Dader: Beelddetail

Om de werkelijke oorzaak te vinden, voerde de auteur een laatste, slim experiment uit. Hij nam de grote afbeeldingen, kromp ze terug naar de kleine 32-pixel grootte (waardoor het detail werd beperkt), en blies ze vervolgens weer op naar de grote grootte. Dit betekende dat de robot nog steeds naar een grote afbeelding keek en over veel pixels middelde, maar dat het werkelijke informatiegehalte in de afbeelding vastzat op de lage resolutie.

Het resultaat was spectaculair. Toen het detail werd beperkt tot de trainingsresolutie, stopten de getrainde robots met slechter worden naarmate de afbeelding groter werd. De enorme kloof tussen de getrainde en ongetrainde robots verdween bijna volledig. Dit bewees dat het effect niet werd veroorzaakt door de robot die naar meer pixels kijkt (het pooling-effect), maar door de robot die meer detail ziet dat hij niet heeft geleerd om te verwerken. Het extra detail in de hoog-resolutie afbeeldingen was de getrainde robots aan het schaden en de willekeurige robots aan het helpen, maar de auteur geeft toe dat hij niet volledig begrijpt waarom de willekeurige filters profiteren van dit extra detail terwijl de getrainde het juist lijden.

Wat Er Eigenlijk Toe Doet

De paper eindigt met een geruststellende wending. Terwijl het vroege deel van het visuele systeem (V1) in de war raakte door de grootte van de afbeelding, vertelden de hogere delen van de hersenen (de zogenaamde LOC) een ander verhaal. Op deze hogere niveaus versloegen de getrainde robots de ongetrainde robots consequent, ongeacht de grootte van de afbeelding. Dit betekent dat leren wel de hersenvormige aard van het netwerk verandert, maar dat de "ruis" van de beeldresolutie het signaal in de vroege stadia overstemde.

De belangrijkste les voor wetenschappers is: als je wilt weten welke leerregel het beste is, moet je heel voorzichtig zijn met de grootte van de plaatjes die je gebruikt om te testen. De "winnaar" is geen vaste eigenschap van de regel; het is een resultaat van hoe je de meting uitvoert. Totdat wetenschappers het eens worden over een standaardmethode om de beeldgrootte af te stemmen op het hersengebied dat ze bestuderen, kunnen vergelijkingen bij de vroege visuele cortex misleidend zijn. De paper suggereert dat we moeten testen op de resolutie waarop het model is getraind, en die resolutie duidelijk moeten rapporteren, zodat we niet in de resolutieval trappen.