Technische Samenvatting: Efficiënt Codering langs de Visuele Hiërarchie

Probleemstelling

Deep learning-modellen behalen momenteel state-of-the-art prestaties in het voorspellen van representaties van de visuele cortex en visueel gedrag. Ze falen echter in het vatten van een fundamentele eigenschap van biologische visie: het vermogen om nuttige representaties te leren van beperkte data. Terwijl biologische systemen zich met minimale ervaring aanpassen aan de latente statistische structuur van sensorische stimuli, vertrouwt moderne deep learning op supervised of self-supervised updates over miljoenen tot miljarden trainingsvoorbeelden. Deze discrepantie suggereert dat biologische visie mogelijk gevormd wordt door fundamenteel andere leerprincipes. De auteurs onderzoeken of efficiënte codering—de theorie dat neurale representaties worden gevormd om maximale informatie over natuurlijke stimuli over te dragen gegeven biologische beperkingen—kan worden gebruikt om een diepe hiërarchie van menselijke, uitgelijnde visuele kenmerken op te bouwen vanuit beperkte data, zonder taaklabels of backpropagation.

Methodologie

Modelarchitectuur

De auteurs ontwikkelden een 11-laagse convolutionele neurale netwerk gebaseerd op een scattering network architectuur (Guth et al., 2024). De architectuur factoriseert gewichten in ruimtelijke en kanaalcomponenten:

1. Vaste Ruimtelijke Filtering: Elke laag begint met een vaste set van $N$ wavelet-filters (specifiek één low-pass $\phi$ filter en acht Morlet band-pass $\psi$ filters op verschillende oriëntaties). Deze filters detecteren georiënteerde band-pass kenmerken en grove structuren.
2. Geleerd Kanaalmenging: Na de ruimtelijke filtering en rectificatie mengt een leerbare $1\times1$ convolutie informatie over de kanalen.
3. Subsampling: Elke tweede laag maakt gebruik van strided convolution om de ruimtelijke dimensies met een factor twee te verkleinen, wat het effectieve receptieve veld in diepere lagen vergroot.
4. Normalisatie: Batch normalisatie en ruimtelijke $L_2$-normalisatie worden toegepast om outputs met een gemiddelde van nul en een eenheidvariantie te garanderen en dominantie van de magnitude te voorkomen.

Ongecontroleerd Leerprotocol (Deep Efficient Coding)

De kerninnovatie is een laag-per-laag, ongecontroleerd leerproces dat geen globale doelstelling, geen labels en geen backpropagation vereist:

• Lokale Statistieken: Voor elke laag worden activaties verzameld na wavelet-filtering, rectificatie en globale gemiddelde pooling.
• Principal Component Analysis (PCA): De covariantie-matrix van deze ruimtelijk gepoolde activaties wordt berekend over een set natuurlijke afbeeldingen (ImageNet). De top $K$ eigenvectoren, die de dominante modi van variantie vertegenwoordigen, worden geëxtraheerd.
• Gewichtoptimalisatie: Deze eigenvectoren dienen als de gewichten voor de $1\times1$ convolutie van de laag, wat effectief de input comprimeert in een $K$-dimensionale subruimte die is uitgelijnd met de statistieken van natuurlijke afbeeldingen.
• Expansie: In de daaropvolgende laag breiden de vaste wavelet-filters deze gecomprimeerde representatie uit met een factor $N$.
• Rationaal: De auteurs kozen voor PCA boven Independent Component Analysis (ICA) of whitening omdat het direct optimaliseert voor maximaal variërende kenmerken (relevant voor sampling-beperkte regimes in hogere processen) en unieke, globaal optimale oplossingen biedt.

Hybride Leren en Evaluatie

De studie evalueert drie trainingsparadigma's:

1. Ongecontroleerde Efficiënte Codering: Het netwerk wordt uitsluitend getraind via de laag-per-laag PCA-procedure.
2. Conventioneel Supervised Leren: Het netwerk wordt getraind vanaf een willekeurige initialisatie met supervised backpropagation op beeldclassificatietaken.
3. Hybride Leren: Het netwerk ondergaat eerst de ongecontroleerde efficiënte codering fase, gevolgd door supervised fine-tuning op classificatietaken.

Evaluatiemetrieken:

• Gedragsinterpretabiliteit: Menselijke participanten voerden een matching-taak uit, waarbij zij selecteerden welke cluster afbeeldingen (hoge vs. lage activatie) overeenkwam met een doelcluster, om te beoordelen of netwerkkanalen perceptueel betekenisvolle kenmerken coderen.
• Brein-uitlijning: Encoding-modellen werden gefit met behulp van regularized lineaire regressie om fMRI-responses te voorspellen vanuit de Natural Scenes Dataset (NSD) (7T resolutie, 8 subjecten) op basis van netwerklaag-activaties. Prestaties werden gemeten aan de hand van de correlatie tussen voorspelde en werkelijke corticale responsen.
• Data-efficiëntie: Classificatienauwkeurigheid op miniImageNet werd gemeten als een functie van het aantal trainingsvoorbeelden, inclusief experimenten waarbij vroege lagen werden bevroren om de transfereerbaarheid van ongecontroleerde kenmerken te testen.

Belangrijkste Resultaten

1. Opkomst van Hiërarchische Kenmerken

Het ongecontroleerde deep efficient coding model slaagde er succesvol in om een hiërarchie van kenmerken te leren zonder labels.

• Lage-niveau lagen: Toonden selectiviteit voor eenvoudige kenmerken zoals randen, oriëntaties en kleuren.
• Hoge-niveau lagen: Toonden selectiviteit voor complexe kenmerken, waaronder texturen, vormen en objecten.
• Deze progressie vond plaats louter door de hiërarchische toepassing van principes van efficiënte codering.

2. Gedragsrelevantie

• Menselijke Herkenning: Participanten konden betrouwbaar kenmerken identificeren die door specifieke netwerkkanalen werden gerepresenteerd. Het ongecontroleerde model (getraind op slechts 10.000 afbeeldingen) behaalde een aanzienlijk hogere nauwkeurigheid ($M=0,87$) in matching-taken vergeleken met een ongetrainde architectuur ($M=0,68$), wat in de buurt komt van de prestaties van een volledig supervised model getraind op 1 miljoen afbeeldingen ($M=0,96$).
• Reactietijd: Reactietijden correleerden significant met de rangorde van kanaalvariantie ($\rho = 0,37$). Participanten identificeerden kenmerken uit kanalen met een hogere variantie sneller, wat suggereert dat efficiënte codering representaties organiseert zodat statistisch prominente dimensies perceptueel opvallend zijn.
• Noodzaak van Hiërarchie: Een controlemodel dat PCA alleen toepaste op de laatste laag (waarbij andere lagen ongetraind bleven) presteerde significant slechter, wat bevestigt dat de hiërarchische structuur cruciaal is.

3. Brein-uitlijning onder Data-beperkingen

• Prestaties bij Lage Data: Wanneer getraind op slechts 1.000 afbeeldingen (één per ImageNet-categorie), presteerde de hybride leerbenadering (ongecontroleerde pre-training + supervised fine-tuning) aanzienlijk beter dan conventioneel supervised leren in het voorspellen van fMRI-responses in de ventrale visuele stroom, met name in diepere lagen (laag 6+).
• Data-schaling: Naarmate de trainingsdata toenam naar 10.000 afbeeldingen, kromp het prestatieverschil tussen hybride en conventioneel leren, hoewel hybride leren een voordeel behield ten opzichte van de ongecontroleerde baseline.
• Ruimtelijke Verdeling: De voordelen van hybride leren waren breed verdeeld over de visuele cortex en niet beperkt tot specifieke regio's.

4. Data-efficiënt Categorie-leren

• Snellere Convergentie: Hybride modellen hadden minder supervised trainingsvoorbeelden nodig om dezelfde classificatienauwkeurigheid te bereiken als conventioneel getrainde modellen op miniImageNet.
• Robuustheid bij Bevriezen: Wanneer vroege tot intermediaire lagen (tot en met laag 5) werden bevroren na ongecontroleerde pre-training, behield het hybride model een hoge classificatienauwkeurigheid. In contrast hiermee veroorzaakte het bevriezen van dezelfde lagen in willekeurig geïnitialiseerde netwerken een dramatische daling in prestaties.
• Beperkte Categorieën: Het voordeel van ongecontroleerde pre-training was het meest uitgesproken in scenario's met weinig categorieën en weinig samples per categorie, wat snelle categorie-leren faciliteert.

Betekenis en Claims

De auteurs claimen dat hun bevindingen suggereren dat principes van efficiënte codering representaties over de gehele visuele hiërarchie kunnen vormen, en niet alleen in laag-niveau verwerking (bijv. V1). De studie stelt een nieuw theoretisch perspectief voor waarbij biologische visie wordt geoptimaliseerd door een combinatie van:

1. Bottom-up efficiënte codering: Ongecontroleerde aanpassing aan de statistische structuur van natuurlijke afbeeldingen, wat een fundament bouwt van herbruikbare, gedragsrelevante kenmerken.
2. Top-down doelgestuurd leren: Supervised verfijning van deze representaties voor specifieke gedragstaken.

Het artikel betoogt dat dit hybride mechanisme de data-efficiëntie van biologische visie verklaart, waardoor het mogelijk is om snel nuttige representaties te leren van beperkte ervaring. In tegen tegenstelling tot eerdere doelgestuurde modellen die vertrouwen op end-to-end backpropagation, demonstreert dit framework dat lokale, ongecontroleerde leerregels hiërarchische representaties kunnen creëren die neuraal uitgelijnd en taakrelevant zijn. De auteurs concluderen dat efficiënte codering dient als een krachtige initialisatie voor supervised leren, wat een potentiële oplossing biedt voor computer vision-taken waar gelabelde data schaars is.