Efficient coding along the visual hierarchy

Technische Samenvatting: Efficiënte codering langs de visuele hiërarchie

Probleemstelling
Dieplerningsmodellen bereiken momenteel hoge prestaties bij het voorspellen van representaties in de visuele cortex en visueel gedrag, maar ze falen in het vastleggen van een bepalend kenmerk van biologisch zien: het vermogen om nuttige representaties te leren uit beperkte data. Waar biologische systemen leren uit beperkte ervaring, vertrouwt modern diep leren op supervised of self-supervised updates over miljoenen tot miljarden trainingsstalen. Deze discrepantie suggereert dat biologisch zien mogelijk wordt gevormd door fundamenteel verschillende leerprincipes. De auteurs onderzoeken of efficiënte codering—de hypothese dat neurale representaties de statistische structuur van natuurlijke input vastleggen—kan worden gebruikt om een hiërarchie van mens-gealigneerde visuele kenmerken op te bouwen uit beperkte data, zonder afhankelijkheid van taaklabels of globale backpropagation.

Methodologie
De auteurs ontwikkelden een diepe, unsupervised leerprocedure gebaseerd op laagsgewijze efficiënte codering met behulp van een scattering-netwerkarchitectuur. De kerncomponenten van de methodologie omvatten:

• Architectuur: Een 11-laags convolutioneel netwerk waarbij elke laag uit twee bewerkingen bestaat:
  1. Vaste ruimtelijke filtering: Convolutie met een vaste set van negen Morlet-golfjesfilters (acht band-pass bij verschillende oriëntaties en één low-pass). Dit biedt een sterke inductieve bias voor randdetectie en georiënteerde kenmerken.
  2. Gestudeerde kanaalmixing: Een leerbare $1 \times 1$-convolutie die informatie over kanalen mengt.
  • Het netwerk wisselt af tussen expansie (via golfjesfilters) en compressie (via kanaalmixing). Gestride convoluties verminderen de ruimtelijke dimensies in afwisselende lagen.
• Unsupervised leerprotocol:
  • Het model leert zonder labels, taken of backpropagation.
  • Voor elke laag berekent het algoritme de covariantiematrix van ruimtelijk gepoolde activaties van natuurlijke afbeeldingen (ImageNet-trainingsset).
  • Principal Component Analysis (PCA) wordt toegepast om de top $K$ eigenvectoren te extraheren, die de dominante variatiemodi in natuurlijke afbeeldingen vastleggen.
  • Deze eigenvectoren dienen als gewichten voor de $1 \times 1$-convolutie, waardoor de input wordt gecomprimeerd tot een $K$-dimensionale deelruimte die is gealigneerd met de statistiek van natuurlijke afbeeldingen.
  • Dit proces is sequentieel en laagsgewijs, wat betekent dat elke laag wordt geoptimaliseerd op basis van de lokale statistiek van zijn directe input.
• Hybride leren: Om de bruikbaarheid van deze unsupervised initialisatie te testen, combineerden de auteurs de efficiënte coderingsfase met supervised fine-tuning op afbeeldingsclassificatietaken (ImageNet en miniImageNet). Dit werd vergeleken met:
  • Conventioneel supervised leren (willekeurige initialisatie).
  • Puur unsupervised leren.
  • Niet-getrainde netwerken.
• Evaluatiemetingen:
  • Gedragsrelevantie: Menselijke waarnemers voerden een taak voor gelijkenisbeoordeling uit om te bepalen of ze kenmerken konden herkennen die werden gecodeerd door specifieke netwerkkanaals.
  • Brein-gealignement: Encoderingsmodellen werden gefit om fMRI-responsen te voorspellen uit de Natural Scenes Dataset (NSD) met behulp van geregulariseerde lineaire regressie.
  • Downstream-prestaties: Classificatie-accuraatheid op miniImageNet, inclusief experimenten waarbij vroege lagen werden bevroren om de overdraagbaarheid van unsupervised kenmerken te testen.

Belangrijkste bijdragen en resultaten

1. Ontstaan van complexe kenmerken via unsupervised codering:

   • Het diepe efficiënte coderingsmodel, getraind op slechts 10.000 afbeeldingen zonder labels, leerde succesvol een hiërarchie van kenmerken die evolueerde van eenvoudige randen en kleuren in vroege lagen naar complexe texturen, vormen en objecten in latere lagen.
   • Gedragsvalidatie: Menselijke waarnemers konden betrouwbaar de kenmerken identificeren die door de kanalen van het netwerk werden vertegenwoordigd (accuraatheid $M=0,87$), wat significant beter was dan niet-getrainde netwerken ($M=0,68$) en de prestaties benaderde van volledig supervised modellen getraind op één miljoen afbeeldingen ($M=0,96$).
   • Correlatie met reactietijd: Reactietijden voor het identificeren van kenmerken correleerden significant met de rangorde van de kanaalvariatie ($\rho = 0,37$), wat aangeeft dat kenmerken met hogere variatie (geprioriteerd door efficiënte codering) perceptueel opvallender zijn.

2. Brein-gealignement onder extreme datalimiet:

   • Wanneer getraind op een sterk beperkte dataset (1.000 afbeeldingen, of één per ImageNet-categorie), presteerde het hybride model (efficiënte codering + supervised fine-tuning) significant beter dan conventioneel supervised leren bij het voorspellen van menselijke responsen in de ventrale visuele cortex.
   • Unsupervised leren alleen bood een aanzienlijke verbetering ten opzichte van niet-getrainde baselines.
   • De hybride aanpak leverde hogere encoderingsscores op dan conventioneel leren, specifiek in latere netwerklagen (laag 6 en hoger) onder omstandigheden met weinig data. Wanneer de data toenam tot 10.000 afbeeldingen, nam de prestatiekloof tussen hybride en conventioneel leren af.

3. Data-efficiënt categorie-leren:

   • Netwerken geïnitieerd met diepe efficiënte codering vereisten minder supervised trainingsstalen om dezelfde classificatie-accuraatheid te bereiken als willekeurig geïnitieerde netwerken.
   • Robuustheid tegen bevriezen van lagen: Wanneer vroege tot intermediaire lagen (tot en met laag 5) werden bevroren na unsupervised pre-training, behield het hybride model een hoge classificatie-accuraatheid. In tegenstelling hiermee veroorzaakte het bevriezen van dezelfde lagen in willekeurig geïnitieerde netwerken een dramatische daling in prestaties.
   • Regimes met weinig data: Het voordeel van unsupervised pre-training was het meest uitgesproken wanneer zowel het aantal categorieën als het aantal afbeeldingen per categorie beperkt was.

Betekenis en claims
Het artikel beweert dat principes van efficiënte codering representaties over de hele visuele hiërarchie kunnen vormgeven, niet alleen in laag-niveau verwerking (bijv. retina, V1). De bevindingen suggereren dat:

• De data-efficiëntie van biologisch zien kan worden verklaard door een leermechanisme waarbij neurale systemen zich eerst aanpassen aan de statistische structuur van natuurlijke stimuli via unsupervised, lokale leerregels (specifiek, het maximaliseren van variatie/efficiënte codering).
• Deze unsupervised fase creëert een fundament van herbruikbare, gedragsrelevante kenmerken die snelle downstream-lering faciliteren.
• Het voorgestelde kader biedt een alternatief voor het heersende paradigma van end-to-end supervised of self-supervised leren. Het stelt dat representaties in de ventrale visuele stroom worden gevormd door een combinatie van bottom-up efficiënte codering (unsupervised aanpassing aan natuurlijke statistiek) en top-down doelgestuurd leren (supervised fine-tuning).
• Het werk toont aan dat een eenvoudig, lokaal, unsupervised algoritme snel hiërarchische representaties kan uitkristalliseren die neuraal gealigneerd en nuttig zijn voor taken, wat suggereert dat "unsupervised pre-training" een kernbiologisch leerprincipe kan zijn dat noch labels noch beloningen vereist.

De auteurs merken op dat hoewel hun implementatie PCA en vaste ruimtelijke filters gebruikt als computationeel steigerwerk, de kernbevinding is dat hiërarchische, lokaal getrainde systemen die prioriteit geven aan richtingen met hoge variatie, overdraagbare, brein-achtige kenmerken kunnen ontwikkelen. Zij erkennen dat supervisie noodzakelijk blijft voor sterke classificatieprestaties, wat aangeeft dat efficiënte codering en taakgestuurd leren complementair zijn in plaats van wederzijds uitsluitend.