Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules

Technische Samenvatting: Supervised Training Degradeert de Alignment van de Vroege Visuele Cortex Snel Over Biologisch Plausibele Leersregels

Probleemstelling
Hoewel diepe neurale netwerken (DNN's) getraind op visuele taken bekend staan om het ontwikkelen van representaties die correleren met de primate visuele cortex, suggereert een tegenintuïtieve bevinding dat ongetrainde, willekeurig geïnitialiseerde netwerken vaak de alignment met vroege visuele gebieden, met name V1, evenaren of overtreffen. Dit daagt de aanname uit dat leren inherent de alignment met de hersenen verbetert. De centrale vraag die wordt geadresseerd is of leren de alignment verbetert of erodeert, en hoe verschillende leersregels—variërend van biologisch implausibel tot plausibel—deze dynamiek tijdens het trainen beïnvloeden.

Methodologie
De studie onderzoekt de evolutie van de representatieve gelijkenis tussen neurale netwerken en menselijke fMRI-data gedurende het trainen.

• Architectuur: Een gedeelde convolutionele architectuur (drie convolutionele blokken gevolgd door een volledig verbonden laag) werd gebruikt voor alle condities om de effecten van leersregels te isoleren.
• Leersregels: Vier verschillende regels werden geïmplementeerd:
  1. Backpropagation (BP): Standaard supervised training met exacte gradiëntafdaling.
  2. Feedback Alignment (FA): Gebruikt vaste willekeurige feedbackgewichten voor de backward pass in plaats van getransponeerde forward gewichten.
  3. Predictive Coding (PC): Maakt gebruik van lokale voorspellingsfouten en iteratieve verfijning.
  4. Spike-Timing-Dependent Plasticity (STDP): Update gewichten op basis van spike-timing correlaties in Poisson spike treinen.
• Trainingsprotocol: Modellen werden getraind voor 40 epochs op een subset van CIFAR-10 (8.000 afbeeldingen). Activaties werden geëxtraheerd op acht checkpoints (epochs 0, 1, 2, 5, 10, 20, 30, 40) over vijf willekeurige seeds.
• Evaluatie: Representational Similarity Analysis (RSA) werd uitgevoerd met 7�els 720 objectafbeeldingen uit de THINGS-database. Model Representational Dissimilarity Matrices (RDMs) werden vergeleken met fMRI RDMs van drie menselijke subjecten over zes visuele Regions of Interest (ROIs): V1, V2, V3, V4, LOC en IT. Alignment werd gekwantificeerd via Spearman rangcorrelatie.
• Statistische Analyse: Gepaarde, eenzijdige permutatietesten werden uitgevoerd over de vijf seeds. Vanwege het beperkte aantal seeds ($n=5$) is de minimale haalbare eenzijdige $p$-waarde $\approx 0.031$.

Belangrijkste Resultaten

1. Universele Degradatie in de Vroege Visuele Cortex: Alle leersregels resulteerden in een reductie van de alignment met V1 na slechts één epoch van training. Echter, de magnitude van de degradatie varieerde significant:
   • Backpropagation (BP): Toonde de meest ernstige degradatie, waarbij 90% van de initiële V1-alignment verloren ging na één epoch ($r$ daalde van 0.102 naar 0.011).
   • Feedback Alignment (FA): Toonde een intermediaire daling van 49%.
   • Predictive Coding (PC) en STDP: Behielden substantieel meer alignment, waarbij ze respectievelijk slechts 25% en 31% verloren. Bij epoch 40 behielden PC en STDP significant hogere V1-alignment dan BP of FA.
2. Generalisatie over Vroege Gebieden: Het degradatiepatroon waargenomen in V1 strekte zich uit naar V2 en V3, waarbij BP consistent de grootste dalingen vertoonde. Het effect nam af in V4.
3. Tegengestelde Trend in de Object-Selectieve Cortex: In de Lateral Occipital Complex (LOC) werd een zwakke, tegengestelde tendens waargenomen. BP vertoonde de grootste toename in alignment tijdens training (van $r \approx 0$ naar $r \approx 0.011$), terwijl lokale regels (PC, STDP) verwaarloosbare veranderingen lieten zien. De auteurs merken op dat deze LOC-veranderingen klein zijn in absolute termen en niet aan significante testen zijn onderworpen, waardoor ze als een suggestieve tendens worden behandeld.
4. Seed Variabiliteit: De verschillen tussen leersregels waren systematisch en consistent over de seeds, in plaats van willekeurige fluctuaties.

Betekenis en Claims
Het artikel claimt dat supervised training universeel de alignment van vroege visuele cortex representaties degradeert, maar dat de ernst van deze degradatie systematisch afhankelijk is van de leersregel.

• Inductieve Biases vs. Leren: De resultaten suggereren dat ongetrainde architecturen lage-niveau visuele statistieken vastleggen die inherent zijn aan hun architectuur (convolutionele filters, pooling, normalisatie), in plaats van door middel van leren. Training herstructureert deze representaties naar taak-relevante kenmerken, waardoor ze weg bewegen van de algemene statistieken die in V1 worden gecodeerd.
• Globale vs. Lokale Foutsignalen: De mate van degradatie correleert met de "globaliteit" van het foutsignaal. Regels die precieze, laag-specifieke gradiënten propageren (BP) zijn destructiever voor de vroege visuele structuur dan lokale leersregels (PC, STDP), die de brein-achtige structuur beter behouden.
• Representatieve Trade-off: De tegengestelde trends in V1 (degradatie) en LOC (lichte toename voor BP) suggereren een trade-off. Het globale foutsignaal in BP kan tegelijkertijd de vroege visuele structuur degraderen terwijl het taak-relevante objectrepresentaties in hogere lagen opbouwt. Omgekeerd behouden lokale regels de V1-alignment maar slagen ze er niet in sterke LOC-aligned representaties te ontwikkelen, wat suggereert dat lokale credit assignment alleen onvoldoende kan zijn voor het bouwen van hiërarchische objectrepresentaties.
• Implicaties voor Corticaleale Leermmechanismen: De bevindingen benadrukken een spanning tussen taakoptimalisatie en representatieve brein-gelijkenis. De hersenen lijken een sterke V1-representatie te behouden terwijl ze objectselectiviteit in hogere gebieden ontwikkelen—een combinatie die geen van de geteste regels perfect bereikte. Dit impliceert dat biologische leermechanismen mogelijk een meer genuanceerde aanpak vereisen dan enige enkele geteste regel, mogelijk door lokale preservatie te combineren met hiërarchische credit assignment.

Erkende Beperkingen
De auteurs merken enkele beperkingen op: het gebruik van een eenvoudige architectuur (3 conv + 1 FC) in plaats van diepere netwerken; de domeinverschuiving tussen CIFAR-10 training en THINGS evaluatie; vereenvoudigde benaderingen van biologische STDP en PC; een kleine fMRI-steekproefomvang (drie subjecten); en beperkte statistische resolutie door het vijf-seed design. Daarnaast zijn de absolute correlatiewaarden klein ($r < 0.10$), wat de praktische significantie voor downstream neurale verwerking een open vraag laat.