Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

Technische Samenvatting: Misalignering tussen Backpropagatie en de Hiërarchie van Hersenresponsen op Afbeeldingen

Probleemstelling
Hoewel diepe neurale netwerken (DNN's) en het zoogdiervisuele systeem opvallende overeenkomsten vertonen in hun voorwaartse representatieve hiërarchieën, blijft de biologische plausibiliteit van backpropagatie—het kernleeralgoritme van deep learning—een centraal onopgelost vraagstuk in de computationele neurowetenschap. Standaard backpropagatie vereist synaptische symmetrie (gewichtstransport) en een top-down berekening van gradiënten, mechanismen die als biologisch onwaarschijnlijk worden beschouwd. Hoewel eerdere studies hebben aangetoond dat de voorwaartse activaties van DNN's overeenstemmen met de corticale hiërarchie, is het nog onbekend of de top-down hiërarchie van teruggepropageerde gradiënten een vergelijkbare correspondentie vertoont met neurale responsen. Deze studie onderzoekt of het brein een mechanisme implementeert dat functioneel equivalent is aan backpropagatie, door te testen of teruggepropageerde gradiënten corresponderen met menselijke hersenactiviteit en of hun ruimtelijke en temporale organisatie overeenkomt met de algoritmische voorspellingen van backpropagatie.

Methodologie
De auteurs hanteerden een multi-modale neuroimaging-aanpak gecombineerd met geavanceerde encoderingsanalyses:

• Data Bronnen: De studie maakte gebruik van het THINGS-MEG-dataset (magneto-encefalografie, 4 deelnemers, 22.500 afbeeldingen) voor hoge temporele resolutie en het Natural Scenes Dataset (7T fMRI, 8 deelnemers, 10.000 afbeeldingen) voor hoge ruimtelijke resolutie.
• Modellen: De primaire analyse richtte zich op DINOv3 (een state-of-the-art zelftoezichthoudende Vision Transformer), gekozen vanwege zijn ongesuperviseerde leerdoel dat overeenkomt met de mogelijke reliance van het brein op voorspellende codering. Om generaliseerbaarheid te waarborgen, werden de resultaten gereproduceerd over acht diverse visiemodellen, waaronder gesuperviseerde CNN's, gesuperviseerde ViT's en visie-taalmodellen (CLIP, SigLIP2, enz.).
• Encoderingsanalyse: De auteurs pasten standaard lineaire encoderingsanalyses aan om modelkenmerken op neurale data af te beelden.
  • Voorwaartse Activaties: Laag-voor-laag activaties werden geëxtraheerd.
  • Teruggepropageerde Gradiënten: Gradiënten werden berekend met standaard backpropagatie tussen leraar- en studentnetwerken (voor DINOv3) of native verliesfuncties voor andere modellen.
  • Residuale Backpropagatie: Om gradiënt-specifieke signalen te isoleren, berekenden de auteurs een "Residuale Backpropagatie"-score door de encoderingscore van voorwaartse activaties af te trekken van de encoderingscore van de gecombineerde voorwaartse en achterwaartse signalen.
• Dimensionaliteitsreductie: Vanwege de hoge dimensionaliteit van gradiëntvectoren (~4 miljoen) werden signalen geprojecteerd op willekeurige matrices en vervolgens via Principal Component Analysis (PCA) gereduceerd tot 300 dimensies voordat de encodering plaatsvond.
• Trainingsdynamiek: Een subset van experimenten omvatte het vanaf nul trainen van DINOv3-S om de evolutie van encoderingsscores over trainingsiteraties waar te nemen.

Belangrijkste Bijdragen

1. Uitbreiding van Encoderingsanalyses: De studie breidt standaard voorwaartse-activatie-encodering uit om teruggepropageerde gradiënten op neurale data af te beelden, waardoor een directe test van correlaten van leersignalen in het brein mogelijk wordt.
2. Residuale Gradiëntafbeelding: Door een conservatieve residuale analyse in te voeren, tonen de auteurs aan dat teruggepropageerde gradiënten neurale variantie verklaren die niet kan worden toegeschreven aan voorwaartse activaties alleen.
3. Systematische Dissociatie: Het artikel levert empirisch bewijs dat voorwaartse activaties weliswaar overeenstemmen met de bottom-up hiërarchie van het brein, maar dat teruggepropageerde gradiënten niet de verwachte top-down temporale en ruimtelijke organisatie volgen die wordt voorspeld door biologisch plausibele backpropagatietheorieën.

Resultaten

• Voorspellende Kracht van Gradiënten: Teruggepropageerde gradiënten van DINOv3 en andere modellen voorspellen betrouwbaar zowel fMRI- als MEG-signalen, met name in hogere visuele cortexgebieden en bij latere latenties. Deze afbeelding geldt voor diverse architecturen en leerdoelen.
• Residuale Variantie: Residuale backpropagatie (gradiënten onafhankelijk van voorwaartse activaties) voorspelt significant hersenactiviteit, specifiek het coderen van representaties in de late visuele cortex (bijv. ventromediale en laterale-occipitotemporale cortex) en tijdens latere tijdsvensters (0,5s–1,7s post-stimulus).
• Ruimtelijke Misalignering:
  • Voorwaartse Pass: Ondiepe lagen voorspellen vroege visuele gebieden (V1), terwijl diepe lagen associatieve cortex voorspellen, wat een bottom-up hiërarchie weerspiegelt.
  • Achterwaartse Pass: In tegenstelling tot de top-down voorspelling van backpropagatie, corresponderen diepe gradiënten het beste met vroege sensorische gebieden, en ondiepe gradiënten met associatieve regio's. Dit duidt op een negatieve ruimtelijke correlatie, wat de verwachte hiërarchie effectief omkeert.
• Temporele Misalignering:
  • Voorwaartse Pass: Encodering piekt sequentieel, waarbij ondiepe lagen eerder pieken en diepe lagen later.
  • Achterwaartse Pass: Alle lagen van teruggepropageerde gradiënten pieken gelijktijdig met de laatste laag van de voorwaartse pass. Er is geen sequentiële top-down vertraging; de gradiënten vertonen niet de temporele hiërarchie die verwacht zou worden als errorsignalen sequentieel door corticale lagen zouden worden doorgegeven.
• Trainingsdynamiek: Voorwaartse en backpropagatiescores nemen logaritmisch toe tijdens training, uitbreidend naar hogere niveaus en latere latenties. Daarentegen volgt residuale backpropagatie een niet-monotone traject, piekend bij 10.000 iteraties voordat deze afneemt naarmate de leraar- en studentnetwerken convergeren.

Betekenis en Claims
De auteurs concluderen dat, hoewel diepe netwerken en het brein mogelijk vergelijkbare representatieve inhoud delen (zoals blijkt uit de uitlijning van voorwaartse activaties), ze waarschijnlijk fundamenteel verschillende mechanismen gebruiken om deze representaties te leren. De studie beweert dat de waargenomen ruimtelijke en temporale organisatie van teruggepropageerde gradiënten in het brein aanzienlijk afwijkt van de patronen die worden verwacht onder een biologisch plausibel backpropagatiemechanisme (bijv. sequentiële top-door-gave van errorsignalen).

Het artikel stelt dat deze bevindingen empirische beperkingen opleggen aan theorieën over biologisch leren. Hoewel de resultaten het op gradiënten gebaseerde leren niet volledig uitsluiten, suggereren ze dat als dergelijke mechanismen in het brein bestaan, ze zich niet manifesteren met de specifieke ruimtelijke en temporele handtekeningen van standaard backpropagatie. De auteurs suggereren dat alternatieve kaders, zoals lokale Hebbiaanse regels, contrastief leren of voorspellende coderingsarchitecturen die geen expliciete propagatie van errorgradiënten vereisen, de waargenomen neurale dynamiek beter kunnen verklaren. Het werk benadrukt een potentieel gat tussen de efficiëntie van biologisch leren en huidige deep learning-algoritmen, en suggereert dat het begrijpen van de daadwerkelijke leerstrategie van het brein efficiëntere en robuustere machine learning-benaderingen kan inspireren.