Technisch overzicht: Alomtegenwoordigheid van emergente Hebbiaanse dynamiek in geregulariseerd leren

Probleemstelling

Een centrale vraag in de computationele neurowetenschap is of de observatie van Hebbiaanse of anti-Hebbiaanse plasticiteit in synaptische updates uniek wijst op een onderliggende Hebbiaanse berekening. Traditioneel wordt biologisch leren beschouwd als gedreven door lokale, correlatiegebaseerde regels (bijv. Spike-Time-Dependent Plasticity), terwijl kunstmatige intelligentie steunt op globale, gradiëntgebaseerde optimalisatie (bijv. SGD). Er wordt vaak aangenomen dat de aanwezigheid van Hebbiaanse signatures in de hersenen een bewijs is tegen globale foutgestuurde optimalisatie, aangezien gradiëntafdaling wordt geacht niet-lokale foutsignalen te vereisen.

Dit artikel behandelt een identificatievraag: impliceert het observeren van een Hebbiaanse/anti-Hebbiaanse structuur in synaptische updates noodzakelijkerwijs een mechanistische Hebbiaanse leerregel? De auteurs stellen dat het antwoord nee is. Zij betogen dat Hebbiaanse en anti-Hebbiaanse signatures kunnen emergeren als bijproducten van geregulariseerd gradiëntgebaseerd leren nabij stationariteit, zonder dat daarvoor expliciete Hebbiaanse mechanismen nodig zijn.

Methodologie

De auteurs maken gebruik van een combinatie van theoretische analyse en empirische validatie om aan te tonen hoe regularisatie en ruis interageren met leersignalen om Hebbiaanse-achtige dynamiek te produceren.

Theoretisch kader

1. Stationariteit en Weight Decay: De auteurs analyseren het gedrag van leerregels nabij een stationair punt (convergentie). Ze beschouwen een algemene gewichtsupdate-regel $\Delta W = g(x, \theta) - \gamma W$, waarbij $g(x, \theta)$ een arbitrair leersignaal is (bijv. een gradiënt) en $\gamma W$ staat voor L2 weight decay.
2. Afleiding van uitlijning (Alignment): Door aan te nemen dat het systeem zich nabij stationariteit bevindt ($E[\Delta W] \approx 0$), leiden zij af dat het verwachte leersignaal $E[g(x, \theta)]$ ongeveer gelijk moet zijn aan $\gamma W$. Aangezien de richting van de Hebbiaanse update proportioneel is aan $W h_a h_a^\top$ (waarbij $h_a$ de presynaptische activiteit is), en $W$ positief gecorreleerd is met deze richting onder standaardveronderstellingen (bijv. representaties met gelijke normen), wordt het leersignaal wiskundig gedwongen om uit te lijnen met de Hebbiaanse richting.
3. Ruis en Anti-Hebbiaanse Dynamiek: De auteurs breiden de analyse uit door stochastische ruis te includeren. Zij tonen aan dat sterke stochastische perturbaties (ruis) in het leersignaal een anti-Hebbiaanse uitlijning kunnen induceren. Zij leiden een fasegrens af waarbij de balans tussen de ruissterkte ($\sigma^2$) en de weight decay ($\gamma$) bepaalt of het systeem Hebbiaanse of anti-Hebbiaanse signatures vertoont. Specifiek: wanneer ruis domineert, wordt de uitlijning negatief (anti-Hebbiaans); wanneer weight decay domineert, is de uitlijning positief (Hebbiaans).

Empirische Validatie

De auteurs valideren deze theoretische claims via diverse taken, architecturen en leerregels:

• Taken: CIFAR-10 classificatie en synthetische niet-lineaire regressie (student-teacher modellen).
• Architecturen: Multi-layer Perceptrons (MLP's) met verschillende activatiefuncties (ReLU, Tanh, Sigmoid) en Transformers.
• Leerregels: Standaard SGD, Adam, Direct Feedback Alignment (DFA), en een "RandomNN"-constructie (een niet-lerend, deterministisch willekeurig foutsignaal).
• Metrieken: De primaire metriek is de cosinus-gelijkenis (Frobenius binnenproduct) tussen het leersignaal (of de volledige update) en de theoretische Hebbiaanse update-richting ($h_b h_a^\top$).

Belangrijkste Bijdragen

1. Emergente Hebbiaanse Mechanisme: Het artikel stelt vast dat L2 weight decay generiek de leersignaal-component van veel update-regels dwingt om uit te lijnen met een Hebbiaanse richting nabij stationariteit. Deze uitlijning neemt monotoon toe met de sterkte van de weight decay.
2. Emergent Anti-Hebbiaans Mechanisme: De auteurs demonstreren dat voldoende sterke stochastische ruis deze signature kan omdraaien, wat een anti-Hebbiaanse uitlijning induceert. Dit creëert een voorspelbare trade-off en een fasegrens tussen Hebbiaanse en anti-Hebbiaanse regimes op basis van de ratio tussen ruis en weight decay.
3. Universaliteit over Regels: Het fenomeen blijkt onafhankelijk te zijn van het specifieke leeralgoritme. Het komt voor in SGD, Adam, DFA en zelfs in "RandomNN" (een model dat niet op de traditionele manier leert), mits er weight decay aanwezig is.
4. Transiënte Dynamiek: De studie identificeert dat Hebbiaanse uitlijning niet beperkt is tot de uiteindelijke stationaire toestand. Een "initiële uitlijningspiek" (initial alignment bump) vindt plaats vroeg in de training (afhankelijk van initialisatie en leersnelheid), en individuele neuronen vertonen oscillaties tussen Hebbiaanse en anti-Hebbiaanse fasen tijdens de steady-state training.

Resultaten

• Correlatie met Weight Decay: In classificatie- en regressietaken leidt het verhogen van weight decay consistent tot een hogere positieve uitlijning tussen het leersignaal en de Hebbiaanse update. Deze trend houdt stand bij verschillende activatiefuncties en netwerkdieptes.
• Ruis Trade-off: In regressietaken vermindert het verhogen van de ruissterkte de Hebbiaanse uitlijning en induceert het uiteindelijk een anti-Hebbiaanse uitlijning. De fasegrens tussen deze regimes volgt een kwadratische relatie ($\gamma \propto \sigma^2$), wat overeenkomt met de theoretische voorspellingen.
• Validatie via RandomNN: Zelfs een model dat een puur willekeurig, niet-lerend update-signaal gebruikt, vertoont Hebbiaanse uitlijning wanneer weight decay wordt toegepast, wat bevestigt dat het effect een eigenschap is van de regularisatie-constraint in plaats van het leeralgoritme zelf.
• Generalisatie: Het artikel merkt op dat oplossingen met de beste generalisatieprestaties vaak een lage gemiddelde Hebbiaanse of anti-Hebbiaanse uitlijning vertonen, wat suggereert dat het "optimale" regime tussen deze twee extremen ligt.

Betekenis en Claims

De auteurs positioneren dit werk als een waarschuwend advies voor de interpretatie van neurofysiologische data, eerder dan als een vervanging van de klassieke Hebbiaanse theorie.

• Herinterpretatie van Biologische Data: De aanwezigheid van Hebbiaanse of anti-Hebbiaanse signatures in synaptische metingen bewijst niet uniek dat de hersenen mechanistische Hebbiaanse regels gebruiken. Deze signatures kunnen emergente eigenschappen zijn van een globaal optimalisatieproces (zoals gradiëntafdaling) dat wordt beperkt door homeostatische mechanismen (zo's als weight decay) en ruis.
• Coexistentie: De auteurs betogen dat mechanistische Hebbiaanse plasticiteit en emergente Hebbiaanse dynamiek naast elkaar kunnen bestaan. De bevindingen compliceren de interpretatie van synaptische metingen, wat motiveert om experimenten te ontwerpen die een onderscheid kunnen maken tussen genuwe Hebbiaanse berekening en emergente signatures voortvloeiend uit regularisatie.
• Theoretische Brug: Het werk biedt een theoretische link tussen de optimalisatiedynamiek van machine learning en biologische plasticiteit, en suggereert dat de "balans tussen expansieve en contractieve krachten" (Hebbiaanse expansie versus homeostatische contractie) een universeel principe is dat de stabiliteit in zowel biologische als kunstmatige systemen beheerst.

Het artikel concludeert dat hoewel echte Hebbiaanse processen waarschijnlijk voorkomen in de hersenen, de alomtegenwoordigheid van emergente Hebbiaanse dynamiek in geregulariseerd leren suggereert dat het observeren van dergelijke patronen onvoldoende bewijs is om globale foutgestuurde leermechanismen in biologische systemen uit te sluiten.