Local Synaptic Rules Can Implement a SIGReg Gradient Without Backpropagation

Technische Samenvatting: Lokale Synaptische Regels voor de Implementatie van een SIGReg-gradiënt

Probleemstelling
Het centrale probleem dat wordt geadresseerd, is hoe biologische neurale netwerken nuttige, hoog-dimensionale representaties kunnen leren zonder toegang tot expliciete labels of de globale foutsignalen die vereist zijn voor backpropagation. Hoewel Self-Supervised Learning (SSL) doelstellingen zoals SIGReg en VICReg effectief zijn gebleken in kunstmatige systemen door de gelijkenis tussen input-views te maximaliseren terwijl dimensionale instorting wordt voorkomen via variantie- en covariantie-regularisatie, missen deze methoden biologische plausibiliteit. Ze vereisen doorgaans globale gradiëntberekeningen, gewichtstransport en niet-lokale foutsignalen die niet bestaan in bekende neurobiologische mechanismen. Dit werk probeert deze kloof te overbruggen door aan te tonen dat canonieke, lokaal beschikbare synaptische regels exact de gradiënt van een SIGReg-achtige doelstelling kunnen implementeren.

Methodologie
De auteurs stellen een circuitmodel voor waarbij leren volledig wordt gedreven door lokale synaptische factoren: pre- en postsynaptische vuurratio's, lokale vuurstatistieken en de temporele contiguïteit van natuurlijke sensorische stromen. Het model integreert twee primaire mechanismen:

1. Spike-Timing-Dependent Plasticity (STDP+): De potentierende arm van STDP wordt gemodelleerd als een drie-factoren Hebbiaanse regel. Het versterkt synapsen wanneer een presynaptische neuron kort vóór een postsynaptische neuron vuurt. Wiskundig komt dit overeen met gradiëntafdaling op een forward prediction loss ($L_{pred}$), waarbij de postsynaptische neiging op tijdstip $t+1$ fungeert als een vast "onderwijssignaal" (stop-gradient) voor de gewichten op tijdstip $t$.
2. Flashlight Homeostatische Plasticiteit: Om dimensionale instorting (een veelvoorkomende faalmodus in SSL) te voorkomen, gebruikt het model een "flashlight" populatie van neuronen (analoog aan cerebellaire granule cellen) die de output $h$ van de encoder projecteren via een vaste, willekeurige, mixed-sign matrix $A$.
   • Variantie-regulatie: Elk flashlight-neuron zendt een retrograde signaal uit dat proportioneel is aan de mismatch tussen zijn variantie en een doelwaarde (unity). Dit implementeert het diagonale (variantie) component van de term voor het voorkomen van instorting.
   • Covariantie-regulatie: Laterale inhibitie van interneuronen (basket/stellate cellen), gedreven door gecorreleerde flashlight-paren, implementeert het off-diagonal (covariantie) component.
   • Samen implementeren deze homeostatische mechanismen de gradiënt van een zwakke-SIGReg doelstelling ($L_{Weak}$), die afwijkingen van de geprojecteerde covariantie van de identiteitsmatrix bestraft.

De kern van de theoretische bijdrage is de directe constructie die aantoont dat de som van de STDP+ update en de homeostatische update gelijk is aan de negatieve gradiënt van de volledige SIGReg doelstelling ($L_{SIGReg} = L_{pred} + \lambda L_{Weak}$). De auteurs merken expliciet op dat de STDP-depressie-arm (STDP−) fungeert als een sparsificerende projectie om niet-negatieve gewichten af te dwingen ($W_{ij} \geq 0$), maar op zichzelf het leerproces destabiliseert en daarom is uitgesloten van de primaire succesvolle condities.

Belangrijkste Bijdragen

• Wiskundige Equivalentie: Het papier bewijst dat STDP+ en flashlight homeostasis, wanneer gecombineerd, gradiëntafdaling op de SIGReg doelstelling implementeren zonder backpropagation, globale foutsignalen, gewichtstransport of labelinformatie.
• Biologische Plausibiliteit: Het mechanisme steunt uitsluitend op lokaal beschikbare factoren (pre/post-synaptische activiteit, lokale gain, en variantie/covariantie statistieken) en vermijdt iteratieve inferentie-loops (in tegenstelling tot sparse coding), en opereert in een strikt online, single-pass modus.
• Afhandeling van Niet-Negativiteit: Het werk verheldert de rol van STDP− niet als een gradiëntstap voor de doelstelling, maar als een mechanisme om gewichten te projecteren op de niet-negatieve orthant, hoewel het opmerkt dat een stabiele implementatie een aanvullende inhiberende populatie vereist die nog niet volledig is gemodelleerd.

Experimentele Resultaten
De auteurs hebben het mechanisme gevalideerd op twee taken:

1. Synthetische Clustering: Op een 3-klasse dataset met hoog-dimensionale ruis werd het netwerk blootgesteld aan inputs die ofwel in klasse-contigue temporele volgorde of in willekeurige volgorde stonden.
   • Geordende Input: Het netwerk leerde klassen te scheiden, waarbij een Cluster Separation Ratio (CSR) van 2.49 werd bereikt, een ongeveer driedubbele verbetering ten opzichte van de baseline.
   • Willekeurige Input: Met willekeurige ordening bleef de CSR nabij de baseline (0.83), wat aantoont dat de geleerde structuur uitsluitend voortkomt uit temporele contiguïteit.
2. MNIST Lineaire Probe: Een twee-laags netwerk, getraind op MNIST met enkel STDP en homeostatische plasticiteit (geen labels tijdens training), bereikte 87.3% lineaire-probe nauwkeurigheid.
   • Ablaties: Het verwijderen van de homeostasis veroorzaakte een instorting van de prestaties naar bijna kansniveau (18.5%). Het randomiseren van de inputvolgorde verminderde de nauwkeurigheid naar 86.5%, wat aangeeft dat homeostasis alleen een "whitening floor" biedt, terwijl temporele ordening een marginale maar consistente winst oplevert.
   • Impact van STDP−: Het opnemen van STDP− met gewicht-clipping verslechterde de prestaties aanzienlijk (daling naar ~59–69%), wat de theoretische claim bevestigt dat STDP− het systeem destabiliseert zonder een compenserende inhiberende populatie.

Betekenis en Claims
Het papier claimt dat dit werk een directe correspondentie vestigt tussen onafhankelijk waargenomen biologische synaptische regels en state-of-the-art self-supervised learning doelstellingen. Het voert aan dat het brein deze canonieke mechanismen (STDP en homeostasis) kan gebruiken om de exacte gradiënten te berekenen die nodig zijn voor het leren van nuttige representaties op een ongesuperviseerde wijze.

De auteurs benadrukken dat dit geen diepe wiskundige afleiding is, maar een "directe constructie" waarbij elke biologische regel wordt gedifferentieerd om overeen te komen met een specifieke term in de SIGReg doelstelling. De betekenis ligt in het uitbreiden van de toolkit van biologisch plausibele operaties: aantonen dat SIGReg niet slechts een abstract algoritme is, maar gerealiseerd kan worden door lokale, biologisch gefundeerde interacties. Het werk suggereert dat temporele contiguïteit in natuurlijke sensorische stromen dient als het positive-pair signaal voor SSL, waardoor de noodzaak voor expliciete data-augmentatie of de constructie van negative samples vervalt.

Het artikel blijft bescheiden over de schaalbaarheid van de diepte, en erkent dat het toepassen van deze decorrelatie-doelstellingen op elke laag leidt tot een "whitening cascade" waarbij opeenvolgende lagen structuurloze inputs ontvangen, wat resulteert in prestatievermindering in diepere netwerken. Het suggereert dat toekomstig werk convolutionele varianten moet verkennen om ruimtelijke schalen te behandelen en de integratie van specifieke inhiberende populaties moet onderzoeken om de niet-negatieve projectie te stabiliseren.