Local Synaptic Rules Can Implement a SIGReg Gradient Without Backpropagation

Sintesi Tecnica: Regole Sinaptiche Locali che Implementano un Gradiente SIGReg

Problema
Il problema centrale affrontato è come le reti neurali biologiche possano apprendere rappresentazioni utili e ad alta dimensionalità senza l'accesso a etichette esplicite o ai segnali di errore globali richiesti dalla backpropagation. Sebbene gli obiettivi di Apprendimento Auto-Supervisionato (SSL) come SIGReg e VICReg si siano dimostrati efficaci nei sistemi artificiali massimizzando la similarità tra le viste degli input e prevenendo al contempo il collasso dimensionale tramite regolarizzazione della varianza e della covarianza, questi metodi mancano di plausibilità biologica. Essi richiedono tipicamente calcoli di gradiente globali, trasporto dei pesi (weight transport) e segnali di errore non locali che non esistono nei meccanati neurobiologici noti. Questo lavoro mira a colmare questo divario, dimostrando che regole sinaptiche canoniche e localmente disponibili possono implementare matematicamente l'esatto gradiente di un obiettivo simile a SIGReg.

Metodologia
Gli autori propongono un modello di circuito in cui l'apprendimento è guidato interamente da fattori sinaptici locali: tassi di scarica pre- e post-sinaptici, statistiche di scarica locale e la contiguità temporale dei flussi sensoriali naturali. Il modello integra due meccanismi primari:

1. Plasticità Dipendente dal Tempo di Scarica (STDP+): Il braccio di potenziamento della STDP è modellato come una regola Hebbiana a tre fattori. Esso rafforza le sinapsi quando un neurone presinaptico scarica poco prima di un neurone postsinaptico. Matematicamente, ciò corrisponde alla discesa del gradiente su una perdita di predizione forward ($L_{pred}$), dove la propensione postsinaptica al tempo $t+1$ agisce come un segnale di insegnamento fisso ("stop-gradient") per i pesi al tempo $t$.
2. Plasticità Omeostatica "Flashlight": Per prevenire il collasso dimensionale (un comune modo di fallimento nell'SSL), il modello impiega una popolazione "flashlight" di neuroni (analoghi alle cellule granulari del cervelletto) che proiettano l'output dell'encoder $h$ tramite una matrice fissa, casuale e a segni misti $A$.
   • Regolazione della Varianza: Ogni neurone flashlight emette un segnale retrogrado proporzionale al mismatch tra la sua varianza e un target (unità). Questo implementa la componente diagonale (varianza) del termine di prevenzione del collasso.
   • Regolazione della Covarianza: L'inibizione laterale da parte degli interneuroni (cellule basket/stellate), guidata da coppie di flashlight correlate, implementa la componente off-diagonal (covarianza).
   • Insieme, questi meccanismi omeostatici implementano il gradiente di un obiettivo debole di tipo SIGReg ($L_{Weak}$), che penalizza le deviazioni della covarianza proiettata dalla matrice identità.

Il nucleo del contributo teorico è la costruzione diretta che mostra come la somma dell'aggiornamento STDP+ e dell'aggiornamento omeostatico equivalga al gradiente negativo del pieno obiettivo SIGReg ($L_{SIGReg} = L_{pred} + \lambda L_{Weak}$). Gli autori notano esplicitamente che il braccio di depressione della STDP (STDP−) agisce come una proiezione di sparsificazione per imporre pesi non negativi ($W_{ij} \geq 0$), ma, da solo, destabilizza l'apprendimento ed è escluso dalle condizioni primarie di successo.

Contributi Chiave

• Equivalenza Matematica: Il documento prova che STDP+ e l'omeostasi flashlight, quando combinati, implementano la discesa del gradiente sull'obiettivo SIGReg senza backpropagation, segnali di errore globali, trasporto dei pesi o informazioni sulle etichette.
• Plausibilità Biologica: Il meccanismo si basa esclusivamente su fattori localmente disponibili (attività pre/post-sinaptica, guadagno locale e statistiche di varianza/covarianza) ed evita cicli di inferenza iterativi (a differenza dello sparse coding), operando in modalità strettamente online e a singolo passaggio.
• Gestione della Non-Negatività: Il lavoro chiarisce il ruolo della STDP− non come un passo di gradiente per l'obiettivo, ma come un meccanismo per proiettare i pesi sull'ortante non negativo, sebbene noti che un'implementazione stabile richiede una popolazione inibitoria aggiuntiva non ancora completamente modellata.

Risultati Sperimentali
Gli autori hanno validato il meccanismo su due compiti:

1. Clustering Sintetico: Su un dataset a 3 classi con rumore ad alta dimensionalità, la rete è stata esposta agli input in ordine temporale contiguo per classe o in ordine casuale.
   • Input Ordinato: La rete ha imparato a separare le classi, raggiungendo un Rapporto di Separazione dei Cluster (CSR) di 2.49, un miglioramento di circa tre volte rispetto al baseline.
   • Input Casuale: Con l'ordinamento casuale, il CSR è rimasto vicino al baseline (0.83), dimostrando che la struttura appresa deriva esclusivamente dalla contiguità temporale.
2. Linear Probe su MNIST: Una rete a due strati addestrata su MNIST utilizzando solo STDT e plasticità omeostatica (senza etichette durante l'addestramento) ha raggiunto un'accuratezza di linear-probe del 87.3%.
   • Ablazioni: Rimuovere l'omeostasi ha causato il collasso delle prestazioni vicino al caso (18.5%). Randomizzare l'ordine degli input ha ridotto l'accuratezza all'86.5%, indicando che l'omeostasi da sola fornisce un "whitening floor", mentre l'ordinamento temporale fornisce un guadagno marginale ma consistente.
   • Impatto di STDP−: Includere STDP− con clipping dei pesi ha degradato significativamente le prestazioni (scendendo a circa il 59–69%), confermando la tesi teorica che la STDP− destabilizza il sistema senza una popolazione inibitoria compensatoria.

Significatività e Rivendicazioni
Il documento sostiene che questo lavoro stabilisce una corrispondenza diretta tra regole sinaptiche osservate biologicamente e obiettivi di apprendimento auto-supervisionato allo stato dell'arte. Argomenta che il cervello possa utilizzare questi meccanismi canonici (STDP e omeostasi) per calcolare gli esatti gradienti necessari per apprendere rappresentazioni utili in modo non supervisionato.

Gli autori sottolineano che questo non è un derivazione matematica profonda ma una "costruzione diretta" in cui ogni regola biologica viene differenziata per corrispondere a un termine specifico dell'obiettivo SIGReg. La significatività risiede nell'espandere l'insieme di operazioni biologicamente plausibili: dimostrare che SIGReg non è solo un algoritmo astratto, ma può essere realizzato attraverso interazioni locali e biologicamente fondate. Il lavoro suggerisce che la contiguità temporale nei flussi sensoriali naturali funge da segnale di "coppia positiva" per l'SSL, eliminando la necessità di esplicita aumentazione dei dati o costruzione di campioni negativi.

Il documento rimane modesto riguardo alla scalabilità della profondità, riconoscendo che applicare questi obiettivi di decorrelazione a ogni strato porta a una "cascata di whitening" dove gli strati successivi ricevono input privi di struttura, risultando in una degradazione delle prestazioni nelle reti più profonde. Suggerisce che il lavoro futuro dovrebbe esplorare varianti convoluzionali per gestire le scale spaziali e l'integrazione di specifiche popolazioni inibitorie per stabilizzare la proiezione non negativa.