Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks

Sintesi Tecnica: I Vincoli Neuronali Guidano l'Apprendimento Superiore nelle RNN

Problema
Una sfida centrale all'intersezione tra neuroscienze e machine learning è comprendere come la specifica geometria, il cablaggio e l'organizzazione funzionale della corteccia cerebrale modellino il calcolo ricorrente. Sebbene le Reti Neurali Ricorrenti (RNN) siano strumenti potenti per modellare la dinamica temporale, esse vengono tipicamente inizializzate con pesi casuali e connettività non vincolata. Questo contrasta con i circuiti biologici, dove i neuroni occupano uno spazio fisico, aderiscono ai principi di economia del cablaggio e partecipano a relazioni anatomiche e funzionali strutturate. Studi precedenti hanno suggerito che imporre vincoli biologici (ad esempio, l'embedding spaziale) possa migliorare l'apprendimento, ma la maggior parte degli studi si basa su embedding stilizzati o randomizzati piuttosto che sulla misurata organizzazione corticale. La questione irrisolta è se la specifica geometria, il cablaggio e la struttura funzionale misurati dei reali circuiti corticali possano fungere da potenti bias induttivi per guidare un apprendimento superiore rispetto a una generica ispirazione biologica.

Metodologia
Gli autori sfruttano il dataset Machine Intelligence from Cortical Networks (MICrONS), una risorsa multimodale di connettomica funzionale della corteccia visiva del topo. Questo dataset co-registra l'imaging del calcio a due fotoni (attività funzionale) con l'elettromicroscopia ad alta risoluzione (connettività anatomica e coordinate spaziali) per la stessa popolazione neuronale (~12.000 neuroni eccitatori).

Lo studio costruisce una famiglia di 11 varianti di RNN biologicamente fondate per disaggregare sistematicamente i contributi di tre specifici priori corticali:

1. Inizializzazione Funzionale dei Pesi ($W^*$ o $W!$): I pesi ricorrenti sono inizializzati utilizzando le relazioni funzionali derivate dall'attività neuronale (correlazione di Pearson e Spike Time Tiling Coefficient, o STTC). Una variante di controllo ($W!$) permuta questi pesi per preservare la distribuzione statistica pur interrompendo la specifica mappatura neurone-peso.
2. Embedding Spaziale Reale ($D^*$): Le unità ricorrenti sono assegnate a posizioni basate sulle coordinate misurate dei soma neuronali da MICrONS, rispetto a una griglia artificiale ($D$).
3. Regolarizzazione Basata sulla Comunicabilità ($C$ o $C^*$): Durante l'apprendimento, un termine di regolarizzazione penalizza la comunicazione a lungo raggio o impone la somiglianza tra la distribuzione di comunicabilità del modello e la distribuzione empirica derivata dalla connettività anatomica.

Questi modelli sono addestrati su tre compiti di decisione cognitiva: Inferenza a Scelta Singola (One-Choice Inference), Decisione Percettiva (Perceptual Decision-Making) e Go/NoGo. Le prestazioni sono valutate non solo tramite l'accuratezza del compito, ma anche attraverso le proprietà emergenti del grafo delle matrici di peso apprese, inclusi entropia, modularità, assortatività e small-worldness. La robustezza è ulteriormente testata limitando i pesi ricorrenti a una regime strettamente positivo (regime esclusivamente eccitatorio).

Contributi Chiave

• Validazione Empirica dei Priori Corticali: Lo studio dimostra che fondare le RNN nella misurata geometria, nel cablaggio e nella funzione corticale produce risultati di apprendimento significativamente migliori rispetto alle baseline non vincolate o parzialmente vincolate.
• Gerarchia dei Contributi dei Priori: Attraverso studi di ablazione, gli autori stabiliscono una gerarchia di bias induttivi:
  • L'Inizializzazione Funzionale fornisce il guadagno di prestazione più grande e generale.
  • L'Embedding Spaziale Reale offre un miglioramento secondario e robusto.
  • La Regolarizzazione della Comunicabilità fornisce raffinamenti selettivi e dipendenti dal contesto.
• Sinergia Struttura-Funzione: La ricerca mostra che combinare l'inizializzazione funzionale con le coordinate spaziali reali e i vincoli di comunicabilità porta a reti che sono non solo più accurate, ma convergono anche verso topologie a bassa entropia, modulari e "small-world", caratteristiche delle reti biologiche.
• Robustezza sotto Vincoli di Segno: Gli autori mostrano che l'inizializzazione funzionale stabilizza l'apprendimento anche quando l'architettura ricorrente è vincolata a pesi esclusivamente positivi (mimando un regime di soli eccitatori), una condizione in cui i modelli con inizializzazione casuale falliscono.

Risultati

• Prestazioni del Compito: I modelli completamente vincolati (ad es., $W^*D^*C$ e $W^*D^*C^*$) hanno costantemente superato le baseline e le varianti parzialmente vincolate in tutti e tre i compiti. Ad esempio, nel Task 1, il modello completamente vincolato ha raggiunto un'accuratezza di ~0,985 rispetto a ~0,625 della baseline.
• Approfondimenti dall'Ablazione:
  • Rimuovere l'inizializzazione funzionale ha causato un drastico calo delle prestazioni, particolarmente nei compiti 2 e 3.
  • Sostituire le coordinate reali con una griglia ($D$) ha ridotto significativamente le prestazioni, confermando che la reale geometria corticale agisce come un significativo prior computazionale.
  • La variante con pesi permutati ($W!$) ha ottenuto prestazioni comparabili alla variante strutturata ($W^*$), indicando che la struttura statistica della distribuzione biologica dei pesi è il driver principale, piuttosto che una precisa mappatura neurone-peso.
• Topologia Emergente:
  • Entropia: I modelli biologicamente vincolati sono confluiti verso distribuzioni di peso a bassa entropia (altamente strutturate), mentre le baseline sono rimaste ad alta entropia (simili al caso).
  • Modularità e Small-Worldness: I modelli con regolarizzazione diretta della comunicabilità e coordinate reali hanno sviluppato forti strutture modulari e small-world ($\sigma \approx 1,5–2,5$). Notevolmente, alcune varianti hanno raggiunto bassa entropia e alte prestazioni senza una forte modularità, suggerendo che questi siano esiti distinti ma correlati.
  • Assortatività: L'inizializzazione funzionale ha tendenzialmente spinto le reti verso strutture disassortative (hub-periferia), mentre i vincoli puramente spaziali hanno talvolta portato a strutture assortative (ricche di hub).
• Regime a Solo Positivi: Sotto il vincolo di pesi esclusivamente positivi, i modelli con inizializzazione casuale sono crollati verso una prestazione casuale, mentre i modelli con inizializzazione funzionale hanno mantenuto un'alta accuratezza, dimostrando che i priori biologici possono stabilizzare l'ottimizzazione in spazi di parametri difficili.

Significatività e Rivendicazioni
Il documento sostiene che il "meccanismo della corteccia" — specificamente la sua geometria, il cablaggio e la struttura funzionale — può essere sfruttato come una potente base induttiva per costruire reti ricorrenti. Gli autori argomentano che questi priori fanno molto di più che rendere i modelli "più realistici dal punto di vista biologico"; essi migliorano fondamentalmente l'efficienza e la robustezza dell'apprendimento.

I punti chiave enfatizzati dagli autori includono:

1. Bias Induttivo sopra la Complessità: Un migliore calcolo ricorrente può essere ottenuto non aumentando la dimensione del modello o la complessità dell'architettura, ma rimodellando il panorama dell'ottimizzazione attraverso priori biologicamente fondati.
2. Interdipendenza Struttura-Funzione: Sebbene la struttura anatomica fornisca un'impalcatura, l'informazione funzionale (le relazioni derivate dall'attività) è il vincolo decisivo per specificare la dinamica ricorrente. La struttura da sola non determina univocamente la dinamica; sono necessari i priori funzionali per restringere lo spazio delle soluzioni verso regimi efficaci.
3. Principi di Design per l'IA: Le scoperte suggeriscono che i principi di organizzazione corticale (embedding spaziale, inizializzazione funzionale, economia del cablaggio) sono computazionalmente consequenziali e possono servire come principi di design riutilizzabili per sistemi artificiali, in particolare in domini che richiedono efficienza dei dati e organizzazione interna robusta.

Gli autori mantengono un ambito modesto, riconoscendo limitazioni quali il focus sui neuroni eccitatori, il regime sperimentale specifico dei dati MICrONS e l'uso di misure funzionali statistiche anziché causali. Tuttavia, affermano che i risultati forniscono un supporto empirico diretto all'ipotesi che i microcircuiti corticali siano organizzati attorno a principi di efficienza che possono essere efficacemente trasferiti a reti ricorrenti artificiali.