Parameter and hidden-state inference in mean-field models from partial observations of finite-size neural networks

Il lavoro propone un metodo per stimare i parametri e ricostruire le variabili macroscopiche nascoste di reti neurali finite partendo dall'osservazione di una singola variabile scalare, utilizzando algoritmi di evoluzione differenziale e tecniche di sincronizzazione per superare l'incertezza sulle condizioni iniziali.

L'essenziale

Il Grande Mistero del Coro: Come "ascoltare" il pensiero di una folla senza vedere ogni singola persona

Immaginate di trovarvi in uno stadio enorme durante una partita di calcio. Ci sono 50.000 persone. Ognuna di loro sta urlando, cantando o commentando l'azione. Questo è il nostro "sistema neurale": un insieme gigantesco di individui (i neuroni) che interagiscono tra loro.

Ora, immaginate di essere un osservatore esterno che si trova fuori dallo stadio, dietro un muro altissimo. Non potete vedere i singoli tifosi, non potete sentire le singole voci. Potete solo sentire un unico, confuso, ma costante "mormorio di fondo" che esce dalle fessure del muro.

Il problema scientifico è questo:

1. Sappiamo che quel mormorio è causato da regole precise (ad esempio: "se la squadra segna, tutti urlano insieme").
2. Vogliamo capire quali sono le "regole del gioco" (i parametri) che fanno comportare la folla in quel modo.
3. Vogliamo anche capire cosa sta succedendo "dentro" lo stadio (le variabili nascoste), come ad esempio il livello di eccitazione generale, che non possiamo misurare direttamente.

Il problema è che il mormorio che sentiamo è "sporco": è influenzato dal fatto che lo stadio non è infinito (ci sono solo 50.000 persone, non un milione) e ci sono sempre piccoli rumori casuali.

---

La Soluzione degli Autori: Il "Direttore d'Orchestra Virtuale"

Gli scienziati Ratas e Pyragas hanno ideato un metodo per risolvere questo enigma. Invece di cercare di indovinare tutto a caso, hanno usato un approccio in due fasi:

1. Creare un "Modello Fantasma" (Il Simulatore)

Invece di studiare i 50.000 tifosi reali, gli scienziati creano un modello matematico, una sorta di "stadio virtuale" su un computer. Questo modello è come una partitura musicale: dice come dovrebbe suonare il mormorio se le regole fossero certe.

2. Il Trucco della Sincronizzazione (L'Allenamento)

Qui arriva la parte geniale. Se provi a far suonare il tuo "stadio virtuale" per far coincidere il suono con quello reale, potresti fallire perché il tuo modello parte con un ritmo sbagliato.

Per risolvere questo, gli autori usano due tecniche di "sincronizzazione":

• Il Metodo Non-Invasivo (L'Eco): È come se il tuo stadio virtuale avesse dei microfoni che ascoltano il mormorio reale e, ogni volta che il ritmo devia, il modello si corregge da solo per "agganciarsi" al suono vero.
• Il Metodo Invasivo (Il Metronomo): È come se mandassimo un segnale ritmico (un battito di tamburo) sia allo stadio reale che a quello virtuale. Questo costringe entrambi a seguire lo stesso ritmo, rendendo molto più facile confrontarli.

3. L'Algoritmo "Evolutivo" (La Selezione Naturale)

Per trovare i parametri giusti (le regole del gioco), usano un algoritmo chiamato Differential Evolution. Immaginate di lanciare mille piccoli "direttori d'orchestra virtuali" nello stadio. Quelli che producono un suono più simile al mormorio reale sopravvivono e "si riproducono", creando nuovi direttori d'orchestra ancora più precisi. Dopo molte generazioni, rimarrà solo il direttore perfetto.

---

Quali sono i risultati?

Gli scienziati hanno testato questo metodo su due tipi di "folle" virtuali:

1. Una folla che canta in modo ritmico e regolare (come un coro organizzato).
2. Una folla che urla in modo caotico e imprevedibile (come una rissa o un momento di panico).

Il verdetto? Anche se potevano sentire solo un unico segnale (il "mormorio"), sono riusciti a indovinare le regole del gioco con una precisione superiore al 99%! E cosa ancora più incredibile, sono riusciti a ricostruire i dati che non potevano vedere (le variabili nascoste), come l'energia interna della folla.

In parole povere: perché è importante?

Questo studio ci dice che, anche se non possiamo monitorare ogni singolo neurone nel cervello umano (sarebbe impossibile!), possiamo usare i "rumori" che il cervello emette per capire con estrema precisione come funziona la macchina biologica sottostante. È come imparare a conoscere la meccanica di un motore ascoltando solo il suo rumore mentre corre.

Sommario tecnico

Titolo del lavoro

Inferenza di parametri e stati nascosti in modelli a campo medio da osservazioni parziali di reti neurali di dimensione finita.

---

1. Il Problema (Problem Statement)

La modellazione diretta di reti neurali biologiche a livello microscopico (miliardi di neuroni e sinapsi) è computazionalmente proibitiva. Per ovviare a ciò, si utilizzano modelli di massa neurale a bassa dimensione che descrivono l'attività collettiva tramite variabili macroscopiche (es. potenziale di membrana medio o tasso di scarica medio).

Tuttavia, sorgono tre sfide principali:

1. Incompletezza delle osservazioni: In contesti sperimentali, spesso è possibile misurare solo una singola variabile scalare (osservabile), mentre le altre variabili macroscopiche che guidano la dinamica rimangono "nascoste".
2. Incertezza dei parametri: I parametri che governano le equazioni del campo medio sono spesso ignoti.
3. Effetti di dimensione finita: I modelli di campo medio sono esatti solo nel limite termodinamico ($N \to \infty$). Nelle reti reali di dimensione finita, il "rumore" dovuto alla dimensione finita rende impossibile un adattamento perfetto della traiettoria.
4. Sensibilità alle condizioni iniziali: In regimi caotici, l'incertezza sulle condizioni iniziali delle variabili nascoste rende l'inferenza estremamente difficile.

2. Metodologia

Gli autori propongono un framework per stimare i parametri di un modello di campo medio noto e ricostruire le dinamiche delle variabili nascoste partendo da una singola serie temporale osservata.

A. Strategie di Sincronizzazione

Per eliminare la dipendenza della funzione di perdita (loss function) dalle incognite condizioni iniziali delle variabili nascoste, gli autori utilizzano il fenomeno della sincronizzazione. L'idea è far sì che il modello di campo medio "dimentichi" il suo stato iniziale e segua la dinamica dell'osservabile. Vengono proposte due tecniche:

• Metodo Non-invasivo: Utilizza uno schema di controllo master-slave. Si aggiunge un termine di feedback (guadagno $K$) all'equazione della variabile osservata nel modello di campo medio, guidandola verso il segnale misurato senza alterare la rete neurale reale.
• Metodo Invasivo: Introduce una perturbazione esterna periodica (corrente $I_{ext}(t)$) comune sia alla rete reale che al modello di campo medio, forzandoli in una regione di sincronizzazione (regioni di Arnold).

B. Algoritmo di Ottimizzazione

Per la minimizzazione della funzione di perdita, viene utilizzato l'algoritmo di Evoluzione Differenziale (DE). Si tratta di un metodo di ottimizzazione globale basato su popolazione, privo di derivate, scelto per la sua efficienza in spazi di parametri ad alta dimensionalità e la sua robustezza rispetto al rumore.

C. Modelli di Test

Il framework è testato su due classi di reti di neuroni Quadratic Integrate-and-Fire (QIF):

1. QIF-IN: Una popolazione inibitoria che mostra oscillazioni collettive periodiche.
2. QIF-AD: Una popolazione eccitatoria con adattamento della frequenza di scarica, che mostra dinamiche collettive caotiche.

3. Risultati Principali

• Accuratezza dell'inferenza: Per entrambi i modelli, l'errore relativo nella stima dei parametri scende sotto l'1% quando la dimensione della rete supera i 1000 neuroni.
• Ricostruzione degli stati nascosti: Il metodo è riuscito a ricostruire con successo le dinamiche delle variabili macroscopiche non osservate (come il tasso di scarica $R$ o la variabile di adattamento $A$), sia in regimi periodici che caotici.
• Impatto della dimensione della rete: All'aumentare di $N$, l'errore della funzione di perdita diminuisce progressivamente, poiché l'influenza del rumore di dimensione finita si riduce, avvicinando la rete reale al limite termodinamico.
• Confronto tra metodi: Il metodo invasivo ha mostrato una distribuzione degli errori leggermente più stretta (maggiore robustezza) rispetto al metodo non-invasivo.

4. Significato e Contributi (Significance)

Il lavoro fornisce una base metodologica solida per la neuroscienza computazionale "data-driven". I contributi chiave sono:

1. Superamento dell'osservabilità parziale: Dimostra che è possibile comprendere la dinamica completa di un sistema complesso osservando solo una frazione minima della sua attività.
2. Gestione del caos: L'integrazione di tecniche di sincronizzazione con algoritmi evolutivi risolve il problema della sensibilità alle condizioni iniziali tipica dei sistemi caotici.
3. Versatilità: Il framework può essere esteso a modelli di popolazione di "prossima generazione" (NGNPM) e potenzialmente utilizzato per scoprire nuove equazioni governanti tramite tecniche come SINDy (Sparse Identification of Nonlinear Dynamics).