🧬 biology

Self-orthogonalizing attractor neural networks emerging from the free energy principle

Questo articolo dimostra che le reti neurali ad attrattore auto-ortogonalizzanti emergono naturalmente dal principio dell'energia libera applicato a sistemi dinamici casuali, producendo dinamiche di inferenza attiva bayesiana biologicamente plausibili e multilivello che ottimizzano l'accuratezza predittiva e la complessità del modello senza richiedere regole di apprendimento esplicitamente imposte.

Autori originali: Tamas Spisak, Karl Friston

Pubblicato 2026-05-22

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tamas Spisak, Karl Friston

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Immagina il tuo cervello (o un computer intelligente) come una vasta e vivace città. In questa città, ci sono milioni di piccoli lavoratori (neuroni) che parlano costantemente tra loro. Di solito, pensiamo che questi lavoratori abbiano bisogno di un capo che dica loro cosa fare o di un insegnante che mostri loro come imparare. Ma questo articolo propone qualcosa di diverso: la città si organizza da sola.

Gli autori, Tamas Spisak e Karl Friston, utilizzano un'idea fondamentale chiamata Principio dell'Energia Libera per spiegare come avviene questa auto-organizzazione. Pensa all'"Energia Libera" non come a una batteria, ma come a una misura della sorpresa. Se la città è costantemente sorpresa da ciò che accade all'esterno (come un'improvvisa tempesta o un nuovo edificio), si trova in uno stato di alta "energia libera". Per sopravvivere e rimanere stabile, la città vuole minimizzare questa sorpresa.

Ecco come l'articolo spiega la magia di questa città auto-organizzata, scomposta in concetti semplici:

1. La città "Auto-organizzata"

Immagina uno stormo di uccelli. Nessun singolo uccello è il leader che dice agli altri dove volare. Invece, ogni uccello segue semplicemente regole locali semplici (stai vicino ai vicini, non schiantarti). Eppure, l'intero stormo si muove come una singola, bella unità coordinata.

Questo articolo afferma che il cervello funziona allo stesso modo. Non ha bisogno di un programmatore centrale per impostare le sue regole di apprendimento. Invece, ogni piccola parte della rete cerca di ridurre la propria "sorpresa" prevedendo ciò che fanno i suoi vicini. Quando tutti lo fanno localmente, emerge un pattern globale. Questi pattern sono chiamati Attrattori.

L'Analogia: Pensa a un attrattore come a una valle in un paesaggio collinare. Se fai rotolare una palla (un pensiero o un ricordo) ovunque sulla collina, cadrà naturalmente nella valle più vicina e rimarrà lì. Il cervello crea queste "valli" per le cose che riconosce, come un volto o una parola.

2. Il Trucco Magico: "Auto-ortogonalizzazione"

La scoperta più entusiasmante di questo articolo è il modo in cui queste "valli" (attrattori) si dispongono.

Di solito, se insegni a un computer a riconoscere due cose simili (come le lettere "O" e "Q"), potrebbe confondersi perché i pattern si assomigliano troppo. Ma questo articolo mostra che il sistema auto-organizzato del cervello spinge naturalmente questi pattern fino a renderli ortogonali.

L'Analogia: Immagina di avere una serie di torce in una stanza buia.

Cattiva Organizzazione: Punti tutte le torce sullo stesso punto. I fasci si sovrappongono ed è difficile capire quale luce sia quale.
Organizzazione Ortogonale: L'articolo dice che il cervello inclina automaticamente le torce in modo che puntino in direzioni completamente diverse (come gli assi X, Y e Z). Non si sovrappongono.

Facendo questo, il cervello crea una mappa "pulita" del mondo. Impara a memorizzare i ricordi in modo che non si offuschino a vicenda. Questo lo rende incredibilmente bravo nel generalizzare: se vedi una "O" leggermente sfocata, il cervello sa esattamente in quale "valle" rotolare perché la valle della "O" è perfettamente distinta dalla valle della "Q".

3. Imparare Senza un Insegnante

Come fa la città a imparare questi pattern? L'articolo descrive una regola semplice e locale che avviene automaticamente:

Apprendimento Hebbiano (La Regola "Sì"): Se due lavoratori parlano spesso tra loro, si avvicinano.
Apprendimento Anti-Hebbiano (La Regola "No"): Se i lavoratori stanno già spiegando cosa sta succedendo, smettono di rafforzarsi a vicenda per evitare ridondanza.

L'Analogia: Immagina un gruppo di amici che cercano di descrivere un film.

Se due amici dicono la stessa cosa, smettono di ripeterla (per risparmiare energia).
Se un amico dice qualcosa di nuovo che gli altri non avevano previsto, gli prestano attenzione.
Col tempo, il gruppo crea un riassunto perfetto e non ridondante del film in cui ogni amico contribuisce con un pezzo unico del puzzle. È così che la rete impara a essere efficiente ed evita l'"oblio catastrofico" (dimenticare le cose vecchie quando se ne imparano di nuove) perché le "valli" sono così ben organizzate da non schiantarsi l'una contro l'altra.

4. Sogni e Sequenze

L'articolo mostra anche cosa succede quando i dati arrivano in un ordine specifico (come una storia o una sequenza di numeri).

Dati Casuali: La rete costruisce "valli" stabili e statiche (come riconoscere un volto).
Dati Sequenziali: La rete costruisce percorsi tra le valli.

L'Analogia: Se insegni alla rete la sequenza "1, 2, 3", non memorizza semplicemente tre valli separate. Costruisce uno scivolo che scorre naturalmente dalla valle "1" alla valle "2", e poi alla valle "3". Anche se spegni le luci (rimuovi l'input), la rete può "sognare" o "riprodurre" questa sequenza da sola, rotolando da 1 a 2 a 3 automaticamente. È così che il cervello potrebbe imparare a camminare, parlare o ricordare una storia in ordine.

5. Perché Questo È Importante per l'IA e i Cervelli

L'articolo afferma che questo non è solo un trucco matematico interessante; è un modo fondamentale in cui funziona la natura.

Per i Cervelli: Spiega come il cervello possa essere così robusto. Anche se hai input rumorosi e sfocati (come vedere un volto nella nebbia), le "valli" del cervello sono così ben organizzate che può ancora indovinare la risposta giusta. Spiega anche perché non dimentichiamo i vecchi ricordi quando ne impariamo di nuovi: le "valli" sono distanziate perfettamente.
Per l'IA: L'IA attuale ha spesso bisogno di enormi quantità di dati e istruzioni specifiche per imparare. Questo articolo suggerisce che se costruiamo un'IA che segue queste regole di auto-organizzazione, potrebbe imparare in modo più efficiente, gestire meglio il rumore e ricordare le cose più a lungo senza bisogno che un umano la riaddestri costantemente.

Riassunto

In breve, questo articolo sostiene che non è necessario programmare un cervello o un'IA intelligente con regole complesse. Se gli dai semplicemente un obiettivo semplice: minimizzare la sorpresa, si organizzerà naturalmente in un sistema altamente efficiente. Creerà ricordi distinti e non sovrapposti (attrattori ortogonali), imparerà sequenze come una storia e persino "sognerà" per rafforzare ciò che ha imparato, tutto da solo.

Riepilogo Tecnico: Reti Neurali Attrattore Auto-Ortogonalizzanti Emergenti dal Principio di Energia Libera

Enunciato del Problema
La dinamica attrattore è fondamentale per i sistemi complessi, incluso il cervello, fungendo da meccanismo per la memoria, il processo decisionale e il controllo motorio. Tuttavia, esiste un divario fondamentale nella comprensione di come tali reti attrattore auto-organizzanti emergano da primi principi senza regole di apprendimento o inferenza esplicitamente imposte. I modelli tradizionali si basano spesso su regole di apprendimento ad hoc (ad esempio, apprendimento hebbiano, divergenza contrastiva) che mancano di una derivazione unificata dai vincoli termodinamici o inferenziali che governano i sistemi biologici. Il lavoro affronta la necessità di derivare l'auto-organizzazione adattiva – in cui una rete non solo opera come sistema attrattore ma si "costruisce" attraverso interazioni locali – dal Principio di Energia Libera (FEP).

Metodologia
Gli autori formalizzano l'emergere di reti attrattore applicando il Principio di Energia Libera a una "partizione universale" di sistemi dinamici casuali, utilizzando specificamente il concetto di partizioni particolari profonde.

Quadro Teorico:
- Partizioni Particolari Profonde: Il sistema è decomposto in una gerarchia di "subparticelle" (unità microscopiche), ciascuna dotata di stati interni ( $\sigma_i$ ), stati sensoriali ( $s_{ij}$ ) e stati attivi ( $a_{ij}$ ). Queste subparticelle sono separate dagli stati esterni da un involucro di Markov, garantendo l'indipendenza condizionale ( $\sigma_i \perp \sigma_j | s_{ij}, a_{ij}$ ).
- Modello Generativo: Gli stati interni sono modellati come variabili Bernoulli continue (distribuzioni esponenziali troncate) con bias a priori. L'accoppiamento tra le subparticelle è definito da una matrice di pesi $J$ .
- Minimizzazione dell'Energia Libera Variazionale (VFE): La derivazione centrale assume che, per persistere, il sistema debba minimizzare l'energia libera variazionale. Questa minimizzazione viene eseguita localmente a ogni nodo (subparticella) riguardo ai suoi stati interni e accoppiamenti.
Derivazione delle Dinamiche:
- Inferenza: La minimizzazione della VFE rispetto agli stati interni produce una regola di aggiornamento stocastica. Il valore atteso dello stato segue una funzione di Langevin (un'attivazione sigmoide), guidata dalla somma di un bias a priori e di ingressi ponderati dai vicini. Ciò risulta in un comportamento di rete di Hopfield stocastica a stato continuo.
- Apprendimento: La minimizzazione della VFE rispetto agli accoppiamenti (pesi) produce una regola di apprendimento locale. Questa regola assume la forma di un aggiornamento contrastivo: $\Delta J_{ij} \propto \sigma_i \sigma_j - \hat{\sigma}_i \sigma_j$ . Il primo termine è hebbiano (potenziamento basato sulla correlazione), mentre il secondo è anti-hebbiano (depressione basata sull'errore predittivo). Crucialmente, questa regola non richiede fasi separate "bloccate" e "in esecuzione libera" (a differenza della Divergenza Contrastiva) ma utilizza correlazioni istantanee.
Protocollo di Simulazione:
- Gli autori hanno implementato le regole derivate in Python e JAX.
- Simulazioni 1–2: Addestrate su pattern correlati (immagini di cifre scritte a mano) per testare l'ortogonalizzazione e la generalizzazione sotto precisione variabile (temperatura inversa) e forza dell'evidenza.
- Simulazione 3: Addestrata su dati sequenziali per testare l'emergere di accoppiamenti asimmetrici e dinamiche sequenziali.
- Simulazione 4: Ha testato la resistenza all'oblio catastrofico tramite attività spontanea "in esecuzione libera" (bias zero).
- Simulazione 5: Ha valutato la scalabilità e la capacità di memoria fino a 50.000 nodi.
- Simulazione 6: Applicata al dataset Olivetti faces (4096 nodi) per testare le prestazioni su dati naturalistici ad alta dimensionalità.

Contributi Chiave

Derivazione di Regole Auto-Organizzanti: Il lavoro dimostra che le reti attrattore, incluse le loro dinamiche di apprendimento e inferenza, emergono naturalmente dal FEP applicato a partizioni particolari profonde, eliminando la necessità di regole di apprendimento imposte esternamente.
Auto-Ortogonalizzazione Emergente: Una scoperta centrale è che la regola di apprendimento derivata guida intrinsecamente la rete verso rappresentazioni attrattore approssimativamente ortogonali. Minimizzando la complessità del modello (ridondanza) insieme all'accuratezza predittiva, la rete penalizza gli attrattori sovrapposti. Ciò risulta in un insieme di attrattori che coprono efficientemente il sottospazio di ingresso, assomigliando alle "reti neurali proiettore" (Kanter-Sompolinsky) che offrono la massima capacità di memoria.
Inferenza e Apprendimento Unificati: Il quadro unifica inferenza e apprendimento come due facce della minimizzazione della VFE. L'inferenza aggiorna gli stati per adattarsi all'evidenza, mentre l'apprendimento aggiorna gli accoppiamenti per minimizzare la sorpresa futura, tutto ciò avvenendo simultaneamente in un regime di apprendimento continuo.
Generalizzazione delle Macchine di Boltzmann: Le reti derivate generalizzano le macchine di Boltzmann convenzionali.
- Con dati casuali, convergono verso accoppiamenti simmetrici (simili a Boltzmann).
- Con dati sequenziali, sviluppano accoppiamenti antisimmetrici, creando dinamiche di stato stazionario non in equilibrio (NESS) con flussi solenoidali (rotazionali). Ciò permette alla rete di apprendere e richiamare sequenze temporali (cicli eteroclini) senza alterare la distribuzione stazionaria del paesaggio energetico sottostante.
Robustezza all'Oblio Catastrofico: La natura stocastica delle dinamiche permette alla rete di "riprodurre" spontaneamente gli attrattori durante le fasi di esecuzione libera. Questa attività rafforza gli attrattori esistenti, prevenendo la perdita di rappresentazioni apprese quando vengono introdotti nuovi dati, mitigando efficacemente l'oblio catastrofico.

Risultati

Formazione di Basi Ortogonali: Le simulazioni hanno confermato che, quando addestrate su input correlati, gli attrattori della rete diventano approssimativamente ortogonali (ad esempio, riducendo la correlazione da $r=0.77$ a $r=-0.19$ ). Questa ortogonalizzazione è stata più efficace in un "regime bilanciato" di precisione intermedia.
Generalizzazione: Gli attrattori ortogonalizzati hanno permesso alla rete di generalizzare a dati non visti (apprendimento one-shot) combinando stati di base quasi ortogonali, superando le reti di Hopfield standard nei compiti di ricostruzione da input rumorosi.
Apprendimento di Sequenze: Quando esposta a dati sequenziali, la matrice di accoppiamento ha sviluppato una componente antisimmetrica significativa. Ciò ha permesso alla rete di generare spontaneamente la sequenza appresa (1→2→3→...) in assenza di input esterno, guidata da correnti di probabilità lungo i contorni iso-energetici.
Scalabilità e Capacità: La rete ha dimostrato capacità di memoria sostanzialmente superiori al limite classico di Hopfield ( $\sim 0.14N$ ), avvicinandosi al limite della rete proiettore ( $K \approx N$ ) grazie all'ortogonalizzazione emergente. La scalabilità del tempo di esecuzione è stata confermata essere $O(N^2)$ , coerente con la complessità analitica.
Riconoscimento Facciale: Sul dataset Olivetti faces, la rete ha ricostruito con successo le identità da input fortemente corrotti integrando evidenze sensoriali rumorose con priori basati su attrattori appresi, dimostrando un'inferenza bayesiana robusta.

Significato e Affermazioni

Il lavoro afferma di fornire una teoria unificante per le reti attrattore auto-organizzanti che colma il divario tra neuroscienze e intelligenza artificiale.

Per le Neuroscienze: I risultati offrono una spiegazione normativa del perché le reti neurali biologiche potrebbero esibire plasticità hebbiana/anti-hebbiana, attività spontanea e rappresentazioni ortogonali. Suggerisce che la capacità del cervello di eseguire inferenza attiva e mantenere memorie stabili senza programmazione esplicita deriva dall'imperativo fondamentale di minimizzare l'energia libera. L'emergere di attrattori ortogonali è proposto come una firma dei sistemi guidati dal FEP, potenzialmente rilevabile in dati cerebrali su larga scala (ad esempio, reti a riposo).
Per l'Intelligenza Artificiale: Il quadro offre un'alternativa principiale alla retropropagazione e alla divergenza contrastiva. Abilita l'apprendimento continuo e la resistenza all'oblio catastrofico attraverso dinamiche spontanee. La regola di apprendimento derivata è computazionalmente efficiente (nessuna fase di esecuzione libera) e supporta naturalmente l'apprendimento di sequenze e la generalizzazione.
Implicazioni Teoriche: Il lavoro postula che la separazione della matrice di accoppiamento in componenti simmetriche (percezione/minimizzazione dell'energia) e antisimmetriche (azione/pianificazione/flusso solenoidale) possa riflettere una corrispondenza formale più profonda con i duali obiettivi del FEP.

Gli autori mantengono una posizione modesta riguardo alle limitazioni, riconoscendo che l'ingombro di memoria $O(N^2)$ è proibitivo per reti molto grandi senza approssimazioni sparse, e che le attuali simulazioni sono limitate ad architetture a singolo strato. Suggeriscono che il lavoro futuro dovrebbe esplorare partizioni profonde gerarchiche e l'implementazione su hardware termodinamico o memristivo per sfruttare la natura locale e stocastica degli aggiornamenti.