Riepilogo Tecnico: Codifica Predittiva Generalizzata Online

Enunciato del Problema

Il documento affronta la sfida della stima tripla online in ambienti dinamici. Nel contesto del calcolo ispirato al cervello, ciò comporta l'esecuzione simultanea di tre compiti in tempo reale man mano che arrivano i dati sensoriali:

1. Inferenza dello stato nascosto online: Stima degli stati dinamici latenti del mondo.
2. Apprendimento dei parametri online: Inferenza dei parametri sconosciuti del modello generativo (GM).
3. Stima dell'incertezza online: Stima della precisione (varianza inversa) del rumore di stato e di osservazione.

La difficoltà principale risiede nella natura online del problema: a differenza degli schemi offline che possono riesaminare l'intera serie temporale per convergere su una soluzione, un sistema online deve elaborare ogni dato esattamente una volta. Non può affinare iterativamente stati interni o parametri prima dell'arrivo della successiva osservazione. Ciò necessita di schemi computazionali capaci di aggiornamenti rapidi e accurati sotto vincoli temporali rigorosi, in particolare quando la forma funzionale del vero processo generativo (GP) differisce dal modello utilizzato per l'inferenza.

Metodologia

Quadro Teorico

Il metodo proposto, Massimizzazione Aspettativa Dinamica Online (ODEM), è fondato sul Principio dell'Energia Libera (FEP) e sull'Inferenza Variazionale (VI). Inquadra la percezione come la minimizzazione dell'Energia Libera Variazionale (VFE), che funge da limite superiore per la prova negativa del modello. La VFE è scomposta in un termine di accuratezza (adattamento ai dati) e un termine di complessità (penalizzazione della divergenza dalle credenze a priori), aderendo al rasoio di Occam.

Per rendere la VFE trattabile per le dinamiche a tempo continuo, gli autori impiegano l'approssimazione di Laplace, approssimando la distribuzione a posteriori con una Gaussiana. Ciò riduce la VFE a una somma di errori di predizione ponderati per la precisione.

Coordinate Generalizzate del Moto (GCM)

Un componente fondamentale dell'ODEM è l'uso delle Coordinate Generalizzate del Moto (GCM). Invece di modellare solo la posizione degli stati nascosti ($x_t$), il modello inferisce un vettore di derivate temporali di ordine superiore (velocità, accelerazione, jerk, ecc.): $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$.

• Ciò permette al modello di catturare le dinamiche fluide del sistema senza richiedere densità di transizione in forma chiusa o simulazioni Monte Carlo (a differenza dei filtri di Kalman o delle particelle).
• Il modello assume che le fluttuazioni casuali nel GP possiedano un grado di fluidità, rilassando l'assunzione standard del processo di Wiener.
• Le osservazioni generalizzate ($\tilde{y}_t$) sono costruite approssimando le derivate di ordine superiore dell'input sensoriale tramite differenze finite.

Separazione delle Scale Temporali

L'ODEM implementa una cruciale separazione delle scale temporali, ispirata alla Sinergetica di Haken, per gestire i tre compiti di stima:

1. Passo D veloce (Inferenza dello Stato): Avviene ad ogni osservazione. Aggiorna continuamente gli stati nascosti utilizzando la minimizzazione basata sul gradiente della VFE, regolarizzata dalla curvatura della superficie della VFE (schema di Ozaki). Questo traccia gli stati esterni in rapido movimento.
2. Passo E lento (Apprendimento dei Parametri): Avviene meno frequentemente (ogni interEM osservazioni). Aggiorna i parametri del modello ($\theta$) utilizzando gradienti accumulati su una finestra di dati. Ciò riflette la scala temporale più lenta della plasticità sinaptica o dei contesti mutevoli.
3. Passo M lento (Stima dell'Incertezza/Precisione): Avviene alla stessa scala temporale lenta del passo E. Aggiorna gli iperparametri di precisione ($\lambda$) per il rumore di stato e di osservazione. Ciò è interpretato come un meccanismo attentivo, modulando la ponderazione degli errori di predizione.

Algoritmo

L'algoritmo ODEM itera attraverso le osservazioni $y_t$:

1. Generalizza l'osservazione in $\tilde{y}_t$.
2. Esegue il passo D: Aggiorna la media del posteriore dello stato ($\tilde{\mu}_x$) utilizzando una regola di aggiornamento basata sulla Jacobiana.
3. Accumula gradienti per parametri e precisioni.
4. A intervalli definiti da interEM, esegue il passo E e il passo M: Aggiorna le medie e le covarianze dei posteriori dei parametri ($\theta$) e della precisione ($\lambda$) utilizzando i tassi di apprendimento di Robbins-Monro, quindi resetta gli accumulatori di gradiente.

Contributi Chiave

1. Algoritmo ODEM: L'introduzione di una variante online dell'algoritmo di Massimizzazione Aspettativa Dinamica (DEM), specificamente progettato per la stima tripla in sistemi non lineari, potenzialmente caotici.
2. Implementazione della Codifica Predittiva Generalizzata: Un'implementazione in Python/PyTorch dell'ODEM che utilizza le GCM per modellare le dinamiche senza densità di transizione in forma chiusa.
3. Robustezza al Disallineamento del Modello: Dimostrazione che l'ODEM può tracciare con successo stati latenti anche quando la forma funzionale del GM differisce fondamentalmente dal GP (ad esempio, utilizzando un modello di Lorenz per inferire un processo Generalizzato di Lotka-Volterra), a condizione che vengano utilizzati ordini superiori del moto.

Risultati Sperimentali

Gli autori hanno validato l'ODEM utilizzando un processo generativo (GP) Generalizzato di Lotka-Volterra (GLV) con rumore fluido e correlato. Hanno testato due GM:

• Scenario-Stesso: Un GM-GLV (corrispondente al GP).
• Scenario-Diverso: Un GM-Lorenz (forma funzionale disallineata).

Risultati Chiave:

• Impatto dell'Ordine GCM: L'aumento dell'ordine del moto ($k_x$) da 2 a 3 ha migliorato significativamente le prestazioni di tracciamento, in particolare nel caso Scenario-Diverso. Con $k_x=2$, il GM-Lorenz faticava a tracciare il GP-GLV; con $k_x=3$, il tracciamento è migliorato sostanzialmente. Nel caso Scenario-Stesso, il GM-GLV ha funzionato bene con entrambi gli ordini, suggerendo che le GCM sono più critiche quando le assunzioni strutturali non corrispondono.
• Convergenza: Le stime a posteriori per i parametri ($\mu_\theta$) e le precisioni ($\mu_\lambda$) si sono stabilizzate nel tempo. L'incertezza (intervalli di credibilità) attorno alle stime dei parametri si è ridotta più rapidamente con ordini superiori del moto.
• Azione Libera (FA): I valori di FA (un proxy per la prova del modello) erano più bassi per lo Scenario-Stesso (GM-GLV) rispetto allo Scenario-Diverso (GM-Lorenz). Sebbene ordini superiori del moto migliorassero l'accuratezza, aumentavano anche la complessità, risultando in valori FA complessivi simili tra gli ordini.
• Sensibilità al Rapporto di Precisione: Le prestazioni erano altamente sensibili al rapporto di precisione a priori $C$ (il rapporto tra la precisione attesa del rumore di osservazione e la precisione del rumore di stato), evidenziando l'importanza di sintonizzare la fiducia relativa nei dati sensoriali rispetto alle dinamiche interne.

Significato e Affermazioni

Il documento afferma che l'ODEM offre una soluzione ispirata biologicamente all'inferenza online, all'apprendimento e alla stima dell'incertezza. Separando le scale temporali, imita la capacità del cervello di eseguire una rapida stima dello stato (dinamiche neuronali veloci) adattando simultaneamente parametri più lenti (plasticità sinaptica) e l'attenzione (neuromodulazione).

Gli autori affermano che l'ODEM fornisce un framework scalabile per studiare l'inferenza adattiva sia in agenti biologici che artificiali. Crucialmente, dimostrano che l'inferenza nelle Coordinate Generalizzate del Moto permette a un modello di tracciare dinamiche complesse e non lineari anche quando le assunzioni strutturali del modello differiscono dal vero processo generativo, a condizione che il modello possa catturare la fluidità delle dinamiche attraverso derivate di ordine superiore. Il lavoro colma il divario tra codifica predittiva, inferenza variazionale e modellazione di sistemi dinamici online, offrendo un metodo che non richiede ottimizzazione batch o livellamento retrospettivo.