Riepilogo Tecnico: Apprendimento di Sistemi Parzialmente Osservati con Equazioni Differenziali Ordinarie Hamiltoniane Neurali

Enunciato del Problema

Il documento affronta la sfida di apprendere sistemi dinamici dai dati quando lo stato del sistema è solo parzialmente osservato. In molti scenari fisici, alcune variabili di stato sono inaccessibili alla misurazione, pur influenzando l'evoluzione delle variabili osservate. I modelli standard di apprendimento automatico informati dalla fisica, come le Reti Neurali Hamiltoniane (HNN), richiedono tipicamente l'accesso allo stato completo del sistema (tutte le posizioni e i momenti) e alle loro derivate temporali per definire la funzione di perdita. Questo requisito li rende inapplicabili a contesti parzialmente osservati in cui le variabili latenti devono essere inferite senza supervisione diretta. Al contrario, gli approcci puramente basati sui dati, come le Ordinarie Equazioni Differenziali Neurali standard (Neural ODE), spesso falliscono nel generalizzare o nel mantenere la stabilità in tali contesti, specialmente per sistemi complessi o caotici, poiché mancano dei vincoli fisici necessari a limitare lo spazio delle soluzioni.

Metodologia

Gli autori propongono le Equazioni Differenziali Ordinarie Hamiltoniane Neurali (NHODE), un framework che integra le garanzie strutturali della meccanica hamiltoniana con le procedure di addestramento flessibili delle Neural ODE.

Framework Principale

Il sistema è modellato come un sistema hamiltoniano canonico:
$$\dot{x} = S \nabla H(x)$$
dove $x = (q, p)^T$ rappresenta la posizione e il momento generalizzati, $H$ è l'hamiltoniana (energia totale) e $S$ è la matrice simplettica canonica.

Il framework NHODE si distingue attraverso tre componenti chiave:

1. Addestramento basato su Rollout con Perdita Parziale: A differenza delle HNN standard che calcolano la perdita basandosi sul residuo delle equazioni di Hamilton a ogni passo temporale (richiedendo dati sullo stato completo), NHODE adotta il paradigma di addestramento delle Neural ODE. Il modello integra il campo vettoriale appreso in avanti partendo da una condizione iniziale per generare una traiettoria completa. La funzione di perdita è definita solo sulle componenti osservate dello stato ($x_{obs}$) nei punti temporali dei dati. Le componenti latenti ($x_{hid}$) sono escluse dal calcolo della perdita, il che significa che la loro influenza sull'addestramento è indiretta, mediata esclusivamente dall'evoluzione delle variabili osservate.

2. Inferenza dello Stato Latente: Per inizializzare l'integrazione, il framework impiega un encoder di rete neurale per inferire lo stato iniziale delle variabili non osservate ($x_{hid}(t_0)$) basandosi sulla storia iniziale delle variabili osservate. Questo encoder e la rete hamiltoniana sono addestrati congiuntamente utilizzando una funzione di perdita condivisa.

3. Vincoli Fisici tramite Simmetria e Separabilità: Per vincolare ulteriormente lo spazio delle soluzioni e migliorare la generalizzazione, gli autori incorporano specifici prior fisici:

   • Trasformazioni di Coordinate: Per sistemi con simmetria traslazionale, le coordinate assolute sono trasformate in distanze relative a coppie prima di essere inviate alla rete neurale. Questo impone l'invarianza traslazionale, garantendo la conservazione della quantità di moto lineare.
   • Hamiltoniane Separabili: Il framework supporta modelli in cui l'hamiltoniana è assunta separabile ($H = T(p) + V(q)$) con un termine di energia cinetica noto ($T(p) = p^2/2m$). In questa configurazione, la rete neurale apprende solo l'energia potenziale $V(q)$. Se combinata con coordinate relative, questa formulazione impone anche la conservazione del momento angolare.

Gli autori definiscono due varianti principali del modello:

• NHODEtot: Apprende direttamente l'energia totale tramite una rete neurale.
• NHODEpot: Apprende solo l'energia potenziale, assumendo una forma nota per l'energia cinetica e le masse delle particelle.

Contributi Chiave

1. Nuovo Framework per la Parziale Osservabilità: Il documento introduce NHODE, il primo framework a combinare con successo la struttura hamiltoniana con l'addestramento delle Neural ODE specificamente per gestire sistemi con variabili di stato completamente non osservate.
2. Dimostrazione dei Prior Fisici: Il lavoro dimostra sistematicamente che incorporare la struttura fisica (conservazione dell'energia, conservazione della quantità di moto tramite simmetria) non è semplicemente utile, ma essenziale per apprendere dinamiche stabili in regimi parzialmente osservati, ad alta dimensionalità e caotici.
3. Validazione Empirica su Complessità Crescente: Il metodo è valutato su tre sistemi di complessità crescente:
   • Un sistema lineare 1D a due masse e due molle.
   • Un sistema non lineare 2D triangolare a tre masse e tre molle.
   • Il problema caotico dei tre corpi in 3D.
4. Apprendimento delle Condizioni Iniziali: Il framework si dimostra in grado di inferire efficacemente le condizioni iniziali delle variabili nascoste esclusivamente dalle traiettorie osservate, un compito in cui i baseline puramente basati sui dati falliscono.

Risultati

Gli esperimenti confrontano NHODE con due baseline:

• NODEvanilla: Una Neural ODE standard.
• NODEphys: Una Neural ODE informata dalla fisica che apprende solo le derivate dei momenti.

Risultati:

• Sistemi Lineari: Nel semplice sistema massa-molla 1D, tutti i modelli (inclusi i baseline) performano ragionevolmente bene, sebbene i modelli NHODE mostrino una stabilità leggermente superiore.
• Sistemi Non Lineari: Nel sistema massa-molla non lineare 2D, il divario di performance si amplia. Mentre i modelli NHODE mantengono un errore basso, i baseline iniziano a divergere su orizzonti temporali più lunghi.
• Sistemi Caotici: Nel problema dei tre corpi, la distinzione è netta. I baseline puramente basati sui dati (NODEvanilla) e persino il NODEphys parzialmente informato dalla fisica diventano instabili e divergono rapidamente. Solo il modello NHODE più informato dalla fisica (NHODEpot,rel), che impone la conservazione dell'energia, della quantità di moto lineare e del momento angolare, produce traiettorie stabili e non divergenti su orizzonti temporali lunghi.
• Metriche di Errore: In tutti gli esempi, aumentare la quantità di struttura fisica incorporata (ad esempio, passando da NHODEtot a NHODEpot, o da coordinate assolute a relative) migliora sistematicamente sia l'accuratezza della previsione sia la stabilità su orizzonti temporali lunghi.

Significato e Affermazioni

Il documento afferma che il suo contributo principale è dimostrare che la conoscenza fisica incorporata in un modello di apprendimento automatico permette l'apprendimento accurato sia delle parti osservate che di quelle latenti di un sistema parzialmente osservato, un compito in cui i metodi puramente basati sui dati falliscono.

Gli autori sottolineano che, sebbene le dinamiche latenti potrebbero non essere univocamente identificabili senza informazioni aggiuntive (come parametri di sistema noti), il framework NHODE apprende uno stato latente che è fisicamente coerente e produce previsioni accurate per le variabili osservate. Il lavoro evidenzia che nei regimi caotici, dove piccole perturbazioni portano a una divergenza esponenziale, l'incorporazione di forti prior fisici (leggi di conservazione) è critica per impedire che le dinamiche apprese "esplodano", estendendo così la finestra di previsione utile.

Il documento conclude che il framework NHODE è uno strumento generalizzabile per contesti in cui i sistemi dinamici sono parzialmente osservati, la struttura fisica è nota e sono richieste previsioni temporali stabili, come nel monitoraggio industriale, nella robotica e negli esperimenti scientifici con accesso limitato ai sensori.