Sintesi Tecnica: Sbloccare la Generalizzazione Temporale nei Modelli di Dinamica Video Hamiltoniana

Definizione del Problema

Gli attuali modelli del mondo operano prevalentemente su griglie a tempo discreto con una dimensione del passo (step size) fissa incorporata nella loro architettura. Sebbene efficaci alla loro risoluzione di addestramento, questi modelli mancano di meccanismi per generalizzare attraverso risoluzioni temporali variabili. Questa limitazione ostacola applicazioni che richiedono una pianificazione gerarchica (scale temporali grossolane e fini), il trasferimento sim-to-real (dove le velocità di simulazione e di controllo differiscono) e motori scientifici che devono interrogare la dinamica a molteplici scale temporali.

Sebbene le Neural ODE offrano un'alternativa a tempo continuo parametrizzando la dinamica come un campo vettoriale, esse spesso mancano di bias induttivi fisici, portando all'instabilità in rollout a lungo termine a causa della violazione delle leggi di conservazione. Le Hamiltonian Generative Networks (HGN) affrontano questo problema radicando le previsioni in una funzione di energia a tempo continuo, consentendo teoricamente l'indipendenza dal frame rate. Tuttavia, nella pratica, le HGN non riescono a mantenere la generalizzazione temporale in ambienti non conservativi (forzati esternamente, dissipativi) quando valutate con step size più grandi di quelli visti durante l'addestramento. I specifici modi di fallimento e i relativi rimedi in tali contesti non sono stati sistematicamente caratterizzati.

Metodologia

Gli autori estendono l'architettura della Hamiltonian Generative Network (HGN) per gestire ambienti dissipativi ed esternamente forzati utilizzando una struttura Port-Hamiltonian. Il modello consiste in:

1. Encoder/Decoder: Un encoder convoluzionale mappa i frame dei pixel allo stato dello spazio delle fasi latente $(q, p)$ (posizione e momento). Un decoder ricostruisce le immagini dalle coordinate di posizione $q$.
2. Predittore Port-Hamiltoniano: La dinamica è governata dalle equazioni:
   $$\dot{q} = \frac{\partial H}{\partial p}, \quad \dot{p} = -\frac{\partial H}{\partial q} - \gamma \frac{\partial H}{\partial p} + G(a)$$
   Dove $H(q, p)$ è un'Hamiltoniana separabile appresa, $\gamma$ è un coefficiente di smorzamento appreso, e $G(a)$ è una mappa forza-azione appresa.
3. Integratore: Viene utilizzato un integratore leapfrog simpletico modificato, che integra lo smorzamento e la forza simmetricamente in semi-passi del momento.

Per diagnosticare perché la generalizzazione fallisca a step size più grandi (estrapolazione), gli autori introducono un protocollo di substepping durante l'inferenza. Questo consiste nel suddividere un singolo step di valutazione $\Delta t$ in $N$ sub-passi di integrazione più piccoli ($\Delta t/N$) preservando l'impulso dell'azione totale. Ciò consente agli autori di distinguere tra fallimenti rappresentazionali (apprendimento di un campo vettoriale continuo scadente) e fallimenti numerici (errore di troncamento dovuto a un'integrazione sotto-risolta).

Contributi Chiave e Analisi dei Fallimenti

Il paper identifica due distinti modi di fallimento che si verificano quando le HGN vengono eseguite con step size superiori al regime di addestramento, insieme a correzioni mirate per ciascuno:

1. Crescita della Magnitudo Latente (Esplosione dell'Energia)

• Causa: In contesti non vincolati, la mappa forza-azione $G(a)$ non è limitata. Con step size elevati, il solver numerico eccede il bersaglio (overshoot), e la mappa della forza non vincolata inietta energia lungo direzioni instabili dello spazio delle fasi. Ciò porta a una crescita esponenziale della magnitudo latente e ad artefatti ad alta frequenza nelle immagini decodificate.
• Soluzione: Gli autori applicano la normalizzazione spettrale alla mappa forza-azione $G(a)$, limitandone la norma a 1. Questo pone un limite all'iniezione di energia per ogni step, prevenendo l'esplosione dell'ampiezza attraverso l'intervallo di step size testato.

2. Accumulo di Drift di Fase (Disallineamento Temporale)

• Causa: Anche con l'esplosione dell'energia contenuta, le previsioni a grandi step size deviano dalla fase della verità fondamentale (ground truth). Ciò si manifesta come un accumulo di errore di troncamento globale derivante da un integratore sotto-risolto, piuttosto che un fallimento della rappresentazione dellata Hamiltoniana appresa stessa.
• Soluzione: Gli autori impiegano il substepping durante l'inferenza. Aumentando il numero di step di integrazione $N$ all'interno di un singolo intervallo di osservazione, la dimensione dello step di integrazione efficace viene ridotta. Quando la dimensione dello step efficace si avvicina alla scala di addestramento, il drift di fase viene eliminato e l'allineamento temporale viene recuperato.

Risultati

Gli autori valutano il loro "bounded port-HGN" su un oscillatore massa-molla forzato e smorzato renderizzato come video RGB 64x64. Il modello è addestrato a uno step size di $\Delta t = 0.4$ ed è valutato su vari step size che vanno da 0.05 a 1.5.

• Interpolazione: Il modello generalizza con successo a step size più piccoli del training ($\Delta t < 0.4$) grazie alle proprietà intrinseche dell'integratore simpletico, che affina qualsiasi step target senza necessità di ri-addestramento.
• Estrapolazione:
  • Senza correzioni, il modello baseline fallisce per $\Delta t > 0.4$ a causa sia dell'esplosione dell'ampiezza che del drift di fase.
  • L'applicazione della normalizzazione spettrale elimina l'esplosione dell'ampiezza ma lascia il drift di fase.
  • L'applicazione del substepping (ad esempio, $N=4$) al modello con normalizzazione spettrale recupera previsioni di alta qualità (misurate tramite MAE, PSNR, SSIM e LPIPS) anche a step size significativamente maggiori del training (ad esempio, $\Delta t = 1.5$).
  • I risultati dimostrano che il campo vettoriale appreso è valido; il fallimento era puramente numerico, derivante dal disallineamento tra la dimensione dello step di integrazione e i requisiti di stabilità del solver.

Significato e Rivendicazioni

Il paper sostiene che l'incapacità dei modelli video hamiltoniani di generalizzare a risoluzioni temporali variabili non è un limite fondamentale della rappresentazione a tempo continuo appresa, ma è una conseguenza di specifici' instabilità numeriche in contesti non conservativi.

Combinando la normalizzazione spettrale del termine di forza con il substepping durante l'inferenza, gli autori dimostrano che un singolo modello addestrato a un determinato frame rate può prevedere stabilmente la dinamica sia a risoluzioni temporali più fini che più grossolane. Ciò fornisce una ricetta pratica per abilitare la generalizzazione temporale nella generazione di video a tempo continuo, permettendo a questi modelli di essere interrogati a frame rate arbitrari senza ri-addestramento. Il lavoro evidenzia che, per un deployment di successo nella pianificazione gerarchica o nel trasferimento sim-to-real, è necessario affrontare sia i vincoli di iniezione di energia che la risoluzione numerica dell'integratore.