Riepilogo Tecnico: HaM-World

1. Enunciato del Problema

I modelli del mondo abilitano la pianificazione basata su modelli apprendendo dinamiche latenti per eseguire rollout immaginati. Tuttavia, man mano che l'orizzonte di pianificazione si estende o le dinamiche dell'ambiente cambiano, questi rollout immaginati diventano spesso instabili. Gli autori sostengono che tale instabilità deriva da due componenti strutturali mancanti nelle rappresentazioni latenti destinate al pianificatore:

1. Completitudine Markoviana Approssimata: L'osservabilità parziale e i ritardi nelle azioni rendono i singoli frame latenti insufficienti come stati di Markov, eppure i modelli esistenti spesso mancano di una memoria condizionata alla storia per affrontare questo problema.
2. Organizzazione Geometrica: Le rappresentazioni latenti monolitiche intrecciano configurazione, momento e semantica del compito. Questo intreccio fa sì che gli errori di previsione multi-step crescano senza vincoli strutturali, portando a una scarsa estrapolazione della struttura fisica in regimi di controllo perturbati.

Gli approcci attuali catturano principalmente correlazioni statistiche piuttosto che la struttura generativa sottostante (ad esempio, invarianze e leggi di conservazione), risultando in pianificatori che faticano con la coerenza a lungo termine e la generalizzazione fuori distribuzione (OOD).

2. Metodologia: HaM-World

Gli autori propongono HaM-World (HMW), un modello del mondo strutturato che scompone lo stato latente in un'interfaccia unificata condivisa tra previsione delle dinamiche, stima della ricompensa/valore, rollout immaginati e ricerca delle azioni tramite il Metodo della Entropia Incrociata (CEM). L'architettura è composta da tre componenti fondamentali:

A. Fattorizzazione Latente ($q, p, c$)

Lo stato latente $z_t$ è esplicitamente suddiviso in:

• Sottospazio Canonico $(q, p)$: Rappresenta la configurazione e il momento. Questo sottospazio è governato da un prior Soft-Hamiltoniano.
• Sottospazio di Contesto $c$: Cattura fattori semantici, dissipativi e non conservativi (ad esempio, commutazioni di contatto, attrito, semantica del compito) che non obbediscono strettamente alla conservazione dell'energia.

B. Dinamiche Soft-Hamiltoniane

Invece di imporre una conservazione rigorosa dell'energia (che è troppo restrittiva per sistemi controllati con attrito e contatto), HaM-World utilizza un aggiornamento "Soft-Hamiltoniano" per la coppia $(q, p)$:
$$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$$
$$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$$

• $H_\phi(q, p)$: Un campo energetico apprendibile.
• $\alpha$: Un coefficiente di miscelazione che bilancia gli aggiornamenti della rete basati sui dati con il campo vettoriale hamiltoniano.
• $G_t a_t$: Un drive di controllo appreso esplicitamente aggiunto all'aggiornamento del momento.
• Meccanismo: Questo design permette al modello di mantenere una spina dorsale geometrica organizzata per l'energia per la stabilità, pur conservando la flessibilità di adattarsi a contatto, attrito e obiettivi del compito tramite dinamiche residue e drive di controllo.

C. Memoria Selettiva (Mamba)

Per affrontare l'osservabilità parziale e i ritardi nelle azioni, HaM-World integra modelli a spazio di stato selettivi Mamba come input condizionato alla storia ($h_t$) per le dinamiche latenti.

• A differenza dei modelli di rollout ricorrenti paralleli, Mamba fornisce un singolo input condizionato alla storia alle stesse dinamiche latenti utilizzate dal pianificatore.
• Questo garantisce che l'interfaccia del pianificatore rimanga unificata durante l'addestramento, i rollout immaginati e la ricerca CEM, senza richiedere uno stato ricorrente separato per il pianificatore.

D. Obiettivi di Addestramento

Il modello è addestrato con una funzione di perdita composita che include:

• Coerenza dei Rollout Multi-step ($L_{roll}$): Vincola l'accumulo di errori sull'orizzonte di pianificazione.
• Allineamento Hamiltoniano ($L_{ham}$): Un bias direzionale soft che allinea il ramo della rete con il campo vettoriale hamiltoniano.
• Regolarizzazione dell'Energia Senza Azioni ($L_{energy}$): Sopprime la deriva dell'energia in assenza di azioni.
• Obiettivi Standard: Allineamento delle rappresentazioni in stile JEPA, coerenza delle dinamiche a un passo e regressione della ricompensa/valore (utilizzando target two-hot symlog).

3. Contributi Chiave

1. Dinamiche Strutturate per il Pianificatore: L'introduzione di una fattorizzazione latente $q/p/c$ che accoppia la memoria selettiva Mamba con le dinamiche Soft-Hamiltoniane $(q, p)$. Ciò fornisce un'unica interfaccia latente per la pianificazione CEM, la stima della ricompensa e la previsione delle dinamiche.
2. Valutazione Consapevole del Meccanismo: Un protocollo di valutazione completo che include le prestazioni di controllo standard, la coerenza dei rollout a lungo termine (MSE per $k \in \{3, 5, 7\}$) e 12 perturbazioni OOD (cambiamenti di dinamica, ritardi, mascheramento).
3. Guadagni Empirici: Prestazioni superiori dimostrate su più metriche, specificamente nella stabilità a lungo termine e nella robustezza OOD, supportate da diagnosi dei meccanismi che mostrano una deriva dell'energia limitata e un trasferimento di energia coerente indotto dal controllo.

4. Risultati Sperimentali

Valutato su quattro task del DeepMind Control Suite (DMC) (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) con un budget di 100k campioni:

• Prestazioni di Controllo: HaM-World ha ottenuto la più alta Area Media Sotto la Curva (Avg. AUC) di 117.9, superando TD-MPC2 (+9.5%), SAC (+66.3%) e DreamerV3 (+101.2%). Ha ottenuto il ritorno finale più alto su Finger Spin e Reacher Easy.
• Stabilità a Lungo Termine: HaM-World ha ridotto l'errore di rollout a lungo termine al 45% della forte baseline (TD-MPC2) e al 14.3% di DreamerV3. Ha vinto 11 su 12 celle MSE per $k \in \{3, 5, 7\}$.
• Generalizzazione OOD: Sotto 12 perturbazioni OOD (inclusi cambiamenti di massa, smorzamento, attrito, ritardi nelle azioni e mascheramento delle osservazioni), HaM-World ha ottenuto il ritorno più alto in ogni condizione.
  • Su Finger Spin, ha mostrato un guadagno medio di ritorno OOD del 10.2% rispetto a TD-MPC2.
  • Su Reacher Easy, ha mostrato un guadagno medio di ritorno OOD del 13.6% rispetto a TD-MPC2.
• Diagnostica dei Meccanismi:
  • Deriva dell'Energia: Nei rollout senza azioni, l'energia hamiltoniana appresa è rimasta quasi stabile (deriva di circa l'1%), confermando la struttura Soft-Hamiltoniana.
  • Accoppiamento di Controllo: L'analisi ha mostrato che la "spinta" dell'azione (proiezione del controllo su $\nabla_p H$) è correlata coerentemente con l'attraversamento degli strati energetici, validando il design hamiltoniano controllato.
  • Ablazione: La rimozione della struttura geometrica (A1) o della memoria (A2) ha degradato significativamente le prestazioni. In particolare, la memoria è stata il prerequisito dominante per l'usabilità in condizioni di osservabilità parziale, mentre la struttura Soft-Hamiltoniana ha alzato il limite superiore per la robustezza dei rollout.

5. Significato e Affermazioni

Il paper afferma che HaM-World dimostra che trattare la completitudine markoviana (tramite memoria selettiva) e la coerenza geometrica (tramite struttura Soft-Hamiltoniana) come fasi accoppiate di dinamiche latenti unificate migliora significativamente le prestazioni del pianificatore.

• Strutturale vs Statistico: I guadagni sono attribuiti alla capacità del modello di incorporare regolarità fisiche (organizzazione dell'energia) piuttosto che fare affidamento esclusivamente sull'adattamento delle correlazioni statistiche.
• Interfaccia Unificata: Il lavoro mostra che un singolo stato latente, condiviso da previsione, stima del valore e pianificazione, può essere reso stabile ed efficace per task a lungo termine se rispetta la separazione tra dinamiche conservative ($q, p$) e contesto non conservativo ($c$).
• Robustezza: Il metodo fornisce una soluzione strutturale all'instabilità dei rollout immaginati, consentendo una migliore estrapolazione sotto cambiamenti di distribuzione e perturbazioni senza richiedere stati di pianificatore ricorrenti separati.

Limitazioni: Gli autori notano che il lavoro attuale è limitato a osservazioni basate su stati su quattro task DMC. La scalabilità a input pixel, morfologie più ampie e scenari di contatto discontinui rimane una sfida aperta. Le diagnosi supportano l'interfaccia appresa ma non dimostrano che le dinamiche siano globalmente hamiltoniane.