SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors

Sintesi Tecnica: SkyJEPA: Apprendimento di Modelli del Mondo a Lungo Orizzonte per il Controllo Sim-to-Real Zero-Shot di Quadrotor

Definizione del Problema

I modelli dinamici accurati sono essenziali per il processo decisionale informato in veicoli aerei agili, in particolare per il controllo basato su modello, che richiede di ragionare sull'evoluzione futura del sistema. Tuttavia, gli esistenti modelli dinamici basati su reti neurali affrontano limitazioni significative:

1. Instabilità a lungo orizzonte: La maggior parte degli approcci utilizza architetture encoder-decoder autoregressive che alimentano ricorsivamente le previsioni come input. Questo meccanismo amplifica i piccoli errori di un singolo step nel tempo, portando a deriva, instabilità e traiettorie fisicamente implausibili all'aumentare dell'orizzonte di previsione.
2. Mancanza di interpretabilità: Molti modelli appresi operano in spazi latenti astratti o ricostruiscono osservazioni complete, fallendo nel rivelare quantità fisicamente significative (es. posizione, velocità, assetto) necessarie per imporre vincoli e limiti di sicurezza ai controller.
3. Dipendenza dai dati e generalizzazione: La raccolta di dati reali diversificati e informativi è costosa, rischiosa e laboriosa. Inoltre, i modelli addestrati su piattaforme o compiti specifici spesso non riescono a generalizzare a nuove configurazioni (es. cambiamenti di carico utile, sostituzione delle eliche) senza un nuovo addestramento.
4. Vincoli in tempo reale: Il controllo ad alta frequenza su hardware embedded con risorse limitate richiede modelli che possano essere valutati ripetutamente con bassa latenza, una sfida per i complessi modelli basati sulla ricostruzione.

Il paper affronta la domanda centrale: È possibile apprendere un modello dinamico efficiente per robot aerei che fornisca una previsione accurata a lungo orizzonte, rollout interpretabili fisicamente, capacità di controllo in tempo reale e generalizzazione zero-shot tra i task, riducendo al contempo la dipendenza dalla rischiosa raccolta di dati nel mondo reale?

Metodologia

Gli autori propongono SkyJEPA, un framework basato sulle Joint Embedding Predictive Architectures (JEPA) adattate per il controllo in tempo reale di quadrotor. L'approccio consiste in quattro componenti principali:

1. Modello di Dinamica Latente in stile JEPA:
   Invece di prevedere autoregressivamente stati o osservazioni future, il modello impara a prevedere rappresentazioni future in uno spazio latente compatto. Esso riceve una storia di stati ($X_t$) e azioni ($A_t$) su una finestra $H$, li codifica in rappresentazioni latenti ($s_t, z_t$) e predice il successivo stato latente ($\tilde{s}_{t+1}$) condizionato dalle azioni future. Questa formulazione evita l'errore cumulativo inerente alla predizione dello stato autoregressiva operando in uno spazio latente strutturato.

2. Obiettivo di Addestramento (SIGReg):
   Il modello è addestrato utilizzando una perdita a due termini:

   • Consistenza Predittiva ($L_{pred}$): Minimizza la distanza tra le previsioni latenti prodotte tramite rollout e gli stati latenti codificati.
   • Regolarizzazione Anti-Collasso (SIGReg): Utilizza la Sketched Isotropic Gaussian Regularization per prevenire il collasso della rappresentazione. Essa incoraggia le embedding latenti a corrispondere a una distribuzione Gaussiana isotropa confrontando proiezioni casuali monodimensionali della distribuzione latente con una Gaussiana standard. Ciò promuove la diversità senza richiedere meccanismi di stop-gradient complessi o molteplici termini di perdita.

3. Prober Ispirato alla Fisica (Physics-Inspired Prober):
   Per rendere le previsioni latenti utilizzabili per il controllo, una rete "prober" mappa i rollout latenti congelati in stati metrici fisicamente significativi. Questo è un processo in due fasi:

   • Il modello di dinamica latente viene addestrato per primo.
   • Gli encoder e il predittore vengono congelati, e una rete di probing leggera viene addestrata per predire termini di correzione residui (accelerazione traslazionale e angolare) basandosi sugli stati latenti.
   • Questi residui vengono integrati in un modello cinematico differenziabile (usando mappe esponenziali SO(3) per l'assetto) per ricostruire l'intera traiettoria dello stato. Ciò garantisce che l'output sia interpretabile e rispetti i vincoli fisici.

4. Sintesi Automatica dei Dati e Randomizzazione del Dominio:
   Per eliminare la necessità di un'estesa raccolta di dati nel mondo reale, gli autori propongono una pipeline per generare dati di addestramento diversificati interamente in simulazione:

   • Generazione di Riferimento: Processi gaussiani generano traiettorie di riferimento lisce e randomizzate che coprono un ampio inviluppo di volo.
   • Tracking in Anello Chiuso: Un controller di tracking (che combina NMPC e MPPI) esegue questi riferimenti in simulazione per produrre coppie stato-azione fisicamente fattibili.
   • Randomizzazione del Dominio: Ogni rollout è simulato con parametri fisici randomizzati (massa, inerzia, drag, costanti di tempo del motore, ecc.) per esporre il modello a una famiglia di sistemi piuttosto che a un singolo modello nominale.

5. Controllo Basato su Campionamento (MPPI):
   Il modello appreso è integrato in un controller Model Predictive Path Integral (MPPI). Il controller campiona sequenze di azioni, esegue i rollout utilizzando il modello dinamico latente e il prober, valuta i costi della traiettoria e aggiorna l'input di controllo. Questo processo viene eseguito interamente su hardware embedded (NVIDIA Orin NX) ad alte frequenze.

Contributi Chiave

1. JEPA per il Controllo in Tempo Reale: Introduzione del primo modello dinamico latente in stile JEPA addestrato end-to-end per il controllo in tempo reale di quadrotor, andando oltre la pianificazione cinematica di alto livello.
2. Probing Ispirato alla Fisica: Un meccanismo innovativo che mappa le rappresentazioni latenti congelate in stati metrici interpretabili tramite un integratore cinematico strutturato, consentendo una predizione a lungo orizzonte fisicamente fondata.
3. Trasferimento Sim-to-Real Zero-Shot: Dimostrazione che un modello addestrato interamente su dati di simulazione con randomizzazione del dominio può ottenere un controllo robusto su hardware reale senza fine-tuning specifico per il task.
4. Pipeline di Dataset Automatizzata: Una procedura rigorosa per la generazione automatizzata di dataset utilizzando processi gaussiani e randomizzazione del dominio, riducendo la dipendenza dalla pericolosa raccolta di dati nel mondo reale.

Risultati

Il framework è stato valutato attraverso esperimenti di predizione in loop aperto e test in esterno in loop chiuso su un quadrotor da 1,3 kg.

• Accuratezza a Lungo Orizzonte: SkyJEPA ha superato significativamente i baseline predittivi autoregressivi nei rollout in loop aperto. Ha mostrato un rapporto di accumulo inferiore (crescita dell'errore rispetto alla predizione teacher-forced) e tassi di crescita dell'errore inferiori su orizzonti lunghi (fino a 60 step).
• Interpretabilità: Il prober ispirato alla fisica ha migliorato drasticamente il recupero dello stato metrico. Rispetto a un prober MLP standard, il PI Prober ha ridotto l'RMSE della posizione da ~5,56 m a ~1,43 m e l'errore di assetto da ~40° a ~4,7° nei test in loop aperto.
• Trasferimento Sim-to-Real Zero-Shot: Negli esperimenti nel mondo reale, il controller proposto ha ottenuto errori di tracking della posizione e dell'assetto inferiori rispetto ai baseline (MPPI con modelli predittivi) attraverso diverse traiettorie (cerchi, otto, lemniscati). Ad esempio, su una traiettoria circolare, l'RMSE della posizione è stato ridotto da 0,39 m (baseline) a 0,24 m.
• Robustezza: Il sistema ha mantenuto le prestazioni sotto variazioni significative della piattaforma senza ri-addestramento, inclusi l'aggiunta di carichi utili (300 g) e la sostituzione delle eliche. Ha costantemente superato i baseline in queste condizioni non nominali.
• Qualità dei Dati: Un'analisi tramite un punteggio di Qualità della Distribuzione della Traiettoria (TDQ) ha mostrato una forte correlazione inversa tra la diversità/copertura del dataset e l'errore di predizione, validando l'approccio di sintesi dei dati tramite randomizzazione del dominio.
• Prestazioni in Tempo Reale: Il modello leggero (~9K parametri) e l'inferenza ottimizzata hanno permesso l'esecuzione in tempo reale su hardware embedded entro il budget di controllo di 10 ms.

Significato

Il paper sostiene che SkyJEPA soddisfi le quattro proprietà chiave richieste per un utile modello del mondo nella robotica aerea: predizione accurata a lungo orizzonte, interpretabilità, inferenza in tempo reale e generalizzazione del task zero-shot.

La significanza primaria risiede nel dimostrare che l'addestramento esclusivamente in simulazione con randomizzazione del dominio è sufficiente per un controllo robusto nel mondo reale quando accoppiato con un framework di apprendimento appropriato. Evitando l'accumulo di errori autoregressivi attraverso la predizione latente e radicando l'output con una struttura fisica, l'approccio raggiunge un livello di generalizzazione e stabilità che i modelli puramente predittivi non possono ottenere. Gli autori suggeriscono che questo framework offra un'alternativa scalabile alla costosa raccolta di dati reali e all'identificazione manuale del sistema, permettendo ai robot aerei agili di operare in modo affidabile in ambienti incerti e mutevoli. Il lavoro futuro proposto mira a estendere questo approccio a input visivi ad alta dimensionalità e a incorporare vincoli di sicurezza espliciti.