Learning to Race in Minutes: Infoprop Dyna on the Mini Wheelbot

Riepilogo Tecnico: Imparare a Correre in Minuti con Infoprop Dyna sul Mini Wheelbot

Enunciato del Problema
Il controllo di sistemi robotici caratterizzati da dinamiche veloci, instabili e non lineari rimane una sfida significativa, in particolare quando l'apprendimento avviene direttamente sull'hardware reale. Sebbene l'Apprendimento per Rinforzo (RL) offra potenzialità, i metodi convenzionali soffrono spesso di una scarsa efficienza nel campionamento, rendendo necessario l'uso di simulatori basati sulla fisica attentamente progettati e di un'estesa randomizzazione del dominio per ottenere un trasferimento simulazione-realtà di successo. Il RL basato su modelli (MBRL) migliora l'efficienza nel campionamento apprendendo un modello delle dinamiche per arricchire l'esperienza reale con simulazioni immaginarie; tuttavia, modelli imperfetti portano spesso allo "sfruttamento del modello" durante la pianificazione a lungo orizzonte, degradando le prestazioni nel mondo reale. La sfida specifica affrontata in questo lavoro è il Mini Wheelbot, un robot monociclo sottopilotato con dinamiche di imbardata altamente non lineari. Il suo controllo è complicato dalle interazioni di contatto con il terreno, da costanti di tempo ridotte e dalla sensibilità all'attuazione, rendendo difficile la modellazione accurata e rendendo essenziale la pianificazione a lungo orizzonte per un efficace tracciamento della traiettoria.

Metodologia
Gli autori impiegano Infoprop Dyna, un framework MBRL all'avanguardia e consapevole dell'incertezza, per consentire al Mini Wheelbot di apprendere direttamente dalle interazioni nel mondo reale senza fare affidamento su un simulatore basato sulla fisica.

• Algoritmo Principale: Infoprop Dyna tratta le previsioni del modello come osservazioni rumorose di un segnale di verità fondamentale. Sfruttando la teoria dell'informazione, il framework recupera il segnale stimato di verità fondamentale tracciando simultaneamente la corruzione accumulata dovuta al rumore. Questo approccio mitiga lo sfruttamento del modello e consente simulazioni affidabili su orizzonti temporali più lunghi rispetto ai metodi precedenti.
• Modellazione delle Dinamiche: A differenza dei precedenti benchmark che assumono stati completamente osservati e privi di memoria, il Mini Wheelbot si basa sulla stima dello stato a bordo. Di conseguenza, il modello di transizione appreso è condizionato su una breve storia di stati fisici stimati e comandi di controllo applicati per prevedere il successivo stato stimato. Ciò permette al modello di catturare implicitamente le dinamiche dello stimatore dello stato insieme al sistema fisico.
• Pipeline di Addestramento: Il sistema utilizza una configurazione di addestramento distribuito (illustrata nella Figura 2). I dati del mondo reale sono raccolti dal robot fisico e trasmessi via SSH a una workstation locale, che inoltra il dataset a un cluster di Calcolo ad Alte Prestazioni (HPC). L'apprendimento del modello e l'ottimizzazione della politica vengono eseguiti utilizzando un'implementazione basata su JAX sopra BRAX. Crucialmente, non viene utilizzato alcun modello di simulazione per l'addestramento; il cluster HPC genera simulazioni sintetiche parallele su larga scala utilizzando il modello delle dinamiche appreso, sostituendo la necessità di un simulatore fisico.
• Inizializzazione: Per garantire la sicurezza e fornire transizioni informative, il dataset del mondo reale viene avviato a caldo utilizzando un minuto di dati raccolti guidando manualmente il robot con un controllore predittivo di modello approssimato (AMPC) e un'interfaccia a joystick.

Contributi Chiave

1. Apprendimento nel Mondo Reale Senza Simulatore: Il lavoro dimostra che Infoprop Dyna può consentire a un robot di apprendere una politica di controllo complessa direttamente dalle interazioni nel mondo reale, bypassando la necessità di pipeline simulazione-realtà ingegnerizzate con cura.
2. Acquisizione Rapida di Comportamenti Aggressivi: Il Mini Wheelbot impara a correre su un circuito fisso entro 11 minuti di esperienza nel mondo reale, evolvendo da movimenti conservativi a strategie di gara aggressive.
3. Scoperta di Strategie Non Banali: La politica appresa scopre comportamenti complessi, come lo scivolamento controllato ad alta velocità per affrontare le curve, difficili da catturare utilizzando simulazioni puramente basate sulla fisica.
4. Architettura di Addestramento Distribuito: Il documento presenta una pipeline in cui i tempi di addestramento sono comparabili ai tempi di raccolta dei dati nel mondo reale grazie alla massiccia parallelizzazione su HPC, in contrasto con i precedenti benchmark in cui l'addestramento dominava il tempo cronologico.

Risultati
In una singola sessione continua di addestramento, l'agente ha completato con successo il suo primo giro dopo sei minuti di interazione nel mondo reale. Entro il segno dei 11 minuti, l'agente ha raggiunto le prestazioni di picco, completando diversi giri con alta coerenza.

• Metriche di Prestazione: L'agente da gara finale ha raggiunto una velocità media di 0,5 m/s e una velocità massima di 0,97 m/s. In confronto, la linea di base AMPC iniziale aveva una velocità media di 0,15 m/s e una velocità massima di 0,33 m/s.
• Efficienza: L'agente da gara ha completato più di tre volte il numero di giri rispetto all'agente AMPC.
• Differenze Comportamentali: Mentre l'AMPC si affidava agli effetti giroscopici per riorientarsi, l'agente appreso ha sfruttato lo scivolamento controllato per gestire le curve veloci, permettendogli di aderire più strettamente alla linea centrale del circuito e mantenere velocità più elevate.

Significato
Il documento afferma che questi risultati evidenziano il potenziale pratico di Infoprop Dyna di colmare il divario tra efficienza dei dati e alte prestazioni finali su sistemi robotici reali. Dimostrando che un sistema complesso e sottopilotato può apprendere comportamenti di gara aggressivi in minuti senza un simulatore, il lavoro suggerisce un percorso praticabile verso una più ampia adozione dell'apprendimento per rinforzo basato su modelli nel mondo reale. Gli autori lo posizionano come un passo verso la scalabilità di tali metodi ad arene più grandi e layout di pista arbitrari, nonché verso lo sviluppo di interfacce modulari per un'applicazione più ampia su sistemi robotici.