Guided Riemannian Optimization (GuRO): Bridging Model Predictive Control and Decision Transformers

I robot che si muovono nel mondo reale affrontano un costante e difficile equilibrio. Devono decidere come fare un passo, girare o arrampicarsi in ambienti che sono spesso irregolari, scivolosi o imprevedibili. Per prendere queste decisioni, gli ingegneri si sono tradizionalmente affidati a due approcci principali. Il primo è simile a un navigatore attento che controlla costantemente una mappa e ricalcola il miglior percorso da seguire sulla base di un modello noto del mondo. Questo metodo è efficiente e facile da comprendere, ma fatica quando la mappa è errata o il terreno cambia in modi che la mappa non aveva previsto. Il secondo approccio è più simile a un bambino che impara a camminare: prova molte cose, cade, si rialza e impara lentamente cosa funziona attraverso tentativi ed errori. Questo metodo può eventualmente padroneggiare movimenti molto complessi, ma richiede una quantità enorme di tempo e pratica, fallendo spesso quando il compito è troppo difficile o gli errori sono troppo costosi.

Per anni, i ricercatori hanno cercato di combinare il meglio di entrambi i mondi: la pianificazione attenta del navigatore e l'adattabilità dell'apprendimento. Un'idea più recente è emersa trattando la storia dei movimenti e dei premi di un robot come un racconto, utilizzando potenti modelli informatici originariamente progettati per leggere il linguaggio umano per prevedere la prossima migliore azione. Sebbene promettenti, questi modelli di "lettura di storie" sono notoriamente difficili da addestrare. Spesso rimangono bloccati in un ciclo di apprendimento lento e instabile, incapaci di trovare il percorso più efficiente verso una soluzione. Un team di ricercatori dell'Università di Manchester ha ora sviluppato un nuovo modo per guidare questi modelli, aiutandoli ad apprendere movimenti robotici complessi molto più velocemente e in modo più affidabile rispetto al passato.

I ricercatori si sono concentrati sull'insegnare a un robot a quattro zampe, noto come quadrupede, come navigare in ambienti impegnativi. Volevano che il robot camminasse su terreni accidentati, salisse le scale e affrontasse superfici inclinate scivolose senza cadere. Per farlo, hanno creato un sistema ibrido che colma il divario tra il pianificatore attento e l'apprendimento per tentativi ed errori. Hanno utilizzato una tecnica chiamata Controllo Predittivo del Modello (Model Predictive Control), che funge da guida in tempo reale. Ad ogni istante, questa guida calcola un percorso breve e localmente perfetto da seguire per il robot, mostrando essenzialmente al robot cosa costituisce una buona mossa in quel momento. Questa guida non ha bisogno di conoscere l'intero futuro; deve solo conoscere i prossimi passi.

Questi percorsi brevi e di alta qualità generati dalla guida sono stati poi inseriti in un Decision Transformer, il modello di "lettura di storie". Invece di dover imparare tutto da zero vagando alla cieca e commettendo errori, il modello ha imparato studiando gli eccellenti esempi forniti dalla guida. Ciò ha eliminato la necessità di enormi quantità di dati offline o di infinite ore di tentativi ed errori nel mondo reale. Il robot poteva imparare dai suggerimenti della guida, perfezionando la propria comprensione di come muoversi in modo efficiente. Tuttavia, l'addestramento di questi grandi modelli è ancora un problema matematicamente difficile. Il panorama delle possibili soluzioni è pieno di picchi acuti e valli profonde, rendendo facile per gli algoritmi di apprendimento standard rimanere bloccati o muoversi troppo lentamente.

Per risolvere questo problema, i ricercatori hanno introdotto un nuovo modo di navigare il processo di apprendimento stesso. Hanno trattato lo spazio matematico in cui risiede il cervello del robot non come una griglia piatta e semplice, ma come una superficie curva, proprio come la superficie della Terra. I metodi di apprendimento standard si muovono in linea retta, il che può essere inefficiente su una superficie curva. Il nuovo metodo, che gli autori chiamano Ottimizzazione Riemanniana Guidata (Guided Riemannian Optimization), comprende la curvatura di questo spazio. Regola la direzione dell'apprendimento per seguire i contorni naturali del problema, permettendo al cervello del robot di trovare la soluzione migliore molto più velocemente. Questo approccio è simile a un escursionista che conosce la conformazione del terreno e prende la rotta più diretta per salire su una collina, invece di camminare in linea retta rischiando di finire in un vicolo cieco o su una scogliera ripida.

Il team ha testato questo sistema su un robot Unitree AlienGo, una macchina a quattro zampe, in un ambiente simulato che imita la fisica del mondo reale. Hanno posto al robot tre sfide distinte: camminare su un terreno irregolare, salire una scala e affrontare una superficie inclinata a basso attrito. Hanno confrontato il loro nuovo metodo con diverse tecniche consolidate, inclusi gli algoritmi standard di apprendimento per rinforzo e altre versioni del decision transformer che non utilizzavano l'approccio di apprendimento basato sulla superficie curva. I risultati hanno mostrato un chiaro vantaggio per il nuovo sistema. In ogni compito, il robot addestrato con il metodo guidato e consapevole della curvatura ha raggiunto un livello di prestazione superiore e lo ha fatto con meno tentativi rispetto agli altri metodi.

I dati hanno rivelato che il robot ha imparato a camminare su terreni accidentati, salire le scale e scalare superfici scivolose con maggiore stabilità e velocità. Il processo di addestramento stesso è stato significativamente più efficiente, con la funzione di perdita (loss function) — una misura di quanto fossero errate le previsioni del robot — che diminuiva molto più velocemente rispetto ai metodi tradizionali. L'analisi statistica ha confermato che questi miglioramenti non erano dovuti al caso. Il nuovo metodo ha costantemente superato le migliori alternative esistenti, dimostrando che combinare un pianificatore in tempo reale con un modello di lettura di storie, e poi ottimizzare il processo di apprendimento con la comprensione della geometria sottostante, crea uno strumento potente per il controllo robotico.

Questo lavoro suggerisce che il futuro dell'apprendimento robotico potrebbe non risiedere nella scelta tra pianificazione attenta e tentativi ed errori, ma nel tesserli insieme. Utilizzando un pianificatore per fornire esempi di alta qualità e un approccio matematico specializzato per navigare il processo di apprendimento, i robot possono padroneggiare compiti fisici complessi più rapidamente e in modo più robusto. I ricercatori hanno dimostrato che questo approccio funziona efficacemente in simulazione, offrendo una strada promettente per l'impiego di robot intelligenti e adattabili nel mondo reale, dove le condizioni sono raramente perfette e il costo del fallimento è alto.