⚡ electrical engineering

Terrain Consistent Reference-Guided RL for Humanoid Navigation Autonomy

Questo articolo presenta un metodo di apprendimento per rinforzo guidato da riferimenti che modula le traiettorie di addestramento per adattarle alla geometria del terreno, consentendo a un robot umanoide Unitree G1 di realizzare una navigazione autonoma robusta a lungo termine su terreni accidentati e scale utilizzando esclusivamente sensori e capacità di calcolo a bordo.

Autori originali: William D. Compton, Zachary Olkin, Aaron D. Ames

Pubblicato 2026-05-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: William D. Compton, Zachary Olkin, Aaron D. Ames

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a camminare in un mondo disordinato e imprevedibile, come un cantiere con scale, terreni irregolari e porte strette. Di solito, hai due opzioni: insegnare al robot a "sentire" la strada usando le telecamere (che possono essere goffe), oppure fornirgli uno script perfetto e pre-scritto su come muovere esattamente le gambe (che si rompe se il terreno cambia).

Questo articolo presenta un intelligente compromesso: un robot che impara a camminare seguendo uno "script intelligente" che si modifica in tempo reale per adattarsi al terreno.

Ecco come hanno fatto, scomposto in concetti semplici:

1. Il Problema: Lo Script "Cieco" contro la Telecamera "Goffa"

Il Vecchio Modo (Guidato da Riferimento): Immagina di dare a un ballerino uno script che dice: "Fai un passo avanti di 1 metro". Se il pavimento è piatto, fa un passo di 1 metro. Se c'è un buco o un gradino in salita, potrebbe inciampare perché lo script non sa che il pavimento è cambiato.
L'Altro Vecchio Modo (RL Percettivo): Immagina di insegnare a un robot mostrandogli solo migliaia di video di camminata e lasciandogli capire la fisica da solo. Questo funziona bene, ma è difficile collegarlo a un sistema "GPS" che dice al robot dove andare. Il robot potrebbe essere eccellente nel camminare ma terribile nel seguire una mappa.

2. La Soluzione: Lo Script "Cangianti"

Gli autori hanno creato un sistema in cui il robot impara a camminare seguendo una traiettoria di riferimento (uno script), ma lo script viene "modellato" sul terreno prima ancora che il robot tenti di seguirlo.

Pensala così:

Il robot ha un "cervello" (la politica dell'IA) che vuole seguire un percorso specifico.
Prima che il robot si muova, un modello matematico veloce (chiamato Pendolo Invertito Lineare) agisce come una stampante 3D per il percorso.
Se il robot vede una scala, la "stampante" rimodella istantaneamente il comando "Fai un passo avanti di 1 metro" in "Fai un passo avanti di 1 metro, ma solleva il piede più in alto e inclinalo per adattarti alla scala".
Il robot impara quindi a seguire questo script aggiustato. Poiché lo script è già perfetto per il terreno, il robot impara a camminare molto più velocemente e in modo più stabile.

3. L'Interfaccia "SE(2)": Il Telecomando Universale

Uno dei maggiori ostacoli nella robotica è far comunicare il "cervello" (il camminatore) con il "navigatore" (il GPS/pianificatore).

Di solito, questi due parlano lingue diverse. Il navigatore dice "Vai in cucina", ma il camminatore deve sapere esattamente come muovere ogni singola articolazione.
Questo articolo fornisce al robot un telecomando universale. Il navigatore invia solo comandi semplici come "Cammina avanti a 1 metro al secondo" o "Gira a sinistra".
Il sistema interno del robot prende quel comando semplice, osserva il terreno, rimodella lo "script" (il riferimento) ed esegue automaticamente i complessi movimenti delle gambe. Questo rende facile integrare questo robot camminante in software di navigazione standard.

4. I Risultati: Camminare sul Campo

Il team ha testato questo su un robot umanoide Unitree G1 (un robot bipede che assomiglia a un umano).

Nel Simulatore: Hanno dimostrato che quando il robot usa lo script "modellato", segue il percorso molto meglio rispetto a quando cerca di seguire uno script rigido e immutabile.
Nel Mondo Reale: Hanno messo il robot in un edificio reale e all'aperto.
- Il robot ha camminato per oltre 70 metri (circa la lunghezza di un campo da calcio) in modo autonomo.
- Ha salito due rampe di scale e ha navigato su terreni accidentati e irregolari.
- Ha fatto tutto questo con tutto il suo "pensare" e "sentire" che avveniva a bordo del robot stesso, senza essere collegato a un computer.

Analogia di Sintesi

Immagina di imparare a guidare un'auto.

Metodo A (Vecchio Modo): Ti viene dato un GPS che ti dice l'esatto angolo dello sterzo e la pressione sul pedale dell'acceleratore per una strada specifica. Se prendi una deviazione, le istruzioni sono sbagliate e fai un incidente.
Metodo B (Vecchio Modo): Ti vengono lanciati in un'auto senza istruzioni e ti dicono di "capirci qualcosa". Potresti imparare, ma ci vuole un'eternità, e non puoi facilmente dire all'auto "Guida al negozio".
Il Metodo di Questo Articolo: Hai un GPS che ti dice "Guida al negozio". Mentre guidi, un assistente intelligente riscrive istantaneamente le istruzioni di "sterzo e acceleratore" in base alle buche e alle curve che vedi proprio ora. Segui queste istruzioni istantanee e perfette, permettendoti di guidare ovunque in modo sicuro ed efficiente.

L'articolo dimostra che rendendo le "istruzioni" adattabili al terreno in tempo reale, è possibile insegnare a un robot umanoide a camminare attraverso ambienti complessi e umani (come scale e terreni accidentati) e integrarlo in un sistema di navigazione completo.

Riepilogo Tecnico: RL Guidato da Riferimenti Coerenti con il Terreno per la Navigazione di Umanoidi

Enunciato del Problema

I metodi contemporanei di locomozione per umanoidi hanno raggiunto elevata agilità e robustezza, sfruttando spesso dati umani o ottimizzazione di traiettorie per guidare l'Apprendimento per Rinforzo (RL). Tuttavia, rimane un collo di bottiglia significativo nel dispiegare questi comportamenti all'interno di stack di navigazione più ampi per ambienti complessi e non strutturati. Gli approcci esistenti di RL guidato da riferimenti affrontano due limitazioni principali:

Mancanza di un'Interfaccia di Pianificazione: Molti metodi richiedono traiettorie di riferimento a gradi di libertà completi o acquisizione di movimento in tempo reale come input, rendendoli incompatibili con i pianificatori di navigazione standard che emettono comandi di velocità semplici (ad esempio, velocità SE(2)).
Assenza di Condizionamento Ambientale: Le pipeline standard di generazione dei riferimenti non tengono conto della geometria del terreno (ad esempio, appoggi validi, scale, pendenze). Di conseguenza, le politiche addestrate su riferimenti statici faticano a tracciare le traiettorie su terreni accidentati, portando a instabilità o fallimento quando vengono dispiegate in ambienti reali incentrati sull'uomo.

Sebbene alcuni lavori affrontino la locomozione percettiva senza riferimenti, spesso mancano della robustezza dei metodi guidati da riferimenti. Al contrario, i metodi guidati da riferimenti spesso falliscono nell'integrazione con stack di autonomia o nell'adattamento al terreno. Questo articolo affronta l'intersezione tra RL percettivo guidato da riferimenti e autonomia di navigazione in ciclo chiuso.

Metodologia

Il metodo proposto, RL Guidato da Riferimenti Coerenti con il Terreno, sintetizza traiettorie di riferimento coerenti con l'ambiente direttamente all'interno del ciclo di addestramento RL. Il sistema è progettato per produrre una politica che accetta comandi di velocità SE(2) standard, utilizzando al contempo dati di telecamera di profondità per l'adattamento al terreno.

1. Sintesi di Riferimenti Coerenti con l'Ambiente

L'innovazione fondamentale è la rapida generazione di traiettorie di riferimento utilizzando un modello Pendolo Invertito Lineare (LIP) modulato per corrispondere alla geometria del terreno.

Generazione di Base: Un comando di velocità SE(2) desiderato ( $v_d$ ) viene convertito in lunghezze di passo desiderate e una traiettoria del Centro di Massa (CoM) utilizzando la dinamica del modello LIP. Questo genera un riferimento nominale per il CoM, il piede oscillante e le braccia.
Proiezione sul Terreno: Prima che l'agente RL riceva il riferimento, il sistema proietta la posizione del passo desiderato sul più vicino appoggio valido derivato dalla geometria del terreno (rappresentata come una griglia di poligoni).
Modifica della Traiettoria:
- Passi: Il passo desiderato viene proiettato sull'appoggio valido e vengono incorporati il rollio e il beccheggio del terreno in quel punto.
- Piede Oscillante: La traiettoria del piede oscillante viene modificata per collegare la posa iniziale alla posa proiettata, inclusa l'orientazione del terreno. L'altezza $z$ viene regolata aggiungendo l'altezza dell'involucro convesso superiore dei punti del terreno lungo il percorso di oscillazione per garantire il passaggio.
- CoM: La traiettoria di altezza del CoM viene regolata in base alla linea che congiunge il piede di appoggio corrente alla posizione del passo proiettato.
Efficienza: Questa sintesi viene eseguita rapidamente all'interno del ciclo di addestramento, consentendo alla politica di apprendere da riferimenti fisicamente coerenti con l'ambiente immediato.

2. Politica di Locomozione e Addestramento

Architettura: La politica utilizza un'architettura basata su un Perceptron Multistrato (MLP) a stadio singolo. Mappa la propriocettione e una singola immagine di telecamera di profondità (risoluzione 26x30) direttamente alle azioni.
Percezione: Una telecamera di profondità ZED Mini montata sul torso del robot fornisce l'input. Nella simulazione, questo è modellato tramite raycasting con un forte sottocampionamento per imitare rumore e artefatti del mondo reale.
Progettazione della Ricompensa: L'addestramento utilizza Funzioni di Lyapunov di Controllo (CLF-RL). Vengono definite funzioni quadratiche di Lyapunov per gli obiettivi di tracciamento (bacino, piede oscillante, giunti). La funzione di ricompensa è composta da due termini:
1. Un termine che incoraggia un tracciamento ravvicinato del segnale di riferimento.
2. Un termine che incentiva il soddisfacimento della condizione di decrescenza di Lyapunov (assicurando che il sistema si muova verso il riferimento).
  Questo approccio densifica il segnale di ricompensa, fornendo feedback anche quando il tracciamento è imperfetto ma in miglioramento.
Attore-Critico Asimmetrico: L'attore riceve propriocettione e dati di profondità rumorosi, mentre il critico riceve osservazioni prive di rumore e informazioni privilegiate (riferimenti reali, stati di contatto, ecc.).

3. Stack di Autonomia di Navigazione

La politica di locomozione addestrata è integrata in uno stack di autonomia completo tramite una pulita interfaccia di velocità SE(2).

Pianificatore: Un pianificatore a Controllo Predittivo di Modello (MPC) opera su un singolo integratore con modello di assetto. Prende una posa di obiettivo e una mappa dell'ambiente (generata tramite LiDAR e FAST-LIO2) per pianificare percorsi privi di collisioni.
Funzioni di Barriera di Controllo (CBF): L'MPC incorpora vincoli CBF a tempo discreto per garantire l'evitamento degli ostacoli e la robustezza contro gli errori di tracciamento.
Esecuzione: L'MPC produce una traiettoria di comandi di velocità, che vengono tracciati da un controllore a feedback e passati alla politica di locomozione RL.

Contributi Chiave

Sintesi di Riferimenti Condizionati dall'Ambiente: L'articolo introduce la prima pipeline di RL guidato da riferimenti per umanoidi in cui i riferimenti sono modulati online per essere coerenti con la geometria del terreno (scale, pendenze, appoggi discreti) utilizzando un modello LIP a ordine ridotto all'interno del ciclo di addestramento.
Architettura Semplificata: La politica risultante si basa esclusivamente su un MLP senza buffer di storia, eliminando la necessità di distillazione complessa o reti ricorrenti, pur raggiungendo prestazioni comparabili a modelli basati su attenzione.
Integrazione nell'Autonomia in Ciclo Chiuso: Il metodo integra con successo una politica RL percettiva e guidata da riferimenti in uno stack di navigazione standard. Dimostra una navigazione autonoma a lungo orizzonte (>70m) su Unitree G1 attraverso ambienti esterni contenenti terreni accidentati e voli consecutivi di scale, con tutti i sensori e il calcolo a bordo.

Risultati

Simulazione

Prestazioni di Tracciamento: Condizionare i riferimenti all'ambiente ha migliorato significativamente le prestazioni di tracciamento rispetto all'uso di riferimenti non modificati (agnostici rispetto all'ambiente). Su terreno a scale, l'errore di tracciamento è stato ridotto di un fattore due.
Complessità del Modello: La semplice politica basata su MLP ("Noi") ha raggiunto errori di tracciamento statisticamente simili a un'architettura più complessa con cross-attention ("Noi (Attn)") su terreni piatti, in pendenza e a scale. Tuttavia, la versione MLP ha richiesto significativamente meno VRAM (14 GB contro 60 GB) ed è più facile da implementare.

Dispiegamento Hardware

Piattaforma: Robot umanoide Unitree G1 equipaggiato con una telecamera di profondità ZED Mini e un LiDAR Livox MID360.
Prestazioni: Il sistema ha eseguito con successo la navigazione autonoma in ciclo chiuso in ambienti esterni incentrati sull'uomo.
- Scale: Il robot ha navigato autonomamente 15 scale consecutive.
- Lungo Orizzonte: Il robot ha percorso oltre 70 metri, attraversando radici di alberi, terreni accidentati, cordoli e due serie di scale.
- Transizione Interno/Esterno: Il robot ha salito scale esterne, è entrato in un edificio e ha salito scale interne.
Confronto: A differenza di lavori precedenti che si affidano a controllori ciechi basati su modelli per la navigazione o a metodi RL percettivi non integrati negli stack di autonomia, questo lavoro dimostra una politica guidata da riferimenti e condizionata dalla percezione che funge da strato di locomozione per uno stack di autonomia completo.

Significato e Affermazioni

L'articolo afferma che questo lavoro colma il divario tra locomozione guidata da riferimenti ad alte prestazioni e autonomia di navigazione pratica. Sintetizzando riferimenti coerenti con il terreno durante l'addestramento, il metodo permette alla politica RL di apprendere comportamenti robusti per ambienti non strutturati senza richiedere architetture complesse basate sulla storia.

Il significato risiede nell'interfaccia di velocità SE(2), che consente alla politica di locomozione di essere un componente "plug-and-play" per i pianificatori di navigazione standard. Ciò permette il dispiegamento di locomozione umana agile e percettiva in scenari reali (scale, terreni accidentati) precedentemente inaccessibili ai metodi guidati da riferimenti a causa della loro mancanza di condizionamento ambientale e compatibilità con la pianificazione. Gli autori posizionano questo come un passo verso la navigazione umana generale in ambienti incentrati sull'uomo, andando oltre il terreno pianeggiante o i terreni personalizzati costruiti in laboratorio.