Sintesi Tecnica: Mind Your Steps: Un quadro di apprendimento generale per il tracciamento accurato dei passi degli umanoidi

Problematica

Abilitare i robot umanoidi a navigare in ambienti complessi e dinamici rimane una sfida critica, limitata principalmente dalla capacità di posizionare i piedi in modo sicuro e accurato. Sebbene l'apprendimento per rinforzo (RL) con policy basate su comandi di velocità abbia ottenuto robustezza nella locomozione, esso manca di un controllo esplicito sul posizionamento del piede. Questa limitazione porta spesso a comportamenti insicuri (ad esempio, calpestare ostacoli o esseri umani) e a una navigazione imprecisa, il che ostacola le successive attività di manipolazione.

Al contrario, le policy di tracciamento esplicito del passo offrono un'alternativa promettente comandando direttamente le pose target del piede. Tuttavia, gli approcci esistenti soffrono di significative limitazioni:

• Assunzioni Irrealistiche: Molti si basano su una stima precisa dello stato della base (localizzazione) o su flag binari di contatto al suolo, che sono difficili da stimare accuratamente nel mondo reale.
• Mancanza di Generalità: La maggior parte è confinata alla simulazione, limitata a una semplice camminata in avanti su terreno piano, o incorporata come componenti rigidi all'interno di pipeline monolitiche specifiche, impedendo un'integrazione fluida con diverse attività a valle.
• Fragilità: I metodi che utilizzano target nel frame della radice (root-frame) sono altamente sensibili agli errori di localizzazione, mentre quelli che si affidano a pipeline di percezione complesse spesso faticano a generalizzare.

Metodologia

Gli autori propongono un nuovo framework leggero e model-free per l'addestramento di policy di tracciamento del passo 3D general-purpose. L'innovazione principale risiede in un'architettura di addestramento e deployment che scinde il controllore low-level dai pianificatori high-level e dalle assunzioni specifiche sul terreno.

1. Formulazione dell'Obiettivo e delle Osservazioni

La policy è progettata per essere agnostica rispetto al pianificatore high-level. Le scelte chiave di progettazione includono:

• Rappresentazione nel Frame del Piede in Appoggio (Stance-Foot Frame): A differenza dei lavori precedenti che esprimono i target nel frame della base (root) del robot, questo framework esprime i target del passo (posizione e orientamento yaw) rispetto al piede in appoggio attuale.
  • Beneficio: Il target rimane costante durante tutta la fase di oscillazione (swing phase), eliminando la necessità di una stima precisa e in tempo reale dello stato della base per aggiornare i target.
• Osservazioni in Input: La policy si basa esclusivamente sulla propriocezione (orientamento della base, velocità angolare, posizioni/velocità dei giunti), l'azione precedente, la fase del passo e l'obiettivo del passo.
• Esclusione dei Flag di Contatto: Il framework evita l'uso di flag binari di contatto al suolo, che sono inaffidabili sull'hardware, affidandosi invece alle variabili della fase del passo per gestire le transizioni swing/stance.

2. Architettura di Addestramento

• Algoritmo: Gli autori utilizzano l'Asymmetric Proximal Policy Optimization (PPO).
• Struttura dell'Agente: Un'architettura actor-critic in cui l'actor riceve osservazioni propriocettive, e il critic ha accesso agli stati privilegiati della simulazione (ad esempio, la velocità lineare della base).
• Goal Sampler (GS): Un componente modulare utilizzato durante l'addestramento per generare target di passo 3D fattibili.
  • Campiona direzioni di movimento, lunghezze del passo e offset verticali rispetto al piede in appoggio attuale.
  • Utilizza una modalità "hold-still" (stare fermi) per abilitare le capacità di stazione eretta.
  • Fondamentalmente, il GS opera solo in simulazione; durante il deployment, viene sostituito da pianificatori specifici per il compito (ad esempio, stimatori basati sulla visione o interfacce di teleoperazione).
• Apprendimento con Curriculum (Curriculum Learning): L'addestramento inizia su terreno piano per apprendere un tracker planare robusto, seguito da un fine-tuning su terreni 3D completi con pilastri mobili che si adattano alle altezze campionate.

3. Progettazione della Ricompensa (Reward Design)

La funzione di ricompensa bilancia l'accuratezza del tracciamento con uno stile di locomozione naturale:

• Termini di Tracciamento del Passo: Penalizzano esplicitamente gli errori nella posizione 3D (planare e altezza) e nell'orientamento yaw per il piede in oscillazione. La ricompensa di stance mantiene l'accuratezza raggiunta al momento del contatto.
• Termine di Oscillazione del Piede (Feet Swing): Incoraggia il sollevamento del piede durante la specifica finestra della fase di oscillazione definita dal clock del passo.
• Termine dell'Altezza del Ginocchio in Oscillazione: Incoraggia il sollevamento del ginocchio della gamba in oscillazione per garantire un'altezza di scollamento sufficiente, prevenendo collisioni con gradini o ostacoli.
• Stile di Locomozione: I termini di penalità (adattati da LocoMuJoCo) impongono un movimento naturale senza fare affidamento su dati di motion capture.

Contributi Chiave

1. Framework General-Purpose: Un framework model-free per l'addestramento di policy di tracciamento del passo 3D che è agnostico rispetto ai pianificatori high-level ed è pronto per il deployment immediato.
2. Rappresentazione del Target Robusta: L'introduzione di una formulazione nel frame del piede in appoggio che rimuove la dipendenza dalla precisa localizzazione della base, migliorando significativamente la robustezza contro il rumore della stima dello stato.
3. Modularità: La policy agisce come un controllore low-level standalone che può essere accoppiato senza problemi con vari generatori high-level (ad esempio, pianificatori basati sulla visione, teleoperazione).
4. Trasferimento Sim-to-Real Zero-Shot: Deployment riuscito sull'hardware umanoide Booster T1 utilizzando un semplice generatore di passi basato sulla visione, dimostrando la viabilità del framework senza sistemi di localizzazione esterni.

Risultati Sperimentali

Il framework è stato valutato estensamente in simulazione e su hardware reale (Booster T1).

Esperimenti in Simulazione

• Raggiungimento dell'Obiettivo: La policy di tracciamento del passo (FT) ha raggiunto i target in modo significativamente più veloce e accurato rispetto a una baseline di tracciamento della velocità (VT) allo stato dell'arte. Man mano che la soglia di successo si stringeva, le prestazioni della policy VT degradavano bruscamente (aumento del 18,9% nel tempo), mentre la policy FT rimaneva stabile (aumento del 5,3%).
• Ablazione del Frame: Quando è stato iniettato del rumore nelle stime dello stato della base, le prestazioni della policy in root-frame (FT-R) sono degradate bruscamente, mentre la policy nel frame del piede in appoggio (FT) è rimasta inalterata, validando la robustezza della formulazione proposta.
• Attraversamento di Ponti Stretti: In scenari con larghezze di ponte anche di soli 0,15 m (più stretti del piede), il controllore VT ha visto il suo tasso di successo crollare drasticamente, mentre il controllore FT ha mantenuto tassi di successo quasi perfetti centrando esplicitamente i passi.
• Ambienti Complessi:
  • Navigazione in Ambienti Ingombrati: Ha navigato con successo in ambienti con fino a 20 ostacoli utilizzando un pianificatore A*.
  • Scale: Ha dimostrato un attraversamento robusto di scale dritte e a chiocciola con diverse altezze e lunghezze dei gradini. La policy si è adattata a diverse geometrie, con modalità di fallimento che passavano dal contatto con lo spigolo (gradini corti) a problemi di equilibrio (gradini lunghi).
  • Rampe: Ha attraversato con successo rampe continue nonostante l'addestramento fosse avvenuto solo su gradini discreti (tramite pilastri mobili), confermando forti capacità di generalizzazione.

Deployment nel Mondo Reale

• Configurazione: La policy è stata implementata sull'umanoide Booster T1 utilizzando una telecamera RealSense D452 a bordo per rilevare marcatori circolari blu posizionati sul pavimento.
• Prestazioni: Il sistema ha raggiunto un tasso di successo del 93,08% nel calpestare i target designati mantenendo una locomozione stabile.
• Sfide: Le principali fonti di errore sono state il blur dell'immagine indotto dal movimento e gli artefatti della sensoristica di profondità. È stato implementato un semplice meccanismo di compensazione del ritardo per gestire le latenze di comunicazione e inferenza.
• Risultato: L'esperimento ha verificato che la policy può essere integrata con una percezione visiva imperfetta per supportare attività a valle senza dipendere da sistemi di localizzazione esterni.

Significato e Rivendicazioni

Il paper sostiene che questo lavoro affronta il divario fondamentale tra pianificazione high-level ed esecuzione low-level nella locomozione umana. Fornendo un controllo esplicito e robusto sul posizionamento del piede, il framework abilita:

• Sicurezza: La capacità di vincolare il posizionamento dei piedi a regioni di contatto valide e sicure, prevenendo comportamenti pericolosi come calpestare ostacoli.
• Precisione: Maggiore accuratezza nel raggiungere i target e nell'attraversare ambienti ristretti (ponti stretti, scale) rispetto agli approcci basati sulla velocità.
• Versatilità: Un blocco fondamentale per complesse attività di loco-manipolazione in scenari critici per la sicurezza, capace di operare in contesti reali senza la necessità di una localizzazione precisa o di pipeline complesse e specifiche per il compito.

Gli autori sottolineano che, sebbene il framework dimostri miglioramenti significativi in agilità e accuratezza, è progettato come uno strumento general-purpose destinato ad essere accoppiato con diversi pianificatori a monte, piuttosto che come una soluzione monolitica per tutti i problemi di navigazione.