Riepilogo Tecnico: LadderMan

Problematica

Permettere ai robot umanoidi di operare in ambienti centrati sull'uomo richiede capacità robuste di salita su scale. Tuttavia, questo compito presenta sfide significative rispetto alla locomozione su terreni pianeggianti o alla salita di scale a gradini. La salita su scale richiede una coordinazione precisa e sostenuta tra i contatti della parte superiore e inferiore del corpo su appoggi sparsi, discontinui e stretti. Piccoli errori nella percezione o nel controllo possono portare a fallimenti catastrofici. Inoltre, le scale reali variano significamente in termini di inclinazione, spaziatura dei pioli e design strutturale, rendendo difficile la generalizzazione. Gli approcci esistenti spesso si affidano al controllo basato su modelli che richiedono una modellazione accurata dell'ambiente e una calibrazione specifica per il compito, oppure a metodi di apprendimento per rinforzo (RL) che producono comportamenti dominati dalla parte inferiore del corpo, fallendo nell'esprimere la coordinazione di tutto il corpo. Inoltre, pochi metodi affrontano la manipolazione sulla scala, dove il robot deve mantenere l'equilibrio mentre esegue compiti.

Metodologia

Gli autori propongono LadderMan, un sistema unificato per la salita su scale percettiva degli umanoidi e la manipolazione sulla scala. Il sistema impiega una pipeline di apprendimento a due stadi scalabile e un framework a doppio agente per la manipolazione.

1. Apprendimento di Molteplici Politiche Esperte (Stadio 1)

Per evitare la necessità di grandi dataset di movimento che coprano geometrie diverse, gli autori introducono il hybrid motion tracking (tracciamento del movimento ibrido).

• Singolo Movimento di Riferimento: Il sistema apprende molteplici politiche esperte basate sullo stato ($\pi_{\phi,z}^{expert}$) corrispondenti a diverse configurazioni di scala (inclinazione $\phi$, spaziatura dei pioli $z$) partendo da un singolo movimento di riferimento.
• Tracciamento Asimmetrico: Il reward di tracciamento è suddiviso in componenti della parte superiore e inferiore del corpo. La parte inferiore viene tracciata rigorosamente per garantire comportamenti di salita stabili, mentre la parte superiore viene tracciata con vincoli rilassati per consentire l'adattamento alle specifiche geometrie della scala.
• Adattamento Guidato dal Compito: Il sistema incorpora reward di contatto centrati sulla scala e reward di salita. Le posizioni di contatto vengono generate automaticamente in base alla geometria target della scala, consentendo alla politica di adattare le posizioni di contatto senza annotazione manuale per ogni configurazione.

2. Distillazione Unificata della Politica Visuomotoria (Stadio 2)

Le molteplici politiche esperte vengono distillate in un'unica politica visuomotoria basata sulla profondità ($\pi_{visual}$) utilizzando l'apprendimento ibrido per imitazione e rinforzo.

• Obiettivo Ibrido: La politica è ottimizzata utilizzando una combinazione di un obiettivo RL basato su PPO (utilizzando gli stessi reward degli esperti) e un termine di divergenza KL per incoraggiare l'imitazione dei comportamenti esperti. Il peso del termine di imitazione viene ricalibrato (annealing) durante l'addestramento, permettendo una transizione da un'inizializzazione guidata dall'imitazione a un'ottimizzazione guidata dal compito.
• Input: La politica unificata riceve come input propriocezione, osservazioni di profondità e un comando binario di direzione di salita.

3. Colmare il Gap Sim-to-Real

Per consentire il trasferimento zero-shot su hardware reale, gli autori affrontano il gap sim-to-real nella percezione della profondità, fondamentale per i pioli sottili delle scale.

• Modello di Visione Fondazionale (VFM): Invece di fare affidamento su un'estesa randomizzazione della profondità, il sistema utilizza un VFM pre-addestrato (Fast-FoundationStereo) per elaborare immagini stereoscopiche in scala di grigi del mondo reale in mappe di profondità. Ciò fornisce osservazioni di profondità più pulite e geometricamente coerenti.
• Mascheramento Focalizzato sui Pioli (RFM): Durante l'addestramento, le regioni non appartenenti ai pioli vengono mascherate con una probabilità di $p=0.1$ per costringere la politica a concentrarsi sulle strutture di salita rilevanti per il compito piuttosto che sulla geometria dello sfondo o su supporti specifici della scala.

4. Manipolazione sulla Scala tramite Apprendimento a Doppio Agente

Per i compiti di manipolazione durante la permanenza sulla scala, gli autori impiegano una formulazione a doppio agente per disaccoppiare la stabilizzazione dalla manipolazione.

• Agente della Parte Inferiore ($\pi_l$): Responsabile del mantenimento di un equilibrio stabile e dei contatti con la scala.
• Agente della Parte Superiore ($\pi_u$): Traccia i target di manipolazione teleoperati (pose di braccio, polso, vita).
• Disaccoppiamento: Utilizzando reti actor-critic separate, il sistema riduce l'interferenza tra gli obiettivi di stabilizzazione e quelli di manipolazione, consentendo una teleoperazione stabile di tutto il corpo sulla scala.

Contributi Chiave

1. Sistema Percettivo Unificato: LadderMan consente una robusta salita su scale sim-to-real zero-shot attraverso diverse geometrie (inclinazione, spaziatura dei pioli, struttura) utilizzando un singolo movimento di riferimento e un controllo visuomotorio basato sulla profondità.
2. Hybrid Motion Tracking: Un metodo innovativo per apprendere molteplici politiche di salita da un singolo movimento di riferimento combinando un tracciamento rilassato della parte superiore del corpo con un adattamento del contatto guidato dal compito, eliminando la necessità di grandi dataset di movimento.
3. Percezione Sim-to-Real: L'integrazione di un Modello di Visione Fondazionale e del mascheramento focalizzato sui pioli per colmare il gap della percezione della profondità, consentendo il deployment su hardware reale senza estese modifiche manuali o hardware.
4. Manipolazione Stabile sulla Scala: Un framework di apprendimento a doppio agente che abilita con successo compiti di manipolazione complessi (es. regolare quadri, sostituire lampadine) mantenendo l'equilibrio sulla scala, superando le standard politiche di teleoperazione di tutto il corpo.

Risultati Sperimentali

Il sistema è stato valutato su un umanoide Unitree G1 da 1.3m e 29-DoF utilizzando una telecamera Intel RealSense D435i e NVIDIA Jetson Orin.

• Prestazioni nel Mondo Reale: LadderMan ha scalato con successo tre diverse scale reali (variando per angolo, spaziatura e materiale) in modo zero-shot. Ha raggiunto una velocità di salita di circa 3.4 secondi per piolo, paragonabile ai soggetti umani (~3.2 s/piolo).
• Manipolazione: Il sistema ha eseguito con successo compiti di regolazione di quadri, sostituzione di lampadine e consegna di scatole mantenendo l'equilibrio.
• Generalizzazione: In simulazione, la politica ha raggiunto tassi di successo >95% su scale con spaziatura dei pioli tra 24-28 cm e inclinazioni tra 55-65 gradi. Ha mantenuto circa il 57% di successo anche in configurazioni limite estreme.
• Studi di Ablazione:
  • Apprendimento dell'Esperto: Il tracciamento del movimento standard falliva su geometrie diverse dal riferimento, mentre l'hybrid motion tracking aveva successo in tutte le configurazioni testate.
  • Sim-to-Real: Rimuovere il VFM, il mascheramento focalizzato sui pioli o la componente RL nella fase di distillazione riduceva significativamente i tassi di successo nel mondo reale, con alcune varianti che fallivano completamente.
  • Manipolazione: La politica a doppio agente ha mantenuto un equilibrio stabile durante la manipolazione, mentre un baseline allo stato dell'arte (TWIST2) perdeva frequentemente l'equilibrio.

Significato e Limitazioni

L'articolo sostiene che LadderMan rappresenti una pietra miliare fondamentale per il deployment di umanoidi in ambienti industriali (costruzione, manutenzione) risolvendo il complesso problema della salita su scale percettiva e della manipolazione senza modifiche hardware.

Limitazioni riconosciute dagli autori:

• La politica di salita è attualmente valutata su scale inclinate fino a 75 gradi e non si estende ancora a scale verticali, che richiedono strategie differenti e forze di contatto maggiori.
• Le capacità di manipolazione sono attualmente limitate dall'assenza di end-effector dotati di destrezza sull'attuale hardware.

Gli autori dichiarano che tutto il codice di addestramento e inferenza, insieme ai modelli deployable, sarà reso open-source.