Sintesi Tecnica: Ora lo vedi: Apprendimento della locomozione end-to-end per robot umanoidi dai pixel grezzi

1. Enunciato del Problema

Raggiungere una locomozione robusta basata sulla visione per robot umanoidi rimane una sfida significativa nell'intelligenza incarnata. A differenza dei robot quadrupedi, che possiedono una stabilità statica intrinseca che tollera errori di controllo moderati, gli umanoidi operano in regimi intrinsecamente instabili che richiedono un coordinamento preciso tra percezione e azione. Il documento identifica due barriere fondamentali per il dispiegamento di tali sistemi nel mondo reale:

1. Il divario Sim-to-Real nella percezione: Le pipeline di simulazione standard non riescono a catturare le imperfezioni strutturate dei sensori di profondità del mondo reale (ad esempio, artefatti di abbinamento stereo, incertezze di calibrazione e rumore dipendente dalla profondità). Questo rumore percettivo degrada severamente le prestazioni in compiti a grana fine che richiedono precisione al centimetro, come l'attraversamento di lunghe scale o la navigazione in spazi stretti.
2. Obiettivi di apprendimento conflittuali nel controllo unificato: L'addestramento di una singola politica per gestire terreni diversi (ad esempio, scale, spazi vuoti, terreni accidentati, piattaforme) è ostacolato da paesaggi di ricompensa conflittuali. L'apprendimento per rinforzo standard con una singola funzione di valore fatica a catturare queste dinamiche eterogenee, richiedendo spesso l'addestramento di politiche specialiste separate, il che comporta un sovraccarico sostanziale.

2. Metodologia

Gli autori propongono un framework end-to-end che affronta sia il trasferimento percettivo sia il controllo unificato del terreno attraverso una pipeline di addestramento in due fasi.

A. Simulazione realistica del sensore di profondità

Per colmare il divario sim-to-real, gli autori introducono una pipeline di augmentazione completa che applica sequenzialmente otto operatori alle immagini di profondità grezze. A differenza della randomizzazione del dominio standard, questa pipeline modella esplicitamente gli artefatti strutturati del sensore:

• Fusione della profondità stereo: Simula pattern di buchi nelle regioni occluse e senza texture imponendo controlli di coerenza della disparità tra le viste sinistra e destra.
• Rumore dipendente dalla profondità: Modella la crescita non lineare del rumore con la distanza utilizzando una scalatura quadratica.
• Pattern di rumore strutturato: Utilizza il rumore di Perlin multi-ottava per simulare interferenze ambientali correlate spazialmente.
• Distorsioni ottiche: Applica convoluzioni randomizzate per modellare le aberrazioni delle lenti.
• Incertezze di calibrazione: Randomizza la scalatura della profondità, i parametri intrinseci ed estrinseci della telecamera per simulare variazioni di produzione e derive.
• Pre-elaborazione: Include la simulazione di guasti dei pixel (pixel morti/saturati), il taglio della profondità e il ritaglio spaziale per corrispondere alle caratteristiche reali del sensore.

B. Apprendimento per rinforzo privilegiato (Insegnante)

La prima fase comporta l'addestramento di una politica "privilegiata" utilizzando osservazioni pulite di scansioni di altezza (mappe di elevazione ottenute tramite ray-cast) invece delle immagini di profondità grezze. Per gestire terreni diversi, gli autori impiegano:

• Modellazione della ricompensa specifica per il terreno: I terreni sono suddivisi in tre categorie (scale/piattaforme, attraversamento di spazi vuoti e terreno accidentato), ciascuna con componenti di ricompensa specializzate.
• Architettura multi-critico e multi-discriminatore: Invece di una singola funzione di valore, il sistema utilizza $K=3$ reti critiche dedicate e $K=3$ reti discriminatorie. Ogni coppia è specializzata per una specifica categoria di terreno, condividendo un backbone comune ma mantenendo teste di output separate. Ciò consente alla politica di apprendere prior di movimento e paesaggi di valore distinti per diversi regimi dinamici operando all'interno di un'architettura unificata.
• Prior di movimento avversari (AMP): I discriminatori forniscono ricompense di stile adattate alle caratteristiche di movimento richieste per ogni tipo di terreno, guidando una locomozione naturale.

C. Distillazione del comportamento consapevole della visione (Studente)

La seconda fase distilla la politica privilegiata in una politica di dispiegamento che opera direttamente su immagini di profondità rumorose e augmentate. Questo processo combina:

• Clonazione del comportamento: Minimizzazione della discrepanza di azione tra lo studente (input di profondità) e l'insegnante (input di scansione di altezza).
• Obiettivo di denoising: Imposizione della coerenza tra le rappresentazioni latenti della profondità pulita e della profondità augmentata rumorosa per garantire un'estrazione di caratteristiche robusta.
• Regolarizzazione delle caratteristiche: Applicazione della regolarizzazione della divergenza KL per prevenire il collasso della rappresentazione facendo corrispondere la distribuzione delle caratteristiche del codificatore a un prior normale standard.

3. Contributi Chiave

Il documento delinea quattro contributi principali:

1. Simulazione realistica del sensore di profondità: Una pipeline di augmentazione completa che riproduce artefatti di abbinamento stereo, rumore dipendente dalla profondità, distorsioni ottiche e incertezze di calibrazione, facilitando un trasferimento sim-to-real senza soluzione di continuità.
2. Distillazione del comportamento consapevole della visione: Un framework che combina la modellazione dello spazio latente con compiti ausiliari invarianti al rumore (denoising e regolarizzazione KL) per trasferire la conoscenza della locomozione dalle osservazioni privilegiate agli input di profondità rumorosi.
3. Apprendimento del terreno multi-critico e multi-discriminatore: Un'architettura di politica unificata che utilizza la modellazione della ricompensa specifica per il terreno e reti dedicate per catturare dinamiche e prior di movimento distinti su terreni diversi senza richiedere politiche specialiste separate.
4. Validazione cross-piattaforma: Estesi esperimenti nel mondo reale su due robot umanoidi con diverse telecamere di profondità stereo, che dimostrano un attraversamento riuscito di terreni estremi e a grana fine senza fine-tuning.

4. Risultati Sperimentali

L'approccio è stato validato su un robot umanoide personalizzato equipaggiato con una telecamera di profondità Orbbec Gemini 336L e valutato sul Benchmark di trasferimento della profondità nel mondo reale (RDT-Bench), che utilizza immagini di profondità augmentate con CycleGAN per simulare condizioni percettive realistiche.

• Metriche di prestazione: Il metodo proposto ha raggiunto un tasso di successo medio del 98,9% su quattro configurazioni di terreno (scale, spazi vuoti, piattaforme e misto), con un consumo energetico medio di $27.7 \times 10^1$ W e un Rapporto di Degrado Energetico (PDR) di solo 5,8%.
• Confronti:
  • Rispetto a "Nessuna augmentazione" (43,0% di successo, 70,9% PDR), la pipeline completa ha dimostrato l'importanza critica della modellazione realistica del sensore.
  • Rispetto a "Apprendimento del parkour umanoide" (71,0% di successo, 30,9% PDR), il metodo proposto ha migliorato i tassi di successo del 27,9% e ridotto il degrado energetico del 25,1%.
  • Gli studi di ablazione hanno confermato che la rimozione dell'architettura multi-critico o degli obiettivi di denoising ha degradato significativamente le prestazioni, validando la necessità sia dell'apprendimento specifico per il terreno sia dell'estrazione di caratteristiche invariante al rumore.
• Dispiegamento nel mondo reale: Sull'hardware fisico, la politica ha raggiunto un tasso di successo complessivo del 97,8% (88/90 prove) su scale esterne, piattaforme, lunghe rampe di scale (30+ gradini) e ampi spazi vuoti. Notevolmente, la politica è stata eseguita interamente a bordo a 50 Hz senza alcun fine-tuning nel mondo reale.
• Generalizzazione cross-piattaforma: Risultati preliminari su un robot Unitree G1 con un sensore diverso (Intel RealSense D435i) hanno mostrato un tasso di successo del 100% nella salita delle scale, suggerendo che le rappresentazioni apprese si generalizzano oltre l'hardware specifico di addestramento.

5. Significato e Affermazioni

Il documento afferma che il suo framework abilita una locomozione umanaide robusta e basata sulla visione end-to-end su un ampio spettro di ambienti impegnativi, dagli ostacoli estremi in stile parkour a compiti a grana fine come l'attraversamento bidirezionale a lungo termine di lunghe scale.

Gli autori sottolineano che il loro approccio unisce con successo il controllo di terreni eterogenei all'interno di una singola politica, superando i limiti dei lavori precedenti che si basavano o su politiche specialiste separate o non riuscivano a gestire il rumore percettivo intrinseco nei sensori di profondità del mondo reale. Combinando la simulazione realistica del sensore con l'apprendimento multi-critico specifico per il terreno e la distillazione consapevole della visione, il metodo raggiunge alti tassi di successo ed efficienza energetica senza richiedere fine-tuning nel mondo reale.

Tuttavia, gli autori notano modestamente un limite: la discesa delle scale rimane meno robusta (86,7% di successo) rispetto alla salita (100% di successo). Attribuiscono ciò all'amplificazione gravitazionale di errori minori durante la discesa e all'occlusione dei punti di appoggio target dai bordi dei gradini, che esacerbano gli artefatti di abbinamento stereo. Questa osservazione motiva lavori futuri su sensori di profondità near-field ad alta risoluzione e strategie di posizionamento predittivo del piede.