Learning Reactive Dexterous Grasping via Hierarchical Task-Space RL Planning and Joint-Space QP Control

Riepilogo Tecnico: Apprendimento della Presa Destra Reattiva tramite Pianificazione RL Gerarchica nello Spazio dei Compiti e Controllo QP nello Spazio delle Giunture

Enunciato del Problema
La presa destra reattiva con mani a multi-grado di libertà (DoF) rimane una sfida significativa a causa delle dinamiche ibride, delle modalità di contatto discontinue e delle complesse interazioni attritive. Le tradizionali pipeline sequenziali (sintesi della presa, pianificazione del movimento, tracciamento della traiettoria) faticano in ambienti dinamici e non strutturati a causa del sovraccarico computazionale e della limitata reattività. Sebbene l'Apprendimento per Rinforzo (RL) offra un'alternativa senza modello, gli approcci end-to-end monolitici affrontano tre limitazioni critiche: (1) un addestramento computazionalmente costoso che scala male con la diversità degli oggetti; (2) un comportamento imprevedibile privo di garanzie formali di sicurezza; e (3) una scarsa dirigibilità, rendendo difficile l'adattamento a nuovi ostacoli o vincoli di sicurezza senza riaddestramento. Gli autori sostengono che queste problematiche derivino dal sovraccaricare un'unica politica, costringendola a risolvere simultaneamente il ragionamento di alto livello sul compito, il coordinamento cinematico di basso livello e la soddisfazione dei vincoli di sicurezza.

Metodologia
Il documento propone un framework di controllo gerarchico ibrido che disaccoppia esplicitamente l'intento spaziale di alto livello dall'esecuzione delle giunture di basso livello. L'architettura è composta da due livelli distinti:

1. Pianificatore RL Multi-Agente di Alto Livello (Spazio dei Compiti):

   • Ispirato al controllo motorio umano, il pianificatore è scomposto in due agenti specializzati addestrati all'interno di un framework di Addestramento Centralizzato con Esecuzione Decentralizzata (CTDE):
     • Agente del Braccio ($\pi_{arm}$): Responsabile del trasporto globale, produce una torsione desiderata del palmo (velocità lineari e angolari) nel riferimento mondiale.
     • Agente della Mano ($\pi_{hand}$): Responsabile della manipolazione locale, produce le velocità lineari desiderate per le punte delle dita rispetto al riferimento del palmo.
   • Osservazioni: Gli agenti utilizzano stati propriocettivi e stati degli oggetti rappresentati da una Scatola Limitante di Volume Minimo (MVBB), evitando la necessità di mesh 3D esplicite o pose di presa precalcolate.
   • Ricompense: Il sistema impiega un indicatore di presa condiviso e ricompense di sollevamento nello spazio dei compiti per incoraggiare la collaborazione, affiancate da regolarizzazione per la fluidità delle azioni.

2. Controllore QP Vincolato di Basso Livello nello Spazio delle Giunture:

   • I comandi di velocità nello spazio dei compiti di alto livello sono elaborati da un solver Quadratic Programming (QP) parallelizzato su GPU.
   • Il QP mappa le velocità nello spazio dei compiti in velocità delle giunture fattibili ($\dot{q}_{des}$) minimizzando l'errore di tracciamento soggetto a vincoli rigorosi:
     • Limiti di posizione e velocità delle giunture.
     • Evitamento delle collisioni (robot-ambiente e auto-collisione).
     • Fattibilità cinematica.
   • L'output del QP viene convertito in comandi di coppia tramite un controllore PD ad alta frequenza.
   • Crucialmente, il solver QP è incorporato direttamente nel ciclo di addestramento RL, garantendo che la politica apprenda di operare entro i vincoli fisici del controllore piuttosto che imparare a evitarli tramite la modellazione delle ricompense.

Contributi Chiave

1. Architettura Gerarchica Ibrida: Un framework che combina RL con un controllore basato sulla fisica esplicito, abilitando un apprendimento efficiente dal punto di vista dei dati, la gestione esplicita dei vincoli e un comportamento dirigibile.
2. Scomposizione Multi-Agente: Dimostrazione che separare la politica in agenti per il trasporto del palmo (braccio) e la manipolazione delle dita (mano) produce prestazioni superiori e una convergenza più rapida rispetto alle politiche monolitiche, in particolare per mani ad alto DoF.
3. Solver QP Parallelizzato su GPU: Lo sviluppo e la pubblicazione open-source di un solver QP parallelizzato su GPU integrato direttamente nella pipeline di addestramento RL, applicabile a vari compiti di manipolazione braccio-mano.
4. Trasferibilità Zero-Shot: Validazione di una presa robusta su oggetti diversi senza modelli espliciti degli oggetti o pose precalcolate, ottenendo un trasferimento sim-to-reale di successo.

Risultati Sperimentali
Il framework è stato validato attraverso estese simulazioni ed esperimenti su hardware reale utilizzando un braccio a 7 DoF equipaggiato con una mano antropomorfa a 20 DoF (ROBOTIS HX5-D20) e una pinza a 2 dita a 8 DoF.

• Prestazioni in Simulazione: L'approccio Multi-Agente ha raggiunto un tasso di successo dell'81,4% sulla mano a 5 dita, superando significativamente le baseline End-to-End (13,2%) e le baseline gerarchiche Single-Agent (80,9%). Ha inoltre dimostrato una precisione di tracciamento della posa superiore (errore di posizione di 4,2 cm, errore di orientamento di 15,9°) rispetto ad altre architetture.
• Trasferimento Sim-to-Real: La politica, addestrata esclusivamente in simulazione, è stata implementata su hardware fisico senza fine-tuning. Ha afferrato e sollevato con successo 22 oggetti su 26 non visti, inclusi oggetti deformabili.
• Robustezza Reattiva: Gli esperimenti su hardware hanno dimostrato la capacità del sistema di riprendersi da disturbi fisici inaspettati (ad esempio, una bottiglia spray spinta via durante l'avvicinamento) e di riprendere oggetti deformabili spostati (un bradipo giocattolo) ricalcolando continuamente le traiettorie nello spazio dei compiti.
• Dirigibilità: Il framework supporta una dirigibilità zero-shot. Gli operatori possono regolare dinamicamente i margini di sicurezza (ad esempio, limiti di velocità delle giunture) o aggiungere campi potenziali repulsivi per l'evitamento degli ostacoli senza riaddestrare la politica.

Significato e Affermazioni
Gli autori affermano che questo isolamento strutturale del processo decisionale nello spazio dei compiti dall'esecuzione di basso livello affronta le limitazioni fondamentali degli approcci RL puri. Consentendo al QP basato sulla fisica di gestire vincoli trattabili (cinematica, sicurezza), la politica RL è libera di concentrarsi esclusivamente sul ragionamento strategico di alto livello. Questo design:

• Accelera la convergenza dell'addestramento riducendo il carico di apprendimento ed evitando segnali di ricompensa conflittuali.
• Garantisce la sicurezza dell'hardware attraverso l'applicazione deterministica dei vincoli piuttosto che la modellazione probabilistica delle ricompense.
• Sblocca la dirigibilità zero-shot, consentendo la regolazione dinamica dei margini di sicurezza e delle strategie di evitamento degli ostacoli dopo l'addestramento.
• Dimostra robustezza in ambienti non strutturati, capace di reagire a disturbi fisici e di generalizzare a geometrie di oggetti non visti utilizzando esclusivamente informazioni spaziali grezze (MVBB).

Il documento conclude che questo approccio ibrido colma il divario tra l'adattabilità dei metodi basati sull'apprendimento e le garanzie di sicurezza dei controlli basati su modello, fornendo una soluzione scalabile per la manipolazione destra reattiva.