Sintesi Tecnica: Apprendimento per Rinforzo Gerarchico Basato sull'Affordance per la Pedipulazione di Quadrupedi

Definizione del Problema

La manipolazione autonoma di oggetti da parte di robot quadrupedi rimane una sfida significativa nella ricerca. Sebbene studi precedenti abbiano utilizzato con successo l'apprendimento per rinforzo (RL) per l'apprendimento di policy di basso livello (locomozione e manipolazione di base), l'esecuzione dei compiti in ambienti a mondo aperto dipende spesso da traiettorie ad alto livello progettate da esperti. Nello specifico, la selezione autonoma sia di una posa del corpo del robot che sia fattibile, sia di un punto di interazione accessibile sull'oggetto target, è un ambito poco esplorato. Questa lacuna è critica perché la manipolazione di oggetti su terreni irregolari introduce complessità quali la geometria superficiale non modellata, l'attrito sconosciuto e la necessità di mantenere l'equilibrio sulle restanti zampe mentre un arto interagisce con l'oggetto. Gli approcci attuali spesso mancano della capacità di identificare autonomamente pose consapevoli dell'affordance che tengano conto della raggiungibilità dell'oggetto, delle caratteristiche del terreno locale e delle caratteristiche superficiali senza guida umana.

Metodologia

Gli autori propongono un framework di apprendimento per rinforzo (RL) gerarchico a tre livelli che integra l'analisi dell'affordance basata sulla visione con policy di controllo disaccoppiate. Il sistema è progettato per navigare autonomamente verso un oggetto target, identificare un punto di interazione fattibile ed eseguire un compito di "pedipulazione" (manipolazione tramite le zampe del robot).

1. Architettura Gerarchica

Il framework consiste di tre livelli distinti:

• Alto Livello (Affordance della Posa e Navigazione): Un modulo basato sulla visione elabora i dati della nuvola di punti LiDAR per segmentare il terreno e gli oggetti. Calcola le pendenze locali del terreno e la geometria dell'oggetto per generare una posa del corpo obiettivo accessibile (posizione e orientamento/heading) per il robot. Questa posa assicura che il robot sia entro portata dell'oggetto e orientato correttamente rispetto alla pendenza del terreno.
• Livello Medio (Policy di Navigazione): Questa policy riceve la posa obiettivo e lo stato del robot (velocità, orientamento) per predire i comandi di velocità. Guida il controllore di basso livello in modo a ciclo chiuso per raggiungere la posizione target del corpo.
• Basso Livello (Policy di Locomozione e Pedipulazione):
  • Locomozione: Una policy pre-addestrata emette posizioni articolari per eseguire i comandi di velocità provenienti dal livello di navigazione.
  • Pedipulazione: Una volta che il robot raggiunge la posa obiettivo, il sistema passa alla policy di pedipulazione. Questa policy è condizionata da waypoint di alto livello generati tramite interpolazione spline cubica tra una posizione "home", un punto di contatto identificato dalla visione sull'oggetto e un punto di offset intermedio. La policy controlla l'end-effector (specificamente la zampa anteriore destra) per spingere l'oggetto mantenendo l'equilibrio con le altre tre zampe.

2. Pianificazione Basata sull'Affordance

L'innovazione principale risiede nel modulo di affordance della posa. Invece di affidarsi a traiettorie predefinite, il sistema calcola dinamicamente:

• Posa del Corpo Obiettivo: Derivata dal centro dell'oggetto, dalla direzione di spinta desiderata e dalla pendenza locale del terreno.
• Punto di Interazione: Determinato analizzando la geometria della superficie dell'oggetto per trovare il punto più vicino all'end-effector, massimizzando la lunghezza della traiettoria di contatto.
• Generazione della Traiettoria: Una spline cubica viene costruita per garantire transizioni fluide con vincoli di velocità nulli nei punti di inizio e fine, con l'altezza limitata per motivi di sicurezza.

3. Addestramento e Implementazione

• Ambiente: Le policy sono state addestrate nell'ecosistema Isaac Sim utilizzando la piattaforma quadrupedale Unitree Go2.
• Algoritmo: Architettura actor-critic con Proximal Policy Optimization (PPO).
• Randomizzazione del Dominio: L'addestramento ha incluso la randomizzazione della massa della base, del centro di massa, delle forze esterne e delle pendenze del terreno per garantire la robustezza.
• Deployment nel Mondo Reale: Il sistema è stato implementato utilizzando un framework ROS2 con un Error State Extended Kalman Filter (ESEKF) per la stima dello stato e una macchina a stati finiti (FSM) per gestire le modalità operative.

Contributi Chiave

Il documento delinea quattro contributi primari:

1. Generazione di Comandi di Posa Basata sull'Affordance Visiva: Un modulo che genera pose obiettivo sia per la base del robot che per l'end-effector, tenendo esplicitamente conto di raggiungibilità, pendenza del terreno e caratteristiche della superficie dell'oggetto.
2. Framework di RL Gerarchico Multi-livello: Un sistema che consente la navigazione e la pedipulazione completamente autonome, dove i comportamenti di alto livello astraggono le policy di basso livello come scatole nere.
3. Trasferimento Sim-to-Real: Un'implementazione di successo che dimostra la capacità del sistema di trasferirsi dalla simulazione ad ambienti reali esterni e non strutturati.
4. Dataset di Interazione con Oggetti: Un dataset contenente la telemetria del robot (inclusa la retroazione della forza dell'end-effector), le caratteristiche dell'oggetto e le pose di interazione, destinato a facilitare ulteriori ricerche nell'esplorazione degli oggetti.

Risultati Sperimentali

Il framework è stato valutato sia in simulazione che in contesti reali che coinvolgevano il posizionamento casuale di oggetti su diverse pendenze.

• Simulazione:
  • Efficacia dell'Affordance: Gli esperimenti hanno mostrato che l'uso della posa obiettivo basata sull'affordance (che incorpora la pendenza del terreno) ha prodotto un'efficienza di spostamento dell'oggetto maggiore rispetto a pose casuali o fisse.
  • Selezione del Punto di Contatto: La selezione del punto di interazione più vicino all'end-effector ha prodotto l'efficienza più elevata (spostamento per unità di forza), superando le strategie basate sulla prossimità alla base del robot o ai centri geometrici.
• Mondo Reale:
  • Navigazione: Il robot ha raggiunto un errore di posizione medio di 0,12 m e un errore di yaw medio di 16,37° raggiungendo le pose obiettivo su pendenze fino a circa 9°.
  • Pedipulazione: Il sistema ha raggiunto un tasso di successo dell'86% per l'interazione con l'oggetto (definita da una soglia di forza di 25 N).
  • Prestazioni: Negli esperimenti riusciti, il robot ha ottenuto uno spostamento medio dell'oggetto di 0,17 m con una forza di contatto di picco media di 33 N, risultando in un punteggio di efficienza medio di 0,51 m N⁻¹.
  • Robustezza: Il sistema ha gestito con successo le transizioni dinamiche dalla navigazione alla manipolazione senza intervento umano, affidandosi solo a controlli di sicurezza tramite controller wireless.

Significato e Rivendicazioni

Il documento afferma che questo lavoro affronta una lacuna critica nell'automazione robotica consentendo la pianificazione della pedipulazione centrata sull'oggetto in ambienti a mondo aperto. A differenza dei metodi precedenti che si affidano alla guida di esperti o si concentrano esclusivamente sul controllo di basso livello, questo framework permette a un robot quadrupedo di:

• Identificare autonomamente pose del corpo e punti di interazione fattibili basati sulle affordance visive.
• Eseguire compiti di manipolazione complessi (spingere oggetti) senza traiettorie pre-progettate o dimostrazioni umane.
• Operare efficacemente in ambienti non strutturati con pendenze del terreno variabili.

Gli autori posizionano questa capacità come altamente rilevante per applicazioni quali l'esplorazione planetaria, la raccolta di campioni e le operazioni di soccorso, dove la teleoperazione in tempo reale è impraticabile a causa della latenza o del pericolo. Lo studio sottolinea che il sistema raggiunge una manipolazione destra utilizzando l'hardware delle zampe esistente, evitando la necessità di bracci manipolatori aggiuntivi, sfruttando così la manovrabilità intrinseca dei robot quadrupedi. Gli autori notano con modestia che, sebbene il sistema sia efficace, l'accumulo di errori attraverso i componenti interconnessi (visione, stima dello stato, controllo) rimane una sfida per i compiti ad alta precisione, e il lavoro futuro si concentrerà sullo sfruttamento dei dati raccolti per apprendere migliori rappresentazioni centrate sull'oggetto.