Sintesi Tecnica: Benchmarking degli Spazi di Azione nel Reinforcement Learning per la Manipolazione Robotica basata su Visione

Definizione del Problema

Il reinforcement learning (RL) è emerso come un framework potente per il controllo robotico, tuttavia la sua applicazione pratica nella manipolazione nel mondo reale affronta ostacoli significativi riguardanti la sicurezza, la fluidità del movimento e le prestazioni di trasferimento sim-to-real. Una scelta di progettazione critica, sebbene poco esplorata, nelle formulazioni di RL è lo spazio di azione. Sebbene studi precedenti abbiano investigato le rappresentazioni degli spazi di azione (ad esempio, posizione del giunto, coppia, velocità), si sono concentrati ampiamente su osservazioni basate sullo stato all'interno di ambienti esclusivamente simulati. Ciò lascia un vuoto nella comprensione di come la progettazione dello spazio di azione influenzi la dinamica di apprendimento e le prestazioni di trasferimento quando vengono utilizzate osservazioni basate sulla visione (che introducono osservabilità parziale e rumore percettivo), in particolare in compiti ricchi di contatto come il prelievo (picking) e la spinta (pushing).

Metodologia

Gli autori hanno condotto uno studio di benchmarking completo confrontando quattro comuni rappresentazioni degli spazi di azione su due compiti di manipolazione basati sulla visione su un braccio robotico Franka Emika Panda:

1. PandaPickCuboid: Un compito prehensile che richiede al robot di raggiungere, afferrare e sollevare un cuboid rosso fino a un'altezza target.
2. PandaPushCuboid: Un compito non prehensile che richiede al robot di spingere un cuboid su una superficie.

Spazi di Azione Valutati

Lo studio ha confrontato le seguenti rappresentazioni:

• Incremento della Posa ($\delta x$): Incrementi di posizione cartesiana e orientamento.
• Velocità della Posa ($\dot{x}$): Comandi di velocità cartesiana.
• Incremento della Posizione del Giunto ($\delta q$): Incrementi degli angoli dei giunti.
• Velocità del Giunto ($v$): Velocità target dei giunti.

Architettura del Sistema

• Algoritmo: Le policy sono state addestrate utilizzando il Proximal Policy Optimization (PPO), scelto per la sua compatibilità con input visivi ad alta dimensionalità e la dimostrata efficacia nel trasferimento sim-to-real.
• Simulazione: L'addestramento è avvenuto in MuJoCo, utilizzando la randomizzazione del dominio (perturbazioni visive e dinamiche) per colmare il divario sim-to-real.
• Implementazione nel Mondo Reale: Le policy sono state implementate tramite l'interfaccia Franka ROS. Il sistema ha utilizzato interfacce di attuazione specifiche:
  • Le azioni basate sulla posizione ($\delta x, \delta q$) sono state mappate su target di giunto tramite cinematica inversa (IK) ed eseguite utilizzando un controllore di impedenza del giunto.
  • Le azioni basate sulla velocità ($\dot{x}, v$) sono state mappate direttamente su velocità di giunto target.
• Osservazioni: L'agente ha ricevuto un'immagine RGB (64x64), dati propriocettivi (posizioni/velocità dei giunti, stato della presa), l'altezza dell'end-effector e l'azione precedente.

Risultati Chiave

1. Discrepanza tra Simulazione e Mondo Reale

In simulazione, tutti gli spazi di azione hanno raggiunto tassi di successo comparabili elevati (0,98–1,00) per il compito di prelievo. Tuttavia, questa prestazione non si è tradotta linearmente nel mondo reale. La scelta dello spazio di azione ha alterato significativamente la robustezza del trasferimento sim-to-real.

2. Prestazioni su PandaPickCuboid (Picking)

• Velocità del Giunto ($v$): Ha raggiunto un tasso di successo del 100% con un tempo medio di completamento di 3,58s. Ha esibito il jerk misurato più basso e ha evitato costantemente collisioni.
• Incremento della Posizione del Giunto ($\delta q$): Ha inoltre raggiunto un tasso di successo del 100% con il tempo medio più veloce (2,12s). Tuttavia, l'implementazione stabile ha richiesto una calibrazione attenta dei guadagni di impedenza per prevenire vibrazioni.
• Incremento della Posa ($\delta x$): Ha performato scarsamente (41,67% di successo). La policy trascinava frequentemente l'oggetto verso la base del robot prima di sollevarlo, un comportamento non osservato in simulazione.
• Velocità della Posa ($\dot{x}$): È fallita completamente (0% di successo), spesso derivando verso configurazioni instabili o uscendo dallo spazio di lavoro.

3. Prestazioni su PandaPushCuboid (Pushing)

• Velocità del Giunto ($v$): Ha ottenuto lo spostamento mediano più grande (0,405m) ma ha esibito collisioni più violente con i bordi dell'oggetto.
• Incremento della Posizione del Giunto ($\delta q$): Ha ottenuto il secondo spostamento più alto (0,104m) ma ha dimostrato un comportamento più compliante con meno eventi di contatto violenti grazie al controllore di impedenza calibrato.
• Azioni Cartesiane ($\delta x, \dot{x}$): Hanno performato scarsamente in termini di spostamento.

4. Analisi di Jerk e Sicurezza

Lo studio ha analizzato il jerk (variazione del tasso di accelerazione) come proxy per la fluidità del movimento e la variazione di coppia.

• La Velocità del Giunto ha prodotto costantemente il jerk più basso sia in simulazione che nelle prove nel mondo reale.
• Spiegazione: Gli autori postulano che il controllo basato sulla posizione (utilizzando alti guadagni proporzionali $K_p$) amplifichi le fluttuazioni ad alta frequenza dell'output della policy, portando a grandi variazioni di coppia e jerk elevato. Al contrario, il controllo della velocità agisce come un filtro passa-basso; l'integrazione dei comandi di velocità per generare la posizione ammorbidisce naturalmente il rumore ad alta frequenza, producendo traiettorie più fluide.
• Sensibilità della IK: Gli spazi di azione cartesiana si affidano alla cinematica inversa (IK). Le discrepanze nei parametri dei link tra simulazione e realtà si propagano attraverso la mappatura IK, generando target di giunto inaccurati che gli attuatori reali faticano a seguire, specialmente vicino alle singolarità.

Contributi Chiave e Significato

Il documento fornisce una guida pratica per i praticanti di RL dimostrando che la rappresentazione dello spazio di azione è un fattore critico per il trasferimento sim-to-real, in particolare per compiti basati sulla visione.

• Superiorità della Velocità del Giunto: Gli autori concludono che la velocità del giunto offre il miglior equilibrio tra robustezza, fluidità e prestazione del compito per il picking e il pushing basati sulla visione. Ha ottenuto i tassi di successo più elevati e i movimenti più fluidi senza richiedere la complessa calibrazione dell'impedenza necessaria per i metodi basati sulla posizione.
• Limitazioni degli Spazi Cartesiani: Lo studio evidenzia come gli spazi di azione cartesiana (incremento posa/velocità) siano altamente sensibili alle discrepanze sim-to-real, in particolare riguardo agli errori di mappatura IK e alle capacità di tracciamento degli attuatori.
• Sicurezza e Compliance: Sebbene la velocità del giunto abbia fornito il movimento più fluido, gli autori notano che le azioni basate sulla posizione (tramite impedenza calibrata) hanno offerto un comportamento più compliante durante il contatto, riducendo la severità delle collisioni.

Il lavoro sottolinea che, sebbene la prestazione in simulazione sia una linea di base necessaria, essa è insufficiente per predire il successo nel mondo reale. La scelta dello spazio di azione modella fondamentalmente la dinamica di apprendimento e la sicurezza fisica della policy implementata.