Riassunto Tecnico: MoDex – Una Diffusion Policy per la Presa Dexterous Sequenziale di Multi-Oggetti

Formulazione del Problema

Gli attuali metodi di presa dexterous spesso dedicano tutti i gradi di libertà (DoF) disponibili di una mano a un singolo oggetto. Sebbene ciò massimizzi la stabilità per quella specifica presa, sottoutilizza la destrezza della mano e non lascia ridondanza per prese successive. Inoltre, gli approcci esistenti alla presa multi-oggetto si affidano frequentemente a modelli di oggetti noti, generazione e un'esecuzione di presa disaccoppiate o pose fisse degli oggetti, limitandone l'applicabilità in scenari dinamici e reali.

Questo lavoro affronta la sfida della presa multi-oggetto sequenziale: il compito di afferrare l'oggetto target $i$-esimo mentre si tengono saldamente tutti gli $i-1$ oggetti precedentemente afferrati, senza rilasciarli. I vincoli cinematici della mano Allegro utilizzata in questo studio limitano il numero massimo di oggetti afferrabili a tre ($I \le 3$). La difficoltà principale risiede nell'apprendimento di una politica di controllo che mappi le osservazioni parziali in azioni, gestendo dinamicamente quali sottoinsiemi di dita (DoF) siano attivi per l'oggetto corrente rispetto a quelli riservati per gli oggetti futuri.

Metodologia: MoDex

MoDex è una Diffusion Policy (DP) progettata per predire direttamente la successiva posa della gripper a partire dalle osservazioni. Opera all'interno di un framework di addestramento a due stadi: pre-addestramento tramite apprendimento per imitazione (IL) seguito da fine-tuning tramite apprendimento per rinforzo (RL).

1. Architettura della Policy e Condizionamento

MoDex segue un'architettura encoder-denoiser (nello specifico una U-Net convoluzionale 1D) che elabora chunk di azioni su un orizzonte di predizione. La policy è condizionata su tre input chiave:

• Nuvole di Punti Parziali ($P_t$): Percezione grezza dell'ambiente.
• Vettore dello Spazio di Opposizione (OS) ($f_i$): Un vettore indicatore binario che specifica quali dita partecipano alla presa corrente. Questo restringe esplicitamente i DoF attivi per l'oggetto corrente, riservando i restanti DoF per prese successive.
• Contesto della Storia della Presa ($h_{i-1}$): Un vettore che concatena i vettori OS di tutte le prese precedenti. Questo informa la policy su quali dita sono già occupate, evitando il riutilizzo dei DoF attivi per nuovi oggetti.

L'OS e la storia sono concatenati con il chunk di azione rumoroso ad ogni step di denoising, permettendo alla policy di ragionare sulla ridondanza cinematica e sull'allocazione delle dita.

2. Pipeline di Addestramento

• Stadio 1: Apprendimento per Imitazione (Pre-addestramento): MoDex è pre-addestrato su un dataset di traiettorie di presa sequenziale esperte generate in simulazione (Robosuite). Un generatore di pose euristico e un controllore dello spazio operativo (OSC) producono queste dimostrazioni. La policy viene addestrata utilizzando l'obiettivo di behavior cloning per denoisare i chunk di azione.
• Stadio 2: Fine-tuning tramite Reinforcement Learning: Per migliorare la robustezza e gestire stati fuori distribuzione, la policy pre-addestrata viene sottoposta a fine-tuning utilizzando la Diffusion Policy Policy Optimization (DPPO). Questo tratta il processo di denoising come un processo decisionale di Markov (MDP) annidato.
  • Funzione di Reward: Viene utilizzato un reward denso e specifico per il task ($r_{base}$), composto da:
    • $r_{succ}$: Un reward costante elevato per il sollevamento riuscito del target mentre si tengono tutti gli oggetti precedenti.
    • $r_{grasp}$: Incoraggia le dita attive a entrare in contatto con il target.
    • $r_{maintain}$: Premia il mantenimento degli oggetti precedentemente afferrati in modo sicuro e stazionario.
    • $r_{avoid}$: Penalizza le collisioni con il tavolo o i contatti non necessari da parte delle dita inattive.
    • $r_{ina}$: Una penalità per evitare che le dita inattive oscillino o derivino, il che è cruciale per mantenere la stabilità nelle prese successive.

Contributi Chiave

1. MoDex: La prima Diffusion Policy per la presa multi-oggetto sequenziale che mappa direttamente le osservazioni grezze in azioni di presa preservando la ridondanza cinematica.
2. Meccanismi di Condizionamento: L'introduzione dello Spazio di Opposizione (OS) e del Contesto della Storia della Presa come segnali di condizionamento espliciti, consentendo a una singola policy di gestire complessi compiti di presa multi-stadio senza rilasciare gli oggetti tenuti.
3. Algoritmo di Raccolta Dati: Un nuovo algoritmo per la raccolta di traiettorie esperte indicizzate per stadio che accoppia sistematicamente gli oggetti con configurazioni OS valide, garantendo dati di addestramento diversificati e validi.
4. Valutazione Esaustiva: Un benchmarking esteso di MoDex contro rappresentativi baseline di Imitation Learning (BC-RNN, MoDex-BC) e Reinforcement Learning (PPO, SeqDiffuser) sia in simulazione che su hardware reale.

Risultati Sperimentali

Gli autori hanno valutato MoDex su un braccio Franka Emika Panda equipaggiato con una mano Allegro su 15 oggetti di varie geometrie (sfere, cilindri, scatole).

• Performance in Simulazione: MoDex ha raggiunto i tassi di successo più elevati in tutti gli stadi di presa (1, 2 e 3).
  • Stadio 1: 75.00% (rispetto al 57.08% di MoDex-BC).
  • Stadio 2: 49.58% (rispetto al 50.00% di MoDex-BC, ma superando significativamente i baseline come PPO che ha ottenuto lo 0%).
  • Stadio 3: 45.00% (rispetto al 42.08% di MoDex-BC).
  • Miglioramento Complessivo: MoDex ha migliorato le prestazioni del 2.92–17.92% rispetto ai migliori baseline basati su apprendimento in simulazione.
• Trasferimento nel Mondo Reale: MoDex è stato implementato su hardware reale con zero-shot transfer su oggetti non visti.
  • Ha raggiunto tassi di successo del 57.78% (Stadio 1), 26.67% (Stadio 2) e 20.00% (Stadio 3).
  • Ciò rappresenta un miglioramento del 6.67–17.78% rispetto al baseline MoDex-BC (pre-addestrato solo con IL, senza fine-tuning RL), dimostrando il ruolo critico del fine-tuning DPPO nel colmare il gap sim-to-real.
• Studi di Ablazione: Rimuovere la condizione OS o il Contesto della Storia della Presa ha causato cali significativi di performance negli Stadi 2 e 3, confermando che i segnali espliciti di allocazione delle dita sono essenziali per la presa sequenziale. Allo stesso modo, rimuovere il fine-tuning DPPO ha portato a tassi di successo inferiori, particolarmente nel mondo reale.

Significato e Limitazioni

Il paper sostiene che gli attuali metodi potrebbero sottoutilizzare il potenziale delle mani dexterous fallendo nella gestione dell'allocazione dei DoF attraverso compiti sequenziali. MoDex dimostra che una singola policy di diffusione, condizionata dallo spazio di opposizione e dalla storia della presa, può risolvere efficacemente questo problema, superando i metodi che si affidano a pianificazione disaccoppiata o a un RL standard partendo da zero.

Limitazioni:
Gli autori riconoscono che MoDex non ha ancora raggiunto una destrezza di livello umano in due aree specifiche:

1. Regrasping In-hand: La policy si impegna su un singolo Spazio di Opposizione per oggetto e non può eseguire manipolazione in-hand (ad esempio, trasferire un oggetto da una presa a pinza a una presa di potenza).
2. Pianificazione del Task: MoDex assume che l'assegnazione dell'OS e l'ordine di presa degli oggetti siano forniti come input; non ragiona autonomamente sull'OS ottimale o sulla sequenza di presa.

Il lavoro conclude che, sebbene MoDex affronti con successo il problema della presa sequenziale, il lavoro futuro dovrebbe concentrarsi sull'integrazione della manipolazione in-hand e della pianificazione autonoma dei task.