Riassunto Tecnico: Campionamento Vincolato Combinato e Apprendimento per Rinforzo per la Manipolazione Robotica

Definizione del Problema

L'addestramento di policy di manipolazione non-prehensile in ambienti ricchi di contatti rimane una sfida centrale nella robotica. Sebbene l'Apprendimento per Rinforzo (RL) abbia dimostrato forza nel gestire la dinamica ricca di contatti smorzando implicitamente le discontinuità sottostanti, esso fatica a causa di gravi problemi di esplorazione. Le modalità di interazione rilevanti richiedono spesso il raggiungimento di stati di contatto rari prima di ricevere ricompense informative.

Un collo di bottiglia critico risiede nella progettazione delle distribuzioni di reset e di obiettivo ($p(s_0)$ e $p(g)$). Le strategie esistenti si affidano spesso a euristiche, generazione casuale di scene o campionatori specifici per il compito (ad esempio, specifici per la presa). Questi metodi non riescono a fornire un meccanismo generale per specificare le diverse configurazioni di contatto necessarie per compiti non-prehensile, come il bilanciamento di oggetti, dove lo spazio degli stati è vincolato da dinamiche di contatto complesse e strutture di complementarità.

Metodologia

Gli autori propongono CSRL (Combined Constrained Sampling and Reinforcement Learning), un framework che integra un campionatore di stati informato dalla fisica con l'RL condizionato all'obiettivo. L'approccio consiste in tre componenti principali:

1. Campionatore di Stati Vincolato

A differenza dei normali simulatori fisici che campionano la dinamica in avanti, questo campionatore genera stati iniziali e finali validi risolvendo un problema di vincoli non lineari. Esso modella esplicitamente la struttura del contatto per garantire una copertura diversificata delle modalità di contatto.

• Formulazione: Il campionatore definisce uno spazio di vincolo $S_c$ utilizzando la dinamica dei corpi rigidi, i vincoli di collisione e i vincoli di forza di contatto (coni di attrito di Coulomb). Assume che gli obiettivi possano essere mantenuti in equilibrio quasi-statico.
• Variabili: Le variabili decisionali includono le modalità di contatto discrete ($c_{ij} \in \{0, 1\}$) e le variabili di stato continue ($s$), insieme ai punti di attacco e alle forze lineari per i contatti attivi.
• Strategia di Campionamento: Viene utilizzato un approccio gerarchico. In primo luogo, viene campionata una configurazione della modalità di contatto (ad esempio, selezionando 1, 2 o 3 contatti di supporto). Successivamente, un metodo di Lagrange Aumentato risolve un problema di ottimizzazione prossimale per proiettare un campione casuale con vincoli di scatola $\bar{s}$ sul manifold ammissibile $S_c$. Questo processo viene ripetuto fino a quando non viene generato un dataset $D$ di stati ammissibili.

2. Strategie di Reset e Curriculum

Per affrontare la sfida dell'esplorazione in spazi ad alta dimensionalità dove gli inizi e gli obiettivi casuali sono probabilmente distanti, CSRL impiega due strategie aggiuntive:

• Interpolazione Proiettata: Invece di resettare a stati casuali, il sistema campiona un inizio $a$ e un obiettivo $g$ dal dataset vincolato $D$. Calcola un'interpolazione convessa tra di essi in uno spazio di stato incorporato $\phi$, poi proietta questo punto interpolato nuovamente sul manifold vincolato $S_c$ (approssimato trovando il vicino più prossimo in $D$). Ciò assicura che gli stati intermedi rimangano fisicamente validi.
• Apprendimento Curriculum (Curriculum Learning): Una variabile di fase $\alpha$ è programmata da quasi 0 a 1. Inizialmente, l'interpolazione utilizza $t \sim U[0, \alpha]$, resettando l'agente più vicino all'obiettivo. Anche il tempo di troncamento dell'MDP è scalato con $\alpha$, permettendo all'agente di raccogliere rollout brevi vicino all'obiettivo prima di affrontare traiettorie più lunghe e complesse.

3. Integrazione con l'RL

Il campionatore vincolato fornisce la distribuzione $p_0$ per un MDP condizionato all'obiettivo. L'agente RL (usando TD7 come predefinito, con valutazioni di varianti TD3 e HER) apprende una policy universale $\pi: s, g \mapsto a$ per connettere qualsiasi stato iniziale a qualsiasi stato finale all'interno della distribuzione.

Contributi Chiave

1. Nuovo Campionatore di Stati Vincolato: Un metodo per generare distribuzioni di reset e obiettivo per la manipolazione ricca di contatti che tiene conto esplicitamente della struttura di contatto, fornendo una ricca copertura di diverse modalità di contatto senza impegnarsi in specifiche primitive di interazione.
2. Interpolazione Proiettata e Curriculum: Una strategia per colmare il divario tra stati campionati utilizzando l'interpolazione proiettata sui vincoli e un apprendimento curriculum che aumenta gradualmente la difficoltà del compito, mitigando le sfide della ricompensa sparsa.
3. Validazione Sperimentale: Dimostrazione che questo approccio supera l'RL standard con reset casuali e altri metodi di reset attraverso quattro domini di crescente difficoltà.

Risultati Sperimentali

Gli autori hanno valutato CSRL su quattro domini:

1. Double-sphere: Un test base per la manipolazione universale tra stati quasi-statici.
2. Panda-sphere: Testa abilità di contatto a corpo intero usando un braccio Panda.
3. Sphere-cube: Testa il controllo di rotazione e orientamento, incluso il bilanciamento su spigoli/angoli.
4. Panda-cube: Testa il controllo di un cubo con contatti di end-effector e dita.

Risultati Chiave:

• Superiorità del Campionamento Vincolato: Nei domini double-sphere e panda-sphere, l'uso del campionamento vincolato sia per gli inizi che per gli obiettivi ha superato significativamente il campionamento casuale. Il campionamento casuale è stato particolarmente scarso nel compito panda-sphere, fallendo nel generare stati di tenuta statica validi.
• Impatto di Interpolazione e Curriculum: L'aggiunta dell'interpolazione proiettata e del curriculum ha migliorato ulteriormente i tassi di successo e la velocità di convergenza in tutti i domini e algoritmi RL (incluse le varianti HER).
• Confronto con il Reverse Curriculum: La proposta strategia di interpolazione ha superato la generazione di reverse curriculum (che simula a ritroso dagli obiettivi), in particolare in termini di efficienza computazionale e tassi di successo.
• Trasferimento nel Mondo Reale: Una policy sphere-cube addestrata in simulazione è stata trasferita con successo in un setup reale utilizzando una pallina attaccata all'end-effector e il tracciamento OptiTrack, dimostrando il potenziale per il trasferimento sim-to-real di abilità fondamentali di manipolazione.

Significato e Rivendicazioni

Il paper sostiene che, complementando il campionamento della dinamica basato sulla fisica con un campionatore di stati vincolato informato dalla fisica, è possibile addestrare policy di manipolazione dinamica e non-prehensile universali in contesti ricchi di contatti. L'approccio affronta efficacementamente il collo di bottiglia dell'esplorazione nell'RL assicurando che l'agente sia esposto a diverse e fisicamente valide configurazioni di contatto fin dall'inizio.

Gli autori posizionano questo lavoro come un passo verso la manipolazione non-prehensile generalista. Notano che, sebbene l'approccio attuale miri all' "addestramento privilegiato" (dove la policy ha accesso completo allo stato), esso pone le basi per futuri paradigmi teacher-student. Il paper riconosce i limiti riguardanti i costi computazionali per oggetti complessi a causa dell'uso di un solver NLP a singola CPU e le sfide del trasferimento basato su sensori, suggerendo lavori futuri in parallelizzazione e solver dedicati.