Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation

Sintesi Tecnica: Embedding di Nuvole di Punti Sensibili alla Rotazione per la Riorientazione In-Hand Basata sulla Visione

Problema
Il paper affronta la sfida della riorientazione destra in-hand utilizzando nuvole di punti come obiettivi (goal). Sebbene le nuvole di punti offrano un modo naturale per specificare una geometria 3D desiderata senza richiedere frame di posa specifici per l'oggetto o la stima della posa a 6 gradi di libertà (6D), il condizionamento tramite nuvola di punti grezza è scarsamente adatto all'apprendimento di policy. La difficoltà fondamentale risiede nella natura delle nuvole di punti: esse sono non ordinate, campionate indipendentemente e dipendenti dalla visibilità. Di conseguenza, la discrepanza tra un'osservazione corrente e una nuvola di punti obiettivo intreccia la rotazione dell'oggetto con permutazioni, ricampionamenti e strutture di corrispondenza instabili.

Gli approcci precedenti hanno tentato di aggirare questo problema aggiungendo una struttura esterna, come:

• Input espliciti di posa o posa relativa (es. Geometry-Dex).
• Feature di flusso denso che indicano il movimento dei punti (es. HACMan).
• Distillazione da insegnanti privilegiati che hanno accesso allo stato ground-truth.

Questi metodi si affidano a calcoli fragili al tempo di test (stima della posa, registrazione) o richiedono una supervisione esperta. Gli autori sostengono che gli encoder generici per nuvole di punti (addestrati per la ricostruzione o l'identità della forma) falliscono nel organizzare lo stato rilevante per il compito in un modo che faciliti il controllo, spesso scartando i segnali rotazionali specifici necessari per la riorientazione.

Metodologia
La soluzione proposta è un embedding di nuvole di punti sensibile alla rotazione che calibra la distanza euclidea tra gli embedding rispetto all'errore geodetico SO(3) tra le orientazioni dell'oggetto. Ciò consente a una policy di Reinforcement Learning (RL) model-free di apprendere direttamente dagli embedding delle nuvole di punti correnti e obiettivo senza una posa, un flusso o una supervisione dell'insegnante espliciti.

1. Encoder Sensibile alla Posa ($\phi$):

   • Architettura: Un encoder basato su PointNet++ che mappa nuvole di punti colorate ($P \in \mathbb{R}^{N \times 6}$) in embedding a 128 dimensioni.
   • Obiettivo di Addestramento: L'encoder è addestrato utilizzando un obiettivo di metric learning in stile Siamese. Per due nuvole dello stesso oggetto alle orientazioni $q_1$ e $q_2$, la distanza euclidea tra i loro embedding è regressionata sull'errore di rotazione geodetica SO(3):
     $$L_{metric} = \mathbb{E}[(\|\phi(P_1) - \phi(P_2)\|_2 - 2 \arccos |\langle q_1, q_2 \rangle|)^2]$$
   • Curriculum: L'addestramento utilizza un curriculum di occlusione su mesh testurizzate del dataset YCB, rimuovendo progressivamente i punti per simulare osservazioni parziali. Una fase di fine-tuning utilizza un dataset IsaacLab con occlusioni simili a quelle di una mano per corrispondere alle condizioni di apprendimento della policy.

2. Apprendimento della Policy (Riorientazione In-Hand):

   • Framework: Il compito è formulato come un processo decisionale di Markov (MDP) aumentato dal goal, risolto tramite PPO con un'architettura actor-critic asimmetrica.
   • Osservazioni (Actor): La policy riceve:
     • Embedding appresi delle nuvole di punti correnti e obiettivo ($z_{obj}, z_{goal}$).
     • Propriocezione (posizioni dei giunti, velocità, pose dei polpastrelli).
     • Metadati geometrici (centroidi delle nuvole di punti correnti e obiettivo) per integrare le informazioni di traslazione.
   • Critic: Il critic ha accesso a informazioni sullo stato privilegiato (posa ground-truth, velocità, forze di contatto) per facilitare una convergenza più rapida.
   • Reward: La funzione di reward minimizza la deriva della posizione in-hand e l'errore rotazionale (misurato tramite distanza geodetica su SO(3)), con regolarizzazione dell'azione e un bonus di successo.

Contributi Chiave

• Apprendimento della Rappresentazione per il Controllo: Il paper dimostra che una rappresentazione stessa può rendere utilizzabile il condizionamento tramite nuvole di punti per l'apprendimento di una standard policy, eliminando la necessità di scaffolding esterni come stimatori di posa o campi di flusso densi.
• Embedding Calibrati su SO(3): Addestrando esplicitamente l'encoder affinché allinei la distanza latente con l'errore di rotazione, il metodo crea un segnale di controllo fluido dove la differenza tra gli embedding riflette direttamente la rotazione necessaria per raggiungere l'obiettivo.
• Successo del RL Model-Free: Gli autori mostrano che una policy model-free utilizzando questi embedding può apprendere stabilmente e eguagliare le prestazioni delle baseline basate su distillazione e sui metodi con stato privilegiato, nonostante la mancanza di accesso alla posa ground-truth o alle azioni dell'insegnante durante l'addestramento.
• Evidenza Diagnostica: Il paper fornisce prove che il pre-addestramento autosupervisionato generico (es. Point-MAE) è insufficiente per questo compito perché preserva le caratteristiche della forma ma non riesce a organizzare lo spazio latente secondo gli assi e le magnitudo di rotazione, mentre il proposto approccio di metric learning recupera questa struttura.

Risultati
Gli esperimenti sono stati condotti in simulazione utilizzando lo Shadow Hand e quattro oggetti YCB (Peach, Rubik's Cube, Pear, Tuna Can).

• Performance: Il metodo proposto ha raggiunto il 100% di success rate su tutti gli oggetti testati, eguagliando le prestazioni delle baseline "Teacher" (stato privilegiato) e "Distilled Student".
• Efficienza: Sebbene il metodo proposto abbia avuto successo, ha richiesto mediamente più timestep per raggiungere l'obiettivo rispetto al teacher privilegiato (es. 85.29 step contro 25.40 per il Peach). Gli autori attribuiscono ciò alla natura model-free dell'apprendimento (ottimizzazione dal reward piuttosto che dalle azioni per step) e notano che sessioni di addestramento più lunghe potrebbero migliorare ulteriormente la velocità.
• Confronto con le Baseline:
  • I metodi che si affidano a stimatori di posa (es. FoundationPose) o registrazione (Open3D) hanno mostrato success rate significativamente inferiori (es. 33-58% per il Rubik's Cube e la Pear) e tempi di fallimento molto più alti, evidenziando la fragilità di questi moduli intermedi durante il deployment.
  • I metodi basati sul flusso utilizzando lo stato simulato hanno performato bene, ma quelli basati sulla registrazione sono falliti significativamente.
  • Encoder Generici: Una policy che utilizzava un encoder Point-MAE fine-tuned non è riuscita affatto ad apprendere, confermando che le feature di forma generiche non forniscono il segnale necessario sensibile alla rotazione.
• Analisi della Rappresentazione: Le visualizzazioni dello spazio latente (surface plots e t-SNE) hanno confermato che l'encoder proposto organizza gli embedding per asse e magnitudo di rotazione, creando un paesaggio strutturato simile a quello appreso da uno studente basato su distillazione, ma senza richiedere la supervisione delle azioni.

Significatività e Claim
Il paper sostiene che le nuvole di punti obiettivo diventano pratiche per il controllo destre quando la rappresentazione stessa codifica la geometria di rotazione rilevante per il compito, invece di fare affidamento su moduli esterni per calcolare posa o flusso.

• Il lavoro suggerisce che lo "scaffolding" di stima della posa e registrazione non è strettamente necessario se la rappresentazione visiva è correttamente calibrata sulle costrizioni geometriche del compito.
• Evidenzia un limite del pre-addestramento visivo generico: preservare l'identità della forma è insufficiente per compiti di controllo che richiedono un confronto geometrico preciso; la rappresentazione deve essere esplicitamente strutturata per il gruppo di trasformazione specifico (SO(3) in questo caso).
• Gli autori notano che, sebbene la valutazione sia in simulazione, l'uso di curriculum di occlusione, jittering dei punti e randomizzazione del dominio fornisce prove che la rappresentazione è robusta alle perturbazioni attese nel deployment nel mondo reale, motivando la futura validazione su robot reali.

Limitazioni
Gli autori riconoscono che l'embedding attuale preserva principalmente lo stato rilevante per la rotazione e non è esplicitamente vincolato a preservare la forma dell'oggetto, il che limita la capacità di apprendere una singola policy generale per diversi oggetti. Il lavoro futuro suggerisce di esplorare embedding che preservino congiuntamente la forma e permettano confronti favorevoli al controllo, nonché di estendere l'obiettivo metrico all'intero gruppo SE(3) per la manipolazione generale.