Sintesi Tecnica: See2Act – Modelli di Diffusione per la Percezione Attiva nella Imitazione Robotica

Problema

Gli attuali metodi di apprendimento per imitazione (IL) per il controllo visuomotore tipicamente assumono una piena osservabilità e viewpoint fissi, confondendo le capacità di "vedere" e "agire". In ambienti realistici, gli oggetti sono frequentemente occlusi, richiedendo ai robot di cercare attivamente informazioni rilevanti per il compito prima di manipolarli. Gli approcci esistenti affrontano un limite fondamentale: le dimostrazioni intrecciano la selezione del viewpoint con la manipolazione, eppure lo standard IL le tratta separatamente o assume che l'informazione visiva necessaria sia già visibile.

• Le policy a viewpoint fisso falliscono quando le regioni rilevanti per il compito sono occluse.
• I metodi di selezione multi-view o passiva (ad esempio, selezionare il miglior view da un set predefinito) non insegnano alla policy come muovere la telecamera per risolvere le occlusioni in modo dinamico.
• Inefficienza dei dati: Semplicemente aumentare le dimostrazioni con ulteriori viewpoint aumenta i requisiti di dati in modo combinatorio senza insegnare alla policy quali viste siano utili per specifiche azioni.

La sfida centrale è apprendere una policy che determini congiuntamente dove vedere e come agire partendo da limitate dimostrazioni, particolarmente in condizioni di severa occlusione.

Metodologia: See2Act

Gli autori propongono See2Act, un framework di apprendimento per imitazione basato sulla diffusione che accoppia il denoising dell'azione con il raffinamento del viewpoint all'interno di un singolo ciclo generativo. L'intuizione centrale è che la traiettoria di diffusione funge da traiettoria su sia le azioni che i viewpoint.

1. Strategia di Addestramento

La policy viene addestrata interamente in simulazione utilizzando un gemello digitale (digital twin), sfruttando dataset di manipolazione offline.

• Azioni Keyframe: Le dimostrazioni sono decomposte in azioni keyframe target ($a_0$), che rappresentano le pose dell'end-effector per operazioni di pick/place.
• Ancoraggio del Viewpoint: Inveve di un frame globale fisso, le azioni sono rappresentate nel frame della telecamera. Per ogni timestep di diffusione $t$, viene generata una posa della telecamera $C_t$.
  • Ancore: La traiettoria è ancorata tra una vista globale ampia ($C_T$) e una vista centrata sul target ($C_0$) derivata direttamente dall'azione keyframe $a_0$.
  • Interpolazione: Le pose intermedie $C_t$ sono generate tramite interpolazione lineare per la posizione e interpolazione sferica lineare (SLERP) per l'orientamento tra $C_T$ e $C_0$.
• Processo di Noising: L'azione target $a_0$ viene trasformata nel frame della telecamera $C_t$ per creare un'azione dipendente dal viewpoint $\hat{a}_0$. Viene aggiunto rumore gaussiano per creare un'azione rumorosa $\hat{a}_t$.
• Obiettivo: Un encoder visivo e una rete di predizione del rumore vengono addestrati per predire il rumore $\epsilon$ dato l'osservazione $O_t$ (renderizzata da $C_t$) e l'azione rumorosa $\hat{a}_t$. Il modello impara a denoisare l'azione mentre apprende implicitamente il corrispondente viewpoint informativo.

2. Inferenza: Inferenza del Viewpoint Attivo

Al tempo di test, la policy esegue un processo di diffusione inversa accoppiato:

1. Inizializzazione: Partire da una vista globale ($C_T$) e da una stima dell'azione rumorosa.
2. Raffinamento Iterativo: Ad ogni step di denoising $t$:
   • Catturare l'osservazione corrente $O_t$.
   • Predire il rumore e aggiornare la stima dell'azione nel frame della telecamera.
   • Trasformare l'azione stimata raffinata nuovamente nel frame del mondo.
   • Riposizionare la Telecamera: Calcolare una nuova posa della telecamera $C_{t-1}$, più centrata sul target, basata sulla nuova stima dell'azione (utilizzando la stessa logica di interpolazione usata in addestramento).
   • Catturare la nuova osservazione $O_{t-1}$.
3. Esecuzione: Questo ciclo continua fino a $t=0$, risultando in un'azione finale e in una sequenza di pose della telecamera che risolvono attivamente le occlusioni. La policy seleziona la rollout con la minima varianza nei cambiamenti di posa della telecamera per garantire la stabilità.

Contributi Chiave

1. Framework See2Act: Una policy indipendente dal viewpoint che apprende l'accoppiamento tra viewpoint e azione sfruttando i digital twin e una nuova strategia di addestramento dove le traiettorie della telecamera sono supervisionate interamente dalle etichette delle azioni.
2. Inferenza del Viewpoint Attivo: Un meccanismo di test-time che affina iterativamente la posa della telecamera del robot e l'azione predetta simultaneamente, consentendo al robot di risolvere autonomamente le occlusioni senza fasi di pianificazione o ricompense separate.
3. Performance nei Benchmark:
   • Ravens: Ha raggiunto un tasso di successo medio del 91% su quattro nuovi compiti pesanti di occlusione, superando significativamente le baseline a view fissa, multi-view e zoom-only.
   • RLBench: Ha raggiunto un tasso di successo medio dell'81.1% attraverso nove compiti, superando le policy 3D e multi-view allo stato dell'arte (es. RVT-2, PerAct) nonostante utilizzi solo un singolo view 2D riposizionato attivamente per step.
4. Trasferimento Zero-Shot Sim-to-Real: Dimostrato su un robot fisico UR10 con una telecamera di profondità montata sul polso. Utilizzando solo 50 dimostrazioni raccolte in un digital twin, la policy ha raggiunto un tasso di successo del 95% su compiti di pick-and-place reali con significative occlusioni, senza alcun fine-tuning nel mondo reale.

Risultati Sperimentali

• Risoluzione delle Occlusioni: Nei compiti Ravens (es. bin-picking, put-within-shelf), le baseline a view fissa (Conv-MLP, Diff-MV) sono fallite (0% di successo). La selezione di view passiva (Diff-MV-Entropy) ha raggiunto fino al 64% ma ha avuto difficoltà con occlusioni complesse. See2Act ha raggiunto fino al 100% di successo, dimostrando che il raffinamento attivo iterativo è necessario per scoprire le regioni nascoste.
• Comportamento di Ricerca: Nel compito bin-search, See2Act ha mostrato un comportamento di ricerca emergente, riorientando la telecamera per ispezionare bin alternativi quando la vista attuale era vuota, raggiungendo il 100% di successo dove le baseline segnavano 0%.
• Manipolazione di Precisione: Nella manipolazione reale shelf-kitting (che richiede una tolleranza di 1–2 mm), See2Act ha ottenuto il 95% di successo rispetto al 25% dei metodi a view fissa. La capacità di muovere la telecamera vicino al target durante il denoising ha fornito il dettaglio geometrico necessario per l'inserimento ad alta precisione.
• Robustezza: La policy ha mostrato robustezza rispetto a pose iniziali fuori distribuzione, con una diminuzione della performance solo marginale (8–10%) quando partiva da viewpoint al di fuori della distribuzione di addestramento.

Significato e Rivendicazioni

Il paper afferma che See2Act affronta una lacuna critica nell'apprendimento per imitazione trattando la manipolazione come un processo accoppiato di raffinamento dell'azione e acquisizione di evidenza visiva.

• Apprendimento Unificato: Dimostra che "dove vedere" e "come agire" possono essere appresi congiuntamente da dati offline senza espliciti annotazioni di viewpoint o ricompense di reinforcement learning per la percezione.
• Efficienza: L'approccio raggiunge prestazioni robuste con dati limitati (50 demo) e si trasferisce zero-shot nel mondo reale, superando il gap sim-to-real utilizzando osservazioni di profondità e raffinamento attivo del viewpoint.
• Limitazioni: Gli autori riconoscono che richiedere una nuova osservazione ad ogni step di denoising introduce latenza, rendendo l'esecuzione più lenta rispetto ai metodi a view fissa. Il lavoro futuro suggerisce di estendere il framework alla predizione di traiettorie dense per la manipolazione destra e dinamica.

Il lavoro stabilisce che la percezione attiva, quando incorporata direttamente nel loop di diffusione del denoising, consente ai robot di risolvere la parziale osservabilità in un modo in cui i metodi a view fissa, multi-view e di selezione passiva non possono fare.