Riepilogo Tecnico: Predizione di Traiettorie Visive con Prompt Spaziali per la Manipolazione Ego-centrica

Definizione del Problema: Predizione di Traiettorie Visive con Prompt Spaziali (SP-VTP)

Le attuali politiche di manipolazione robotica spesso fanno affidamento su istruzioni linguistiche o identificatori di task discreti per specificare gli obiettivi. Tuttavia, in ambienti disordinati contenenti oggetti visivamente simili, le descrizioni linguistiche (ad esempio, "prendi la forchetta") o gli ID del task possono essere ambigue o non riuscire a identificare l'istanza specifica o la regione di posizionamento. Gli autori sostengono che, in tali scenari, la specifica dell'obiettivo è intrinsecamente spaziale prima di essere linguistica: "prendi questo oggetto e posizionalo là".

Per affrontare questo problema, il documento formalizza un nuovo setting chiamato Predizione di Traiettorie Visive con Prompt Spaziali (SP-VTP). In questo framework:

• Input: Il modello riceve un'immagine ego-centrica del primo frame con prompt spaziali statici (punti o riquadri di delimitazione) che indicano l'oggetto target e la regione di posizionamento target.
• Task: Il modello deve predire le future traiettorie dell'end-effector (EE) basandosi su osservazioni ego-centriche in streaming.
• Output: A differenza del grounding visivo o del tracciamento che producono maschere o riquadri, l'output è una sequenza di moti relativi 6D dell'EE e stati della pinza.
• Sfide: Il problema combina quattro difficoltà distinte:
  1. Specificazione del Task Statica: Oggetto e target sono definiti solo nel primo frame.
  2. Esecuzione Dinamica: La telecamera si muove, l'EE occlude la scena e gli oggetti si riposizionano dopo la presa.
  3. Disambiguazione dell'Istanza: Il disordine e i distrattori della stessa categoria richiedono un tracciamento persistente a livello di istanza.
  4. Moto Dipendente dalla Fase: La stessa coppia oggetto-target può richiedere movimenti diversi in diverse fasi di esecuzione.

Metodologia

Dataset: EgoSPT

Per studiare SP-VTP, gli autori introducono EgoSPT, un dataset di traiettorie di manipolazione con prompt spaziali in visione ego-centrica.

• Raccolta: I dati sono stati raccolti utilizzando un'Interfaccia di Manipolazione Universale (UMI) modificata equipaggiata con una GoPro (obiettivo fish-eye da 170°) per il video ego-centrico e un iPhone per il tracciamento della traiettoria 6-DoF dell'EE tramite SLAM visivo-inerziale.
• Contenuto: Il dataset contiene 2.841 episodi di presa e posizionamento che coinvolgono cinque forchette visivamente simili e nove target (piatti, ciotole, tazze).
• Struttura: È organizzato in tre scene con difficoltà crescente:
  • Scene 1: Layout strutturati (condizioni pulite).
  • Scene 2: Layout disordinati (distrattori e ambiguità spaziale).
  • Scene 3: Sottoscene disordinate casualmente con dimostrazioni sparse per configurazione.
• Annotazioni: Ogni episodio include annotazioni di grounding per oggetto e target nel primo frame (riquadri di delimitazione) e traiettorie 3D dell'EE recuperate.

Modello: SPOT (Politica Oggetto-Target con Prompt Spaziali)

Gli autori propongono SPOT, una politica progettata per fondere prompt spaziali con osservazioni visive per generare chunk di traiettorie future. L'architettura è composta da tre moduli principali:

1. Codificatore del Task:

   • Processa il primo frame ($I_0$) e i prompt spaziali (oggetto $p_{obj}$ e target $p_{tgt}$).
   • Rappresentazione Dual del Prompt: I prompt sono codificati in due modi complementari:
     • Visivo: I riquadri di delimitazione sono renderizzati sul primo frame.
     • Coordinate: Le coordinate dei riquadri sono codificate come token spaziali utilizzando caratteristiche posizionali di Fourier e un MLP.
   • Fusione: Un backbone DINOv2 ViT-B/14 congelato estrae token immagine. I token prompt (con embedding del ruolo) interrogano questi token visivi tramite cross-attention per estrarre evidenze rilevanti per il task, fondendo il contesto globale della scena con informazioni specifiche su oggetto/target.

2. Codificatore delle Osservazioni:

   • Codifica il frame ego-centrico corrente ($I_t$) utilizzando lo stesso backbone visivo congelato per garantire uno spazio visivo condiviso con il codificatore del task.
   • Incorpora la storia recente della traiettoria ($h_t$) tramite un MLP leggero e embedding posizionali temporali.
   • Concatena i token visivi correnti e i token della storia per formare il contesto di esecuzione.

3. Generatore di Traiettorie:

   • Prende come condizionamento i token del task e delle osservazioni concatenati.
   • Predice un chunk di traiettoria futura ($A_t \in \mathbb{R}^{H \times 10}$) che rappresenta traslazione relativa, rotazione 6D e larghezza della pinza.
   • Obiettivo: L'implementazione predefinita utilizza il Flow Matching per predire il campo di velocità della traiettoria, sebbene sia supportata anche una testa di diffusione. Il modello è addestrato a denoisare i token di traiettoria interpolati.

Protocollo di Valutazione

Il documento enfatizza split consapevoli della scena per prevenire la perdita di dati e la sovrastima della generalizzazione. Tutti gli episodi della stessa unità di scena sono mantenuti all'interno di una singola partizione (addestramento o validazione). Le metriche di valutazione includono l'Errore di Spostamento Finale (FDE), Posizione L2, Rotazione L2 e Larghezza Pinza L1.

Risultati Chiave

Baseline con Prompt

Gli esperimenti che confrontano diverse modalità di prompt (Nessun Prompt, Punto, BBox, Visivo, BBox+Visivo) dimostrano che i prompt spaziali migliorano significativamente le prestazioni rispetto alle baseline senza prompt.

• La combinazione di Prompt Visivi (riquadri renderizzati) e Prompt di Coordinate (token del riquadro) produce i migliori risultati complessivi, riducendo l'FDE da 0,1739 (Nessun Prompt) a 0,1147.
• I prompt visivi da soli sono particolarmente efficaci per l'accuratezza della rotazione, mentre i prompt di coordinate forniscono una geometria esplicita benefica per la traslazione in scene disordinate.

Studi di Ablazione

• Codificatore Visivo: DINOv2-Base supera altri modelli fondazionali (SigLIP, SAM, EVA2, PE) in accuratezza del punto finale e della traslazione, in particolare nelle scene disordinate (Scene 2 e 3).
• Congelato vs Non Congelato: Mantenere il backbone visivo congelato produce una migliore generalizzazione rispetto al suo fine-tuning, suggerendo che l'adattamento del backbone alla distribuzione limitata del task porta a overfitting.
• Testa di Traiettoria: La testa Flow Matching supera costantemente la testa Diffusion in tutte le metriche.
• Orizzonte Storico: Un orizzonte storico moderato ($K=4$) offre il miglior equilibrio, fornendo un contesto di movimento sufficiente senza introdurre osservazioni obsolete.

Prestazioni Qualitative

Le visualizzazioni mostrano che SPOT inferisce con successo la corretta fase di movimento locale dai prompt statici e dalle osservazioni correnti. Sebbene l'assemblaggio a lungo orizzonte accumuli deriva locale (errori che si cumulano), il modello preserva la struttura geometrica grezza della traiettoria di manipolazione, inclusi i movimenti di avvicinamento e ritorno.

Significato e Affermazioni

Il documento afferma di stabilire SP-VTP come un nuovo task condition semplice e scalabile per la manipolazione ego-centrica. I suoi contributi principali sono:

1. Formalizzazione: Definire il primo setting che inquadra la manipolazione ego-centrica come predizione di traiettorie incentrata sulla visione e con prompt spaziali, distinta dalla pianificazione condizionata dal linguaggio o dal tracciamento standard.
2. Dataset: Introdurre EgoSPT, che fornisce le necessarie annotazioni di grounding e il recupero del moto 3D per studiare questo problema.
3. Politica: Proporre SPOT, che dimostra che fondere prompt spaziali renderizzati e di coordinate con la storia visiva predice efficacemente le traiettorie future in nuove configurazioni di scena.
4. Valutazione: Stabilire un protocollo di valutazione consapevole della scena che testa la vera generalizzazione cross-scena piuttosto che la memorizzazione del layout.

Gli autori posizionano il prompt spaziale come un'interfaccia diretta e a bassa ambiguità per specificare gli obiettivi di manipolazione in ambienti disordinati, offrendo un'alternativa pratica alle istruzioni basate sul linguaggio dove il contesto visivo è fondamentale.