See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models

Sintesi Tecnica: Mappe di Punti Centrate sul Robot per Modelli Vision-Language-Action

Definizione del Problema
I modelli Vision-Language-Action (VLA) predicono azioni di manipolazione robotica basandosi su osservazioni visive e istruzioni linguistiche. Esiste un disallineamento fondamentale nelle attuali architetture VLA: le azioni sono definite nel sistema di coordinate 3D del robot (ad esempio, comandi dello spazio operativo dell'end-effector rispetto alla base del robot), mentre le osservazioni vengono tipicamente ricevute nel sistema di coordinate della telecamera (immagini RGB o mappe di profondità). Sebbene questo disallineamento sia gestibile in scenari con viewpoint fissi, dove la policy può memorizzare una singola mappatura osservazione-azione, diventa significativamente più complesso quando i dati di addestramento aggregano dimostrazioni provenienti da diverse configurazioni di telecamera. In tali scenari, la policy deve generalizzare la mappatura attraverso i diversi viewpoint piuttosto che limitarsi a memorizzare un singolo caso, portando a un degrado delle prestazioni quando il posizionamento della telecamera varia.

Metodologia
Gli autori propongono le Mappe di Punti Centrate sul Robot (Robot-Centric Pointmaps) come rappresentazione di input per risolvere questo disallineamento di frame. Invece di costringere la policy a inferire la geometria nel frame del robot partendo da osservazioni nel frame della telecamera, il metodo pre-calcola le coordinate 3D dei punti della scena nel frame del robot e li presenta sotto forma di immagine.

Il meccanismo centrale prevede tre passaggi:

1. Sollevamento e Trasformazione (Lifting and Transformation): Un'osservazione RGB-D viene "sollevata" in 3D all'interno del frame della telecamera utilizzando le proprietà intrinseche e la profondità. Questi punti 3D vengono poi trasformati nel frame condiviso della base del robot tramite la trasformazione estrinseca telecamera-robot.
2. Centratura dell'End-Effector: La mappa di punti risultante viene ricentrata sulla posizione attuale dell'end-effector. Ciò esprime la geometria della scena rispetto all'origine dell'azione, garantendo che lo spostamento necessario per raggiungere un target rimanga coerente indipendentemente dalla posizione assoluta del target nello spazio di lavoro.
3. Fusione: La mappa di punti centrata sul robot mantiene la struttura di griglia densa $H \times W$ dell'immagine RGB originale. Viene codificata da una torre visiva separata (inizializzata dall'encoder RGB) e fusa con i token RGB tramite addizione elemento per elemento. Questo design permette l'integrazione della geometria 3D metrica in VLA 2D pre-addestrati senza richiedere encoder specifici per nuvole di punti, moduli di voxelizzazione o ulteriori sequenze di token.

Contributi Chiave e Scelte di Design
Attraverso studi di ablazione controllati sul dataset RoboCasa, il documento stabilisce diversi principi di design critici:

• Pre-calcolo vs Apprendimento: Fornire alla policy la geometria pre-calcolata nel frame del robot è significativamente più efficace rispetto al fornire la profondità grezza e la calibrazione della telecamera (intrinseci/estrinseci) chiedendo alla policy di apprendere la trasformazione.
• Formato Immagine vs Nuvola di Punti: Preservare la griglia dell'immagine ($H \times W$) è fondamentale. Le mappe di punti superano le nuvole di punti perché permettono una fusione diretta elemento per elemento con i token RGB, sfruttando il percorso visivo pre-addestrato. Le nuvole di punti, che richiedono encoder dedicati e spesso generano input sparsi, non riescono a mantenere la corrispondenza spaziale con le caratteristiche RGB.
• Origine delle Coordinate: Centrare la mappa di punti sull'end-effector anziché sulla base del robot produce una rappresentazione più robusta rispetto ai cambiamenti di viewpoint. Questo raggruppa i target di interazione vicino all'origine, fornendo una geometria locale coerente per movimenti simili, indipendentemente da dove avvengono nello spazio di lavoro.

Risultati Sperimentali
Il metodo proposto è stato valutato sul benchmark di simulazione RoboCasa e su un robot Franka Research 3 reale.

• Simulazione (RoboCasa): Quando applicato ai backbone $\pi0.5$ e SmolVLA, le mappe di punti centrate sul robot hanno migliorato i tassi di successo rispettivamente di +7.6 e +4.2 punti su 24 task. Il metodo ha superato le baseline rappresentative "camera-aware" (es. KYC, OC-VLA) e le baseline con potenziamento 3D (es. GeoVLA, PointVLA) che condividono lo stesso backbone.
• Robustezza alla Variazione di Viewpoint: All'aumentare della variazione del viewpoint della telecamera durante l'addestramento, le policy basate solo su RGB hanno subito cali significativi di prestazioni. Al contrario, la policy basata su mappa di punti è rimasta stabile.
• Generalizzazione su Robot Reale: Negli esperimenti su robot reale, il vantaggio delle mappe di punti si è ampliato quando la telecamera è stata spostata in una posizione non vista durante l'addestramento. Il divario di prestazioni rispetto a una policy solo RGB è cresciuto da +5.0 punti per un posizionamento della telecamera noto a +11.7 punti per un posizionamento non visto. Sebbene una policy basata su nuvola di punti (DP3) abbia mostrato una migliore robustezza rispetto a RGB, la VLA potenziata con mappa di punti ha raggiunto le prestazioni complessive più elevate, dimostrando che combinare la geometria 3D con i bias induttivi delle VLA 2D pre-addestrate è altamente efficace.

Significatività e Rivendicazioni
Il documento afferma che le mappe di punti centrate sul robot offrono un meccanismo semplice ed efficace per iniettare la geometria 3D nelle VLA pre-addestrate senza una ristrutturazione architettonica. La significatività primaria risiede nel risolvere direttamente il disallineamento tra frame di osservazione e di azione: esprimendo le osservazioni nel sistema di coordinate in cui il robot agisce, la policy può apprendere da dimostrazioni con viewpoint diversificati senza dover assorbire la variazione della telecamera stessa. Gli autori suggeriscono un principio generale per le VLA consapevoli del 3D: quando la calibrazione è disponibile, le osservazioni dovrebbero essere espresse nel frame di azione del robot prima di essere passate alla policy. Questo approccio mantiene la struttura d'immagine densa richiesta dai modelli 2D pre-addestrati, fornendo al contempo l'informazione geometrica 3D metrica necessaria per una manipolazione robusta.