Robot-Factored World Models via Robot Rendering

Sintesi Tecnica: Modelli di Mondo Fattorizzati per Robot tramite Rendering Robotico

Definizione del Problema
I modelli di mondo video condizionati dalle azioni mirano a prevedere le osservazioni future a partire da uno stato iniziale e da un segnale di azione, consentendo la pianificazione e il miglioramento delle policy senza interazione nel mondo reale. Tuttavia, esiste una sfida fondamentale nel modo in cui le azioni del robot vengono presentate a questi modelli. Nella robotica fisica, le azioni influenzano le osservazioni future attraverso due processi distinti: (1) Realizzazione dell'Azione, dove i segnali di controllo vengono convertiti in movimento del robot tramite il corpo specifico, il controllore e la cinematica del robot; e (2) Risposta della Scena, dove l'ambiente reagisce a tale movimento tramite contatti e dinamiche degli oggetti.

Gli approcci esistenti si condizionano direttamente su segnali di controllo specifici del robot (ad es., coppie dei giunti o pose cartesiane), costringendo il modello di mondo a apprendere il processo di realizzazione, che è specifico dell'embodiment e ridondante. Al contrario, condizionarsi su traiettorie registrate future (stati realizzati) rivela gli esiti dell'interazione (contatto, compliance, latenza) che il modello dovrebbe invece prevedere. Il problema centrale consiste nell'identificare un segnale di condizionamento visivo che sia disponibile al momento del deployment, eviti l'apprendimento del processo di realizzazione e non riveli gli esiti delle interazioni future.

Metodologia
Gli autori propongono i Modelli di Mondo Fattorizzati per Robot, che scindono i processi di realizzazione e rendering specifici del robot dal modello di mondo stesso. La metodologia introduce un'interfaccia visiva condivisa composta da tre componenti principali:

1. Condizionamento della Traiettoria Nominale (Realizzazione dell'Azione):
   Invece di alimentare i comandi di controllo grezzi o gli stati realizzati, il sistema elabora la sequenza di azioni $a_{1:F}$ attraverso il controllore e la cinematica del robot in un ambiente privo di scena per generare una traiettoria nominale $q_{1:F}$. Questa traiettoria rappresenta il movimento che il robot eseguirebbe in spazio libero prima di qualsiasi interazione con la scena. Essa funge da segnale disponibile al deployment che colma il divario tra i comandi grezzi e gli stati realizzati senza codificare gli esiti del contatto.

2. Rendering del Robot (Interfaccia Visiva):
   La traiettoria nominale viene renderizzata nella cornice della telecamera target utilizzando l'URDF (Unified Robot Description Format) del robot. Questo produce:

   • RGB del Mesh del Robot ($M^{rgb}_{1:F}$): Un video della geometria del robot (link, gripper, end-effector) come apparirebbe nella scena.
   • Profondità dell'End-Effector ($D^{eef}_{1:F}$): Informazioni di profondità specifiche per l'end-effector.
     Questo rendering fattorizza la geometria, la cinematica e l'aspetto del robot, presentando l'azione al modello di mondo puramente come geometria robotica visibile nello spazio dei pixel.

3. Contesto Statico Consapevole della Telecamera:
   Per fornire contesto alla scena senza rivelare la dinamica futura, lo stato iniziale della scena $S_0$ viene renderizzato lungo la stessa traiettoria della telecamera $C_{1:F}$ per produrre l'RGB della scena statica ($B^{rgb}_{1:F}$) e la profondità della scena ($D^{scene}_{1:F}$). Questo flusso fornisce contesto di aspetto e geometrico indipendentemente dall'interazione del robot.

Architettura del Modello
Il modello di mondo è istanziato come un modello di diffusione video latente (specificamente utilizzando un backbone di inpainting video). L'input di condizionamento $c$ è formato dalla concatenazione delle rappresentazioni latenti del contesto della scena statica, del mesh del robot renderizzato, della profondità della scena e della profondità dell'end-effector. Il modello impara a prevedere il video futuro $V_{1:F}$ dati questi input visivi e un prompt testuale $T$ (che descrive il contesto della scena ma esclude l'azione o l'esito futuro). L'obiettivo di addestramento minimizza la perdita di flow-matching tra la velocità predetta e la velocità target nello spazio latente.

Contributi Chiave

1. Interfaccia Realistica per il Deployment: Gli autori introducono un'interfaccia visiva che realizza le azioni in traiettorie nominali e le renderizza come RGB del mesh del robot allineato alla telecamera e profondità dell'end-effector. Questo fattorizza l'aspetto della scena e il punto di vista in un flusso di contesto statico.
2. Consapevolezza della Profondità: L'interfaccia è aumentata con la profondità dell'end-effector e della scena per risolvere le ambiguità geometriche (prossimità, occlusione e probabile contatto) che la sola sovrapposizione sul piano dell'immagine RGB non può distinguere.
3. Generalizzazione di Embodiment e Sorgente: Rappresentando le azioni come geometria renderizzata piuttosto che come segnali di controllo specifici dell'embodiment, l'interfaccia scinde il modello di mondo dai controllori specifici del robot. Ciò consente la generalizzazione a nuovi embodiment robotici e permette la generazione di video di interazione robotica basati su dimostrazioni umane ri-targettizzate.

Risultati Sperimentali
Il metodo è stato valutato sui dataset DROID e RoboCasa-GR1, confrontando l'interfaccia renderizzata con i baseline vettoriali (Ctrl-World con condizionamento della posa cartesiana e un baseline a vettore di stato AdaLN).

• Prestazioni Quantitative: L'interfaccia renderizzata ha superato i baseline condizionati vettorialmente in termini di metriche PSNR, SSIM e LPIPS su entrambi i dataset. Nello specifico, la combinazione del rendering del mesh nominale e dei segnali di profondità ha ottenuto i risultati migliori (ad esempio, 24,61 PSNR su RoboCasa-GR1 rispetto a 17,67 per il baseline a vettore di stato).
• Analisi Qualitativa: L'interfaccia renderizzata ha localizzato meglio i cambiamenti della scena attorno al movimento del robot e alle regioni di contatto. Gli studi di ablazione hanno confermato che l'uso di traiettorie nominali (anziché azioni grezze) ha migliorato l'allineamento, e l'aggiunta di segnali di profondità ha aiutato significativamente il modello a distinguere tra la sovrapposizione sul piano dell'immagine e il contatto fisico effettivo.
• Generalizzazione: Il modello si è generalizzato con successo a nuovi embodiment robotici (ad esempio, un xArm 6 con una mano Inspire F1) semplicemente renderizzando la nuova geometria nella stessa interfaccia. Inoltre, ha generato con successo video di manipolazione robotica da movimenti della mano umana ri-targettizzati, dimostrando che l'interfaccia è agnostica rispetto alla sorgente del movimento.

Significatività e Rivendicazioni
Il documento afferma che, fattorizzando la realizzazione dell'azione e il rendering del robot, il modello di mondo è libero di apprendere la dinamica di controllo specifica dell'embodiment e può concentrarsi interamente sulla previsione di come una scena risponde a una determinata geometria robotica visibile. Questo approccio risolve il compromesso tra l'apprendimento della realizzazione dell'azione e la rivelazione dello stato futuro. Gli autori sostengono che questo approccio "fattorizzato per robot" fornisce un'interfaccia visiva coerente attraverso diversi punti di vista e diversi embodiment robotici, consentendo una pianificazione più robusta e la generazione di video di interazione fondati da diverse sorgenti di movimento, incluse le dimostrazioni umane.

Limitazioni
Gli autori riconoscono che l'approccio richiede un URDF del robot noto e la calibrazione camera-robot. Inoltre, il flusso di contesto statico assume una rappresentazione della scena statica, che è completamente disponibile in simulazione ma solo parzialmente osservabile nel mondo reale senza ricostruzione 3D feedforward. Infine, i dati di addestramento (DROID) sono prevalentemente di successo, il che significa che il modello ha una esposizione limitata a fallimenti di presa o scivolamenti, il che potrebbe influenzare la robustezza in tali scenari specifici.