Phys2Real: Fusing VLM Priors with Interactive Online Adaptation for Uncertainty-Aware Sim-to-Real Manipulation

Il paper presenta Phys2Real, un approccio che fonde le stime dei parametri fisici derivate da modelli visione-linguaggio con l'adattamento online basato sull'incertezza per migliorare il trasferimento sim-to-real nelle operazioni di manipolazione robotica.

L'essenziale

Immagina di dover insegnare a un robot a spingere un oggetto pesante, come un martello o un blocco a forma di T, su un tavolo. Il problema è che il robot non sa esattamente com'è fatto quell'oggetto: dove è il suo centro di gravità? È pesante in alto o in basso? Se il robot sbaglia questi calcoli, spingerà l'oggetto nella direzione sbagliata e lo farà cadere.

Fino a poco tempo fa, i robot imparavano queste cose in due modi, entrambi con dei difetti:

1. Prova ed errore (Reinforcement Learning): Il robot provava milioni di volte in un simulatore al computer con oggetti "finti". Quando arrivava nel mondo reale, spesso falliva perché il simulatore non era perfetto.
2. Istruzioni umane: Gli umani mostravano al robot cosa fare, ma il robot non capiva perché funzionava, quindi non sapeva adattarsi a nuovi oggetti.

Gli autori di questo paper, Phys2Real, hanno inventato un metodo geniale che combina tre cose per risolvere il problema. Ecco come funziona, spiegato con una metafora semplice:

L'Analogia: Il Detective, l'Esperto e il Meccanico

Immagina che il robot sia un Meccanico che deve riparare un'auto sconosciuta. Per farlo bene, ha bisogno di due aiutanti:

1. L'Esperto (Il VLM - Vision Language Model): È come un vecchio meccanico che guarda l'auto da fuori. Non tocca nulla, ma guarda la forma, il colore e la distribuzione del peso e dice: "Scommetto che il motore è spostato a sinistra". È un'ottima intuizione basata sull'esperienza visiva, ma potrebbe sbagliarsi perché non ha toccato l'auto.
2. Il Detective (L'Adattamento Online): È un investigatore che inizia a toccare l'auto, spingerla un po' e vedere come reagisce. Se l'auto si muove in modo strano, il Detective aggiorna la sua teoria: "Aspetta, l'ho spinta e si è mossa a destra, quindi il motore è in realtà a destra!".

Il problema:

• Se il Meccanico ascolta solo l'Esperto, potrebbe sbagliare perché l'auto è diversa da come sembra.
• Se ascolta solo il Detective, all'inizio non sa nulla e impiegherebbe troppo tempo a capire cosa sta succedendo, magari rompendo qualcosa prima di imparare.

La Soluzione: La "Fusione" Intelligente

Phys2Real è il Capo che unisce questi due aiutanti in tempo reale. Ecco la magia:

1. Guarda e Immagina (Fase 1): Prima ancora che il robot tocchi l'oggetto, usa un'intelligenza artificiale avanzata (chiamata VLM) per guardare una foto dell'oggetto e dire: "Penso che il centro di gravità sia qui, ma non ne sono sicuro al 100%".
2. Tocca e Impara (Fase 2): Il robot inizia a spingere l'oggetto nel mondo reale. Mentre lo fa, un altro sistema (basato su quello che il robot ha già fatto) osserva la reazione e dice: "Ora che l'ho toccato, so che il centro di gravità è qui, ma la mia certezza aumenta man mano che spingo".
3. La Fusione (Il Trucco): Il sistema combina le due opinioni.
   • Se il robot è all'inizio e non sa ancora nulla (è incerto), ascolta di più l'Esperto (l'intuizione visiva).
   • Man mano che il robot spinge e raccoglie dati, ascolta di più il Detective (i dati reali).
   • Se l'Esperto è molto sicuro e il Detective è confuso (perché non ha ancora toccato abbastanza), il sistema si fida dell'Esperto.
   • Se il Detective ha raccolto molti dati e l'Esperto sembra confuso, il sistema ignora l'Esperto e segue il Detective.

Perché è così speciale?

• Non serve un manuale: Il robot non ha bisogno di sapere a priori come è fatto l'oggetto. Può guardare un oggetto nuovo (come un martello o un blocco T) e capire subito come muoverlo.
• È veloce: Invece di dover provare migliaia di volte per imparare, il robot usa la sua "intuizione visiva" per fare un buon lavoro fin dal primo tentativo, e poi si corregge mentre lavora.
• Funziona nel mondo reale: Hanno provato con oggetti reali (un martello e un blocco di metallo) e il robot ha avuto molto più successo rispetto ai metodi tradizionali. È stato più preciso e ha finito il compito più velocemente.

In sintesi

Phys2Real è come dare al robot un senso comune visivo (guarda e indovina) unito a una capacità di imparare dall'esperienza (tocca e correggi). Invece di essere un robot stupido che prova a caso, diventa un robot intelligente che sa come ragionare sulla fisica degli oggetti, proprio come farebbe un umano che guarda un oggetto e pensa: "Ok, questo è pesante in alto, devo spingerlo con cautela".

È un passo enorme verso robot che possono entrare in una casa, vedere un oggetto che non hanno mai visto prima, e sapere esattamente come prenderlo o spingerlo senza bisogno di essere programmati per ogni singolo oggetto.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper Phys2Real, tradotto e adattato in italiano.

Titolo: Phys2Real: Fusione di Priors VLM con Adattamento Online Interattivo per una Manipolazione Sim-to-Real Consapevole dell'Incertezza

1. Il Problema

Il trasferimento di politiche di manipolazione robotica dall'ambiente simulato a quello reale (Sim-to-Real) rimane una sfida fondamentale, specialmente per compiti che richiedono una dinamica fisica precisa.

• Limitazioni della Randomizzazione del Dominio (DR): L'approccio standard consiste nell'addestrare politiche in simulazione con parametri randomizzati. Sebbene robusto, questo metodo tende a imparare comportamenti "medi" che non si adattano alle proprietà fisiche specifiche di un oggetto reale, portando a prestazioni subottimali quando le dinamiche reali si discostano dalla media della distribuzione di addestramento.
• Identificazione del Sistema e Adattamento: I metodi di identificazione del sistema online spesso richiedono interazioni continue e informative. In compiti di manipolazione non prensile (es. spinta di oggetti), i contatti sono intermittenti, rendendo difficile per i modelli puramente basati sull'interazione stimare correttamente parametri come il centro di massa (CoM) o l'attrito.
• Mancanza di Grounding Fisico nei Modelli Fondamentali: I modelli Vision-Language (VLM) possono ragionare sulle proprietà fisiche dagli immagini, ma il loro utilizzo è stato finora limitato alla pianificazione ad alto livello, non al controllo a basso livello in tempo reale.

2. Metodologia: Il Pipeline Phys2Real

Phys2Real propone un pipeline Reale-Simulazione-Reale composto da tre fasi principali, progettato per fondere la conoscenza visiva a priori con l'adattamento interattivo.

Fase I: Ricostruzione Reale-Simulazione (Real-to-Sim)

• Obiettivo: Creare "gemelli digitali" fisicamente informati partendo da oggetti reali senza mesh preesistenti.
• Tecnica: Utilizza una pipeline automatizzata che parte da un video dell'oggetto.
  1. Segmentazione dell'oggetto tramite SAM-2.
  2. Addestramento di 3D Gaussian Splatting (GSplat) sulle immagini segmentate.
  3. Estrazione di una mesh watertight (ermetica) e pulita utilizzando SuGaR (Surface-Aligned Gaussian Splatting) e l'algoritmo Marching Cubes.
• Risultato: Un asset di simulazione geometricamente accurato pronto per l'addestramento RL.

Fase II: Apprendimento della Politica Condizionata alla Fisica

• Addestramento RL: Viene addestrata una politica di Reinforcement Learning (PPO) in simulazione.
• Condizionamento Esplicito: A differenza delle politiche standard che apprendono latenti oscuri, la politica di Phys2Real è condizionata esplicitamente su parametri fisici interpretabili (es. Centro di Massa, attrito).
• Fasi di Addestramento (Ispirate a RMA - Rapid Motor Adaptation):
  1. Fase 1: La politica apprende comportamenti ottimali condizionandosi ai parametri fisici "ground truth" della simulazione.
  2. Fase 1.5 (Opzionale): Fine-tuning della politica con parametri fisici rumorosi per renderla robusta a stime imperfette.
  3. Fase 2: Addestramento di un insieme (ensemble) di modelli di adattamento che, dati lo storico di osservazioni e azioni, predicono i parametri fisici. Questo modello stima anche l'incertezza (epistemica e aleatoria).

Fase III: Trasferimento Sim-to-Real con Fusione Consapevole dell'Incertezza

• Stima VLM (Prior): Prima dell'interazione, un VLM (GPT-5) analizza immagini dell'oggetto e fornisce una stima del parametro fisico (es. CoM) insieme a una stima della propria incertezza ($\sigma_{vlm}$).
• Stima RMA (Interazione): Durante l'esecuzione, l'ensemble di modelli di adattamento stima i parametri basandosi sullo storico di interazioni ($\theta_{rma}, \sigma_{rma}$).
• Fusione Inversa della Varianza: Il sistema combina le due stime pesandole in base alla loro incertezza. Se l'interazione è incerta (basso contatto), si fa più affidamento sul VLM; se il VLM è incerto (es. oggetto ambiguo visivamente), si fa più affidamento sull'interazione.
  $$\hat{\theta} = \frac{\theta_{vlm}/\sigma_{vlm}^2 + \theta_{rma}/\sigma_{rma}^2}{1/\sigma_{vlm}^2 + 1/\sigma_{rma}^2}$$
  Questa stima fusa $\hat{\theta}$ condiziona la politica in tempo reale.

3. Contributi Chiave

1. Fusione Incerta VLM-Interazione: Dimostra che i VLM possono fornire stime fisiche utili per il controllo a basso livello, che vengono raffinate dinamicamente tramite l'interazione fisica, superando i limiti dei metodi puramente basati su interazione o puramente visivi.
2. Quantificazione dell'Incertezza Ensemble: Decompone l'incertezza in componenti epistemiche (disaccordo del modello) e aleatorie (rumore dei dati) per l'adattamento online, permettendo una fusione robusta anche con contatti intermittenti.
3. Gemelli Digitali Fisicamente Informati: Combina la ricostruzione geometrica ad alta fedeltà (Gaussian Splatting) con la stima delle proprietà fisiche online, creando un ambiente di simulazione più realistico rispetto ai gemelli digitali puramente visivi.

4. Risultati Sperimentali

Il metodo è stato valutato su due compiti di spinta planare: un blocco a "T" con centro di massa variabile e un martello con distribuzione di massa asimmetrica.

• Blocco a T (Peso in alto - Caso difficile):

  • Phys2Real: 57.14% di successo.
  • DR (Baseline): 23.81% di successo.
  • Solo VLM: 4.76% (fallisce perché la stima visiva iniziale è imprecisa).
  • Solo RMA: 14.29% (fallisce perché lo storico iniziale non è informativo).
  • Conclusione: La fusione è essenziale; nessuna singola fonte è sufficiente.

• Blocco a T (Peso in basso - Caso più facile):

  • Phys2Real: 100% di successo.
  • DR: 79.17%.
  • Solo VLM: 91.67%.
  • Conclusione: Phys2Real raggiunge prestazioni vicine all'oracolo (politica con parametri ground truth) senza usarli.

• Spinta del Martello (Oggetto ricostruito da video):

  • Entrambi i metodi (Phys2Real e DR) raggiungono il 100% di successo.
  • Efficienza: Phys2Real completa il compito in 77.79s contro i 90.65s del DR (miglioramento del ~15% in velocità), dimostrando traiettorie più efficienti grazie alla migliore stima dinamica.

5. Significato e Implicazioni

Phys2Real rappresenta un cambio di paradigma nel trasferimento Sim-to-Real:

• Superamento della Robustezza Passiva: Sposta il focus dal creare politiche "robuste a tutto" (che spesso performano male) a politiche "adattive e consapevoli" che sfruttano attivamente le informazioni visive e fisiche.
• Integrazione Fondamentale: Dimostra che i modelli fondazionali (VLM) non sono solo strumenti di pianificazione semantica, ma possono fornire prior fisici quantitativi cruciali per il controllo robotico.
• Generalizzazione: Il framework permette di manipolare oggetti reali senza modelli preesistenti, ricostruendoli e adattandosi alle loro proprietà fisiche in tempo reale, un passo fondamentale verso robot più generali e capaci di operare in ambienti non strutturati.