Sintesi Tecnica: Pegasus – Sintesi di Esperienza Fisicamente Fondata per l'Intelligenza Incorporata

1. Definizione del Problema

Il collo di bottiglia principale nell'avanzamento dell'IA incorporata (embodied AI) non è l'architettura del modello, ma la scarsità di dati di addestramento di alta qualità specifici per la robotica. Sebbene esistano miliardi di video di manipolazione umana online, i robot non possono apprendere direttamente da essi a causa del gap di embodiment: le differenze significative in morfologia, cinematica e spazi di azione tra umani e robot impediscono il trasferimento diretto delle dimostrazioni.

I paradigmi esistenti di acquisizione dati affrontano limiti distinti:

• Raccolta con robot reali: Alta qualità ma costosa e difficile da scalare.
• Simulazione fisica: Dati illimitati ma soffre del gap sim-to-real, particolarmente per le policy basate sulla visione.
• Apprendimento da video umani: Sfrutta dati abbondanti ma apprende tipicamente rappresentazioni visive piuttosto che generare traiettorie eseguibili dal robot.

La sfida centrale è colmare questo divario trasferendo l'esperienza strutturata (semantica del compito, affordance e vincoli) invece di pixel grezzi, consentendo la sintesi di dati apprendibili dai robot a partire da dimostrazioni umane.

2. Metodologia: Il Framework Pegasus

Pegasus è un framework a basse risorse che traduce i video egocentrici umani in dimostrazioni eseguibili da un robot attraverso una pipeline strutturata basata su grafi. Esso riformula il problema dalla generazione di apparenza al trasferimento di conoscenza cross-embodiment.

Il framework opera in cinque fasi progressive:

2.1 Estrazione del Grafo del Compito ($V_h \rightarrow G_T$)

Invece di ragionare su pixel grezzi, Pegasus estrae un Grafo del Compito ($G_T$) dai video umani utilizzando un parser visione-linguaggio strutturato.

• Nodi: Rappresentano entità semantiche che includono sottogiobi ($g_i$), oggetti manipolati ($o_j$) e regioni spaziali ($r_k$).
• Archi: Codificano l'ordine temporale, le dipendenze causali e le interazioni spaziali.
• Questo grafo preserva la topologia del compito rimanendo indipendente dalle specifiche morfologie robotiche.

2.2 Latente di Affordance Gerarchica ($G_T \rightarrow Z$)

Per gestire la generalizzazione tra oggetti e diverse incarnazioni (embodiments), Pegasus introduce un Latente di Affordance Gerarchica ($Z = \{Z_s, Z_a, Z_t\}$):

1. Livello di Stato dell'Oggetto ($Z_s$): Cattura gli stati fisici (es. afferrato, aperto, spostato).
2. Livello di Affordance ($Z_a$): Astragge le osservazioni specifiche dell'oggetto in capacità di manipolazione (es. capacità di presa, contenimento, versabilità).
3. Livello di Compito ($Z_t$): Rappresenta intenzioni indipendenti dall'incarnazione (es. trasportare, impilare).
   Questa gerarchia rimuove progressivamente le informazioni specifiche dell'embodiment pur preservando la semantica causale del compito. Un obiettivo contrastivo allinea le dimostrazioni umane e robotiche all'interno di questo spazio di affordance condiviso.

2.3 Traduzione del Grafo Cross-Embodiment ($G_T \rightarrow G_P$)

Il grafo del compito viene trasformato in un Grafo di Pianificazione Robotica ($G_P$) eseguibile attraverso tre operatori di grafo:

1. Grafo di Affordance: Arricchisce i nodi semantici con le affordance di manipolazione.
2. Grafo dei Vincoli: Incorpora la fattibilità dipendente dall'embodiment (tipi di presa, cinematica inversa, vincoli di collisione, limiti dello spazio di lavoro).
3. Grafo di Pianificazione: Converte le primitive fattibili in traiettorie eseguibili (waypoint di movimento e transizioni temporali).
   Questa formulazione modulare disaccoppia il ragionamento semantico dall'adattamento all'embodiment.

2.4 Verifica Vincolata alla Fisica

La plausibilità visiva è insufficiente per la robotica. Pegasus impiega un modulo di verifica a ciclo chiuso che valida le traiettorie generate rispetto a:

• Solvibilità della cinematica inversa
• Limiti dei giunti
• Evitamento delle collisioni
• Stabilità della presa e fluidità della traiettoria

Se i vincoli vengono violati, segnali di errore strutturati vengono reimmessi nel modulo di pianificazione per una rigenerazione iterativa finché tutti i vincoli non sono soddisfatti.

2.5 Rendering dell'Esperienza

Il grafo di pianificazione verificato viene renderizzato in tre modalità di output adatte per l'apprendimento di policy a valle:

• Dimostrazioni Video ($D_{video}$): Per policy visione-linguaggio.
• Token di Azione Discreti ($D_{action}$): Per modelli d'azione autoregressivi.
• Traiettorie Continue ($D_{trajectory}$): Per pipeline di controllo classico.

3. Contributi Chiave

1. Formulazione del Trasferimento: Riconfigurare i video umani presenti su internet come una fonte scalabile di dati di addestramento per robot tramite un trasferimento di conoscenza strutturato e cross-embodiment.
2. Framework Strutturato su Grafi: Una nuova pipeline che modella esplicitamente la semantica del compito, le affordance, i vincoli dell'embodiment e la pianificazione robotica, andando oltre il condizionamento tramite prompt testuali o pixel grezzi.
3. Latente di Affordance Gerarchica: Una rappresentazione che migliora la generalizzazione su oggetti non visti organizzando i dati secondo stati dell'oggetto, affordance e compiti anziché secondo l'identità dell'oggetto.
4. Verifica Fisica a Ciclo Chiuso: Un meccanismo iterativo che impone la fattibilità cinematica, convertendo l'adattamento dell'embodiment in un problema di soddisfacimento dei vincoli.
5. Validazione Empirica: Esperimenti completi che dimostrano miglioramenti nella correttezza del compito, l'eseguibilità fisica e l'apprendimento di policy a valle.

4. Risultati Sperimentali

Pegasus è stato valutato su benchmark tra cui GTEA Gaze+, EPIC-KITCHENS-100 e un set curato di Video di Manipolazione da Internet, su cinque diversi embodiment robotici (es. Franka Panda, xArm 7, UR5e).

4.1 Correttezza del Compito ed Eseguibilità

• La generazione condizionata dal grafo ha superato i baseline basati solo su prompt del 12,3% nella Correttezza del Compito e del 15,7% nell'Eseguibilità.
• Su cinque tipi di robot, il sistema ha raggiunto una Correttezza del Compito media dell'84,4% (VLM) e dell'81,5% (Umano), con un'Eseguibilità dell'89,6%.

4.2 Apprendimento di Policy a Valle

L'addestramento delle policy (OpenVLA e ACT) sui dati generati ha prodotto risultati significativi:

• I dati generati da soli hanno raggiunto un tasso di successo del 55,2%, paragonabile all'84% delle prestazioni ottenute con 50 dimostrazioni da robot reali (65,9%).
• L'integrazione di 50 dimostrazioni reali con 200 generate ha migliorato il tasso di successo di un 11,3% assoluto rispetto ai soli dati reali.
• Rispetto all'addestramento su feature di video umani (R3M/VIP), la generazione condizionata dal grafo ha fornito un miglioramento del +25,8% nel tasso di successo.

4.3 Generalizzazione su Oggetti Non Visti

Il Latente di Affordance ha dimostrato forti capacità zero-shot:

• Ha raggiunto il 78,5% di correttezza del compito su oggetti completamente nuovi (es. anguria, cacciavite) rispetto al 45,1% dei latenti basati sull'identità dell'oggetto.
• Il modello ha inferito con successo i comportamenti necessari (es. "pesante + fragile" $\rightarrow$ "presa di potenza cauta") basandosi sulla composizione delle affordance.

4.4 Validità Fisica

La verifica a ciclo chiuso ha migliorato significativamente la fattibilità fisica:

• Pass@1 (primo tentativo) era del 51,2%; Pass@5 (dopo 5 iterazioni) ha raggiunto il 94,1%.
• L'errore di Cinematica Inversa (IK) è stato ridotto del 93,5%, e i tassi di collisione sono scesi del 90,9%.

4.5 Studi di Ablazione

• La rimozione del Grafo dei Vincoli ha causato il calo maggiore nell'Eseguibilità (-11,2%).
• La rimozione del Grafo di Affordance ha causato il calo maggiore nella Correttezza del Compito su oggetti non visti (-5,1%).
• La struttura a grafi è stata identificata come il driver primario delle prestazioni, piuttosto che il modello di generazione video sottostante.

5. Significato e Rivendicazioni

Il paper sostiene che Pegasus riesca a riformulare la generazione di dati per robot da un problema di raccolta hardware a un problema di trasferimento di conoscenza scalabile e a basse risorse.

• Trasferimento a Livello di Esperienza: Il lavoro sostiene che il gap di embodiment debba essere colmato al livello dell'esperienza (obiettivi, transizioni di stato, affordance) piuttosto che al livello dei pixel. Ciò consente al sistema di sfruttare la diversità e il realismo dei video umani senza richiedere la costruzione di asset 3D su larga scala o simulazioni.
• Scalabilità: Disaccoppiando la semantica del compito dalla morfologia del robot, il framework consente la sintesi di dimostrazioni apprendibili dai robot per piattaforme eterogenee partendo da un singolo set di dati umani.
• Praticità: I risultati suggeriscono che modellare esplicitamente la conoscenza del compito e le strutture di affordance permetta di utilizzare l'enorme collezione di video di manipolazione umana come supervisione efficace per l'apprendimento robotico, offrendo un'alternativa pratica alla raccolta di ogni singola dimostrazione su hardware fisico.

Gli autori riconoscono i limiti, tra cui la dipendenza dai VideoLLM per la decomposizione dei compiti, il focus sulla coerenza cinematica piuttosto che sulla dinamica completa del contatto, e gli attuali vincoli alla generazione a vista singola. Tuttavia, il framework stabilisce un nuovo paradigma per l'apprendimento di rappresentazioni cross-embodiment strutturate.