Sintesi Tecnica: Comprendere e Mitigare il Gap di Generalizzazione Video-Azione tramite il Rapporto Temporale

1. Definizione del Problema

I modelli fondazionali di generazione video (VFM) possiedono forti prior compositivi derivati da dati su scala internet, che consentono loro di comprendere la coerenza temporale, le interazioni tra oggetti e la plausibilità fisica. Tuttavia, quando questi modelli vengono adattati per il controllo robotico come Modelli Video-Azione (WAM) o Modelli Video-Azione (VAM), spesso perdono queste capacità di generalizzazione compositiva dopo l'apprendimento (finetuning) sui dati di azione robotica. Gli autori definiscono questa discrepanza come il gap di Generalizzazione Video-Azione (VAG).

Le policy esistenti falliscono frequentemente nella generalizzazione compositiva (ad esempio, ricombinando oggetti e contenitori visti in sequenze di task non viste) perché si sovrafittano sulle correlazioni visive nei dati di addestramento piuttosto che sfruttare i prior generativi sottostanti. Sebbene siano state esplorate diverse scelte progettuali standard per i VAM (come l'addestramento congiunto rispetto all'addestramento in due fasi, o la variazione dei livelli di rumore), esse producono un panorama di prestazioni frammentato senza una chiara spiegazione emergente sul perché determinate configurazioni abbiano successo o falliscano in scenari Out-of-Distribution (OOD).

2. Metodologia

2.1 Analisi Sistematica dello Spazio di Progettazione

Gli autori hanno valutato sistematicamente una classe di VAM che utilizzano feature latenti da modelli fondazionali video pre-addestrati (specificamente Cosmos-Predict 2.5-2B) e apprendono una testa d'azione di dinamica inversa latente tramite flow matching. Hanno investigato lo spazio di progettazione attraverso due assi primari:

• Configurazioni durante l'addestramento: Confronto tra l'adattamento a parametri efficienti (LoRA) e il fine-tuning completo, e l'addestramento congiunto (ottimizzazione simultanea delle perdite video e di azione) rispetto all'addestramento in due fasi (fine-tuning del backbone prima, seguito dal congelamento dello stesso per l'addestramento della testa d'azione).
• Parametri durante l'inferenza: Variazione del livello di rumore video ($\sigma_v$) al quale vengono estratte le feature e l'orizzonte di predizione ($T$).

L'analisi ha rivelato che, mentre le prestazioni In-Distribution (ID) erano spesso sature, le prestazioni OOD erano altamente sensibili a queste scelte, eppure nessuna singola configurazione riusciva costantemente a colmare il gap.

2.2 Il Rapporto Temporale (TR)

Per spiegare i modi di fallimento, gli autori hanno introdotto il Rapporto Temporale (TR), una metrica basata sull'attenzione che quantifica quanto fortemente la testa d'azione dipenda dai rollout latenti futuri predetti rispetto al frame corrente ancorato.

• Definizione: Il TR è calcolato come il rapporto tra la massa di attenzione assegnata dalla testa d'azione ai token dei frame futuri ($V_+$) rispetto ai token del frame corrente ($V_0$):
  $$TR = \frac{\sum_{q \in A} \sum_{v \in V_+} A^\ell(q,v)}{\sum_{q \in A} \sum_{v \in V_0} A^\ell(q,v)}$$
  dove $A$ rappresenta i token di azione e $\ell$ è uno specifico layer nella testa d'azione.
• Interpretazione Fisica: Nella formulazione di denoising del video, il primo frame ($t=0$) viene iniettato come un'ancora di osservazione pulita e ad alta fedeltà ad ogni step. I frame futuri sono denoisati da latenti rumorosi e rappresentano l'evoluzione "immaginata" del modello. Un TR elevato indica che la policy sta pianificando basandosi su questi futuri immaginati; un TR basso indica che la policy sta reagendo all'osservazione immediata.

2.3 Osservazioni Chiave sul TR

• Potere Predittivo: Il TR funge da predittore diretto della capacità di generalizzazione compositiva. I modelli con un TR più elevato durante le fasi di pianificazione correlano con una migliore capacità di successo OOD.
• Dinamiche delle Fasi del Task: Il TR non è statico; fluttua in base alla fase del task. Aumenta durante le "fasi di pianificazione" (ad esempio, la selezione di un oggetto o di un contenitore) dove la policy deve legare linguaggio e obiettivi agli stati futuri. Diminuisce durante le "fasi di manipolazione precisa" (ad esempio, afferrare o posizionare) dove la policy deve ancorarsi al frame corrente per la precisione.
• Diagnosi del Modo di Fallimento: Il gap VAG deriva spesso da un mismatch: il backbone video può predire un futuro compositivo corretto, ma la testa d'azione lo ignora (basso TR) e segue una traiettoria ID memorizzata. Al contrario, la testa d'azione può seguire un futuro allucinato se il TR è alto ma la predizione video è scarsa.

2.4 Guida Adattiva al TR

Sulla base di queste scoperte, gli autori propongono un metodo di guida adattiva al tempo di inferenza che amplifica dinamicamente i segnali di condizionamento video compositivo proprio quando la policy dipende dai rollout futuri.

• Meccanismo: Il metodo calcola due direzioni di guida controfattuali:
  1. Guida Linguistica: Isola la velocità dell'azione dipendente dall'istruzione confrontando le feature video condizionali con quelle del testo nullo.
  2. Guida del Piano: Isola la struttura temporale a lungo orizzonte confrontando le feature dell'orizzonte standard con le feature dell'orizzonte esteso.
• Scaling Adattivo: La forza di questi segnali di guida ($w_{lang}, w_{plan}$) è scalata dinamicamente in base all'attuale TR. Il peso aumenta quando il TR sale sopra un baseline dell'episodio (indicando una fase di pianificazione) ed è limitato per evitare un eccesso di guida. Ciò consente al modello di sfruttare il ragionamento compositivo durante la pianificazione, pur rilassando la guida per preservare la precisione locale durante la manipolazione.

3. Risultati Chiave

3.1 Simulazione (Benchmark LIBERO)

Valutato sulle suite LIBERO (Spatial, Object, Goal, Long) e sui loro corrispondenti compositivi OOD:

• Prestazioni Baseline: I precedenti WAM e VAM mostravano prestazioni ID sature (>95%) ma crollavano negli scenari OOD (spesso <15% di successo).
• Risultati dello Spazio di Progettazione: L'addestramento congiunto con LoRA e livelli di rumore video intermedi ($\sigma_v \approx 0.883$) ha prodotto le migliori prestazioni OOD non guidate (55.7% media).
• Impatto della Guida Adattiva al TR: Il metodo proposto ha migliorato il successo OOD medio al 59.4%, un miglioramento di oltre 5 volte rispetto alle baseline VAM non guidate, mantenendo al contempo prestazioni ID comparabili ai migliori modelli non guidati. La guida piatta (senza adattamento al TR) ha degradato le prestazioni ID, confermando la necessità di una guida consapevole delle fasi.

3.2 Valutazione nel Mondo Reale (Bimanual YAM)

Valutato su un robot bimanuale che esegue 24 scenari multi-task (piatti, snack, bottiglie, ecc.) con scene OOD compositive:

• Prestazioni: Il VAM proposto ha superato le baseline ($\pi_0, \pi_{0.5}$, Cosmos-Policy).
• Efficacia della Guida: La guida adattiva ha aumentato il tasso di successo medio dal 71.7% (non guidato) all'83.3%.
• Fallimento degli Approcci Standard: L'estrazione delle feature allo step di rumore completo ($\sigma_v=1.0$), come fatto nei precedenti VAM, ha portato a un successo quasi nullo nei task del mondo reale, evidenziando la necessità di latenti strutturati e parzialmente denoisati.

4. Significato e Rivendicazioni

Il paper sostiene che il gap VAG non è semplicemente il risultato di dati insufficienti o di capacità del modello, ma un problema meccanicistico riguardante il modo in cui la testa d'azione instrada le informazioni tra l'osservazione corrente e i futuri predetti.

• Strumento Diagnostico: Il Rapporto Temporale fornisce una metrica interpretabile a runtime per diagnosticare se una policy stia utilizzando efficacemente i suoi prior video generativi.
• Meccanismo di Miglioramento: Il lavoro dimostra che la generalizzazione compositiva richiede una doppia condizione: (1) il backbone video deve predire un futuro utile, e (2) la testa d'azione deve fare attivamente affidamento su quel futuro durante le fasi di pianificazione.
• Mitigazione Pratica: La Guida Adattiva al TR offre un intervento pratico al tempo di inferenza che sfrutta questo pattern di attenzione intrinseco per migliorare la generalizzazione OOD senza riaddestrare il modello o sacrificare la precisione della manipolazione locale.

Gli autori concludono che il loro framework chiarisce il comportamento dei VAM e fornisce una via per mitigare il gap di generalizzazione OOD nella robotica, pur riconoscendo i limiti riguardanti la plausibilità fisica del modello video sottostante e il costo aggiuntivo dell'inferenza.