EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning

1. Il Problema: Comprensione Video Egocentrica

La comprensione dei video egocentrici (ripresi dalla prospettiva in prima persona dell'attore) presenta sfide uniche rispetto ai video esocentrici (terza persona):

• Osservabilità parziale e movimento continuo: La telecamera si muove con l'utente, causando frequenti occlusioni, sfocature e un campo visivo limitato.
• Ragionamento procedurale: Comprendere questi video richiede non solo di riconoscere oggetti, ma di prevedere come le azioni e gli stati degli oggetti evolvono nel tempo per raggiungere un obiettivo.
• Limiti degli attuali MLLM: I Modelli Linguistici Multimodali (MLLM) esistenti tendono a generare risposte plausibili ma visivamente incoerenti o scarsamente ancorate alla realtà. Spesso falliscono nel ragionamento spaziotemporale e soffrono di "catastrofic forgetting" (dimenticanza catastrofica): quando vengono addestrati su dati egocentrici, perdono le capacità di ragionamento generale su video esocentrici.

2. Metodologia: Il Framework EgoVITA

EgoVITA (Egocentric Video Intelligence and Thinking Agent) introduce un framework che scompone il ragionamento in un processo strutturato "Plan-then-Verify" (Pianifica poi Verifica), combinato con l'apprendimento per rinforzo.

A. Decomposizione del Ragionamento

Il modello genera una traiettoria di ragionamento composta da tre segmenti distinti:

1. Pianificazione Egocentrica (<ego_plan>): Il modello genera una sequenza causale di azioni anticipate dalla prospettiva in prima persona (es. "Prendo il coltello", "Lo metto sulla tagliere"). Questo stadio si specializza nel ragionamento procedurale.
2. Verifica Esocentrica (<exo_verify>): Il modello rivede il piano generato assumendo una prospettiva di terza persona (osservatore esterno). Valuta la coerenza logica e spaziale del piano rispetto alla disposizione della scena e alle affordance degli oggetti (es. "Il coltello è visibile sul bancone, la tagliere è a portata di mano. Il piano è coerente").
3. Risposta Finale (<answer>): La risposta finale è condizionata sia dal piano che dalla verifica, garantendo che la conclusione sia fondata su entrambe le prospettive.

B. Addestramento e Ricompense (RL)

Il modello viene addestrato in due fasi:

1. SFT (Supervised Fine-Tuning): Inizializza la struttura di pianificazione e verifica utilizzando dati annotati da umani e generati da un modello "teacher" (Qwen2.5-VL-72B).
2. GRPO (Group Relative Policy Optimization): Ottimizza la politica di ragionamento utilizzando ricompense dense invece di quelle sparse tradizionali. Vengono introdotte due ricompense chiave:
   • ACMG (Anticipatory Cross-Modal Grounding): Una ricompensa densa che allinea le clausole del piano egocentrico con i fotogrammi futuri del video. Il modello proietta le rappresentazioni testuali delle azioni previste in uno spazio visivo e massimizza la similarità con i frame successivi (finestra temporale di 16 frame). Questo insegna al modello a "guardare avanti" e a prevedere gli stati visivi.
   • Ricompensa di Confidenza: Rafforza la coerenza della verifica in terza persona. In una fase iniziale, confronta l'output del modello con quello di un teacher; successivamente, utilizza un ranking self-consistente per favorire le verifiche che meglio riconciliano il piano con le osservazioni visive.

C. Regularizzazione Esocentrica

Per prevenire la dimenticanza delle capacità generali, EgoVITA intercala gli aggiornamenti RL con un passo di regolarizzazione su un dataset di video esocentrici (MSR-VTT). Questo permette al modello di specializzarsi nel ragionamento egocentrico senza degradare le prestazioni su compiti standard di comprensione video.

3. Contributi Chiave

1. Framework Plan-Verify: Introduce una separazione esplicita tra la previsione procedurale in prima persona e la validazione logica in terza persona, creando un meccanismo di feedback incrociato senza bisogno di coppie video ego-exo sincronizzate.
2. Ricompense Dense e Anticipatorie: L'uso di ACMG spinge il modello a collegare le azioni pianificate ai futuri stati visivi, migliorando la coerenza temporale e riducendo le allucinazioni.
3. Generalizzazione Cross-View: Il metodo dimostra che è possibile migliorare il ragionamento egocentrico mantenendo (o addirittura migliorando) le prestazioni su benchmark esocentrici, risolvendo il problema del trade-off tra specializzazione e generalizzazione.

4. Risultati Sperimentali

EgoVITA è stato testato su diverse basi di modelli (Qwen2.5-VL-7B, InternVL3.5-8B, Qwen3-VL-8B) e benchmark:

• Prestazioni Egocentriche (SOTA):
  • Su EgoBlind (assistenza visiva per non vedenti), supera Qwen2.5-VL-7B di +7.7 punti.
  • Su EgoOrient, migliora di +4.4 punti.
  • Miglioramenti significativi anche su EgoPlan, EgoThink e EOC-Bench.
• Prestazioni Esocentriche:
  • A differenza di metodi precedenti che causano un crollo delle prestazioni su video standard, EgoVITA mantiene o migliora i risultati su benchmark come Video-MME, MVBench e LVBench.
  • Confronto con EgoThinker: EgoVITA ottiene prestazioni superiori su compiti egocentrici utilizzando solo 47k campioni di addestramento, mentre EgoThinker richiede milioni di campioni e mostra un degrado significativo su compiti esocentrici.
• Analisi Qualitativa:
  • Le visualizzazioni dell'attenzione (EAGLE) mostrano che EgoVITA focalizza l'attenzione su oggetti rilevanti per il compito in modo dinamico nel tempo, a differenza dei baseline che mostrano attivazioni statiche su sfondi.
  • Il modello è in grado di correggere errori di pianificazione (es. omissione di passaggi di sterilizzazione in laboratorio) grazie allo stadio di verifica esocentrica.

5. Significato e Impatto

EgoVITA rappresenta un passo avanti significativo nell'intelligenza artificiale per la robotica e l'assistenza personale.

• Robustezza Procedurale: Dimostra che la decomposizione del ragionamento in pianificazione e verifica è cruciale per gestire l'incertezza e la parzialità osservativa dei video in prima persona.
• Efficienza dei Dati: Raggiunge prestazioni state-of-the-art con un numero di dati di addestramento significativamente inferiore rispetto ai metodi basati su scala massiva, grazie all'uso intelligente di ricompense dense e RL.
• Applicazioni Pratiche: Il framework è direttamente applicabile a sistemi di assistenza per non vedenti, robotica di servizio e assistenti personali, dove la capacità di prevedere azioni future e verificare la sicurezza/logica in tempo reale è fondamentale.

In sintesi, EgoVITA risolve il problema della "allucinazione procedurale" nei modelli video, insegnando loro non solo a descrivere cosa sta accadendo, ma a pianificare cosa accadrà e a verificare criticamente la plausibilità di tale previsione.