Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

Riepilogo Tecnico: Percezione Attiva Video (VAP)

Enunciato del Problema
I Grandi Modelli Vision-Language (VLM) hanno fatto progredire compiti multimodali come il question answering (QA) su video, ma incontrano ostacoli significativi quando applicati a video di lunga durata. Gli autori identificano due sfide principali:

1. Efficacia dei Fotogrammi: L'inferenza standard spesso si basa su un campionamento uniforme (ad esempio, 1 fotogramma al secondo). Questo approccio è subottimale perché tratta tutte le regioni del video allo stesso modo, selezionando potenzialmente fotogrammi irrilevanti mentre perde segmenti ricchi di informazioni e pertinenti al compito. I risultati empirici mostrano che le prestazioni spesso raggiungono un plateau o addirittura peggiorano all'aumentare del numero di fotogrammi campionati uniformemente.
2. Efficienza dei Fotogrammi: L'elaborazione di video lunghi genera un numero proibitivo di token (quasi quattro milioni per un singolo ora), ostacolando il dispiegamento pratico dei VLM in scenari reali come la guida autonoma o il monitoraggio dei pazienti.

Le soluzioni esistenti spesso si basano su ragionamento iterativo basato su agenti, captioning video o strutture dati complesse (ad esempio, grafi o alberi), che introducono alta latenza, dipendono dalla qualità dei modelli di captioning intermedi o richiedono risorse computazionali estese.

Metodologia: Percezione Attiva Video (VAP)
Il documento introduce la Percezione Attiva Video (VAP), un metodo privo di addestramento, eseguito al momento dell'inferenza, progettato per migliorare sia l'efficacia che l'efficienza della selezione dei fotogrammi per il QA su video di lunga durata. Ispirata dalla teoria della percezione attiva—che postula che gli agenti intelligenti acquisiscano dati che differiscono dalle loro aspettative per massimizzare il guadagno informativo—la VAP riformula la selezione dei fotogrammi chiave come un processo di acquisizione dati guidato dalla conoscenza mondiale a priori.

Il metodo opera in tre fasi principali senza fine-tuning del VLM:

1. Generazione di Conoscenza Mondiale A Priori:

   • La VAP utilizza un modello di generazione video condizionato al testo, leggero e pre-addestrato (nello specifico CogVideoX) per rappresentare la conoscenza visiva a priori.
   • Il sistema prende un piccolo sottoinsieme di fotogrammi iniziali campionati uniformemente (ad esempio, 32 fotogrammi), insieme alla domanda dell'utente e alle possibili risposte, come segnali condizionali.
   • Utilizzando un VAE causale 3D e un modulo di interpolazione dei fotogrammi (RIFE), il modello genera rappresentazioni latenti dell'intera dinamica del video, prevedendo come il video dovrebbe svolgersi in base al contesto iniziale e alla query.

2. Acquisizione Dati (Selezione dei Fotogrammi):

   • Il sistema codifica tutti i fotogrammi video reali nello stesso spazio latente utilizzando lo stesso encoder VAE 3D.
   • Confronta quindi le rappresentazioni latenti dei fotogrammi reali con i fotogrammi generati (attesi).
   • La selezione si basa sulla divergenza: i fotogrammi in cui la dinamica reale del video differisce più significativamente dalle previsioni del modello generativo sono considerati "sorprendenti" e quindi più informativi.
   • Il metodo seleziona i $n$ fotogrammi (ad esempio, 32) con la minore similarità coseno rispetto ai loro corrispettivi generati.

3. Inferenza VLM:

   • I fotogrammi chiave selezionati vengono immessi in un VLM di punta (ad esempio, GPT-4o, Gemini 1.5 Pro, LLaVA-OV) insieme alla domanda e alle risposte per eseguire l'inferenza finale.
   • Questo processo è agnostico rispetto al VLM specifico utilizzato e opera in un'unica ronda di selezione, evitando loop iterativi.

Contributi Chiave

• Framework Senza Addestramento: La VAP non richiede fine-tuning di grandi VLM, rendendola immediatamente applicabile ai modelli esistenti.
• Meccanismo di Selezione Innovativo: A differenza dei metodi precedenti che si basano su caption o agenti iterativi, la VAP sfrutta un modello generativo per creare un "prior" e seleziona i fotogrammi in base alla discrepanza tra aspettativa e realtà.
• Approccio Unificato: Semplifica il processo di selezione a un'unica ronda di confronto, eliminando la necessità di strutture dati complesse o di molteplici chiamate LLM.
• Efficienza: Riduce drasticamente il conteggio dei token richiesti per l'inferenza selezionando solo i fotogrammi più rilevanti.

Risultati Sperimentali
Gli autori hanno valutato la VAP su cinque dataset di benchmark: EgoSchema, NExT-QA, ActivityNet-QA, IntentQA e CLEVRER.

• Prestazioni: La VAP ha ottenuto risultati zero-shot all'avanguardia su tutti i dataset. Ad esempio, ha raggiunto il 68,1% su EgoSchema, l'81,4% su NExT-QA e il 40,5% su CLEVRER.
• Capacità di Ragionamento: La VAP ha dimostrato prestazioni superiori su compiti che richiedono ragionamento temporale e causale (ad esempio, domande esplicative e controfattuali in CLEVRER), superando baseline come VideoTree e VideoAgent.
• Guadagni di Efficienza:
  • La VAP ha ottenuto questi risultati utilizzando significativamente meno fotogrammi rispetto alle baseline standard. Ad esempio, su EgoSchema, ha utilizzato 32 fotogrammi rispetto ai 180 fotogrammi standard (1 fps), risultando in un miglioramento dell'efficienza dei fotogrammi di 5,6 volte.
  • Nei confronti di latenza (iso-compute e iso-accuracy), la VAP ha ottenuto una migliore o comparabile accuratezza con una latenza inferiore rispetto al campionamento standard GPT-4o mini.
• Robustezza: Gli esperimenti hanno mostrato che il metodo è robusto rispetto all'insieme specifico di fotogrammi iniziali utilizzati per la generazione e che aumentare il numero di fotogrammi selezionati oltre 32 produce rendimenti decrescenti.

Significato e Affermazioni
Il documento afferma che la VAP dimostra l'efficacia empirica di sfruttare i principi della percezione attiva per migliorare la comprensione di video di lunga durata. Utilizzando un modello generativo per codificare la conoscenza mondiale a priori e selezionando fotogrammi che divergono da queste aspettative, il metodo identifica con successo momenti cruciali (come collisioni o azioni specifiche) che sono fondamentali per rispondere a domande complesse.

Gli autori sottolineano che questo approccio offre una strategia di acquisizione dati più intelligente per l'inferenza VLM, bilanciando alte prestazioni con efficienza computazionale. Concludono che l'integrazione della conoscenza a priori dai modelli di diffusione è un percorso praticabile per migliorare l'efficacia e l'efficienza dei fotogrammi nel QA su video di lunga durata, in particolare per compiti ricchi di ragionamento. Il lavoro suggerisce che i futuri progressi nei modelli di generazione video potrebbero ulteriormente potenziare i VLM con capacità di ragionamento spaziotemporale più forti su video molto lunghi.