Incentivizing Vision Language Models to Search for Long Video Question Answering

2. Ricerca: Invia query di ricerca in linguaggio naturale tramite gli strumenti <search> o <search subtitle> per recuperare clip candidate.
3. Osservazione: Riceve un budget limitato di fotogrammi (16 fotogrammi per turno) dai clip recuperati.
4. Raffinamento: Aggiorna il proprio contesto sulla base delle prove recuperate prima di formulare la risposta finale.

Il sistema utilizza un'infrastruttura di indicizzazione duale:

• Indice Visivo Semantico: I video vengono segmentati in clip di 8 secondi e incorporati utilizzando l'encoder ViCLIP.
• Indice dei Sottotitoli: Le trascrizioni testuali sono mappate su finestre di fotogrammi esatte, consentendo all'agente di cercare specifici dialoghi parlati o entità nominate che le incorporazioni visive potrebbero mancare.

2.2 VETL: Evidenza Visiva tramite Logica Temporale

Per risolvere il problema della scarsità di ricompensa, gli autori propongono VETL, una pipeline neuro-simbolica che colma il divario tra il linguaggio naturale aperto e la verifica visiva discreta.

• Generazione della Specifica: Complesse query dell'utente vengono compilate in specifiche formali di Logica Temporale (TL). Un generatore LLM propone una formula TL $\phi$ su un set di primitive visive atomiche (ad es., "donna", "versa acqua", "aggiunge fragola"). Un modello giudice verifica questa specifica per la copertura delle entità e la fedeltà temporale.
• Disaccoppiamento di Semantica e Tempo: La specifica TL disaccoppia gli eventi di grounding visivo (primitive) dalle loro dipendenze temporali. Ciò trasforma la domanda a lungo orizzonte in una checklist esatta di elementi visivi richiesti.
• Segnale di Ricompensa Denso: Durante il post-training con RL, il contesto video recuperato dall'agente viene valutato rispetto alla specifica TL. Un controllore visivo deterministico (utilizzando ViCLIP) rileva se specifiche primitive sono presenti nei fotogrammi recuperati. La ricompensa $R_{VETL}$ è calcolata come la frazione di primitive richieste osservate con successo attraverso l'intero percorso. Ciò fornisce un feedback denso e passo-passo, incentivando l'agente a raccogliere prove specifiche piuttosto che limitarsi a indovinare la risposta finale.

2.3 Apprendimento per Rinforzo (Reinforcement Learning)

Il framework impiega la Group Relative Policy Optimization (GRPO) per il post-training. La ricompensa totale è una combinazione pesata della precisione della risposta finale (Exact Match, $R_{EM}$) e della ricompensa dell'evidenza VETL ($R_{VETL}$):
$$R = \lambda_1 R_{EM} + \lambda_2 R_{VETL}$$
dove $\lambda_1=0.7$ e $\lambda_2=0.3$. Questo obiettivo incoraggia il modello a imparare una politica di ricerca che verifichi rigorosamente il contesto prima di rispondere.

3. Contributi Chiave

Il documento delinea quattro contributi primari:

1. Framework VSeek: Un sistema agente che converte la LVQA in un processo di scoperta attivo e multi-turno utilizzando il linguaggio naturale come interfaccia di ricerca primaria, evitando la necessità di una rigida predizione dei timestamp.
2. Pipeline VETL: Un metodo neuro-simbolico che converte domande aperte in specifiche di logica temporale verificabili, creando efficacemente dei "test unitari visivi" per la costruzione del contesto.
3. Ricompense RL Verificate: Un nuovo meccanismo di reward shaping che valuta il percorso di raccolta delle evidenze di un agente rispetto alle primitive visive estratte, consentendo un feedback controllabile e passo-passo oltre la supervisione basata solo sull'esito.
4. Validazione Empirica: Dimostrazione che l'ottimizzazione per la costruzione di contesti verificati aumenta significativamente le prestazioni di ragionamento agente a lungo orizzonte.

4. Risultati Sperimentali

Gli autori hanno valutato VSeek su molteplici benchmark in-domain (LongVideoBench, MLVU, Video-MME) e out-of-domain (LVBench, CGBench-mini).

• Guadagni di Prestazione: Rispetto ai modelli base (Qwen3-VL-4B-Thinking), le varianti VSeek hanno mostrato miglioramenti significativi. Nello specifico, VSeek-VETL ha migliorato i punteggi Pass@1 fino all'8% e i punteggi Pass@4 fino al 15% nei benchmark di comprensione di video lunghi.
• Efficacia della Ricompensa: L'introduzione dei reward VETL ha fornito un vantaggio distinto rispetto ai modelli addestrati solo con reward di Exact Match (VSeek-EM), particolarmente sui dataset in-domain dove la copertura delle evidenze è critica.
• Robustezza ai Video Lunghi: All'aumentare della durata del video (ad es., >10 minuti), le varianti VSeek hanno mantenuto una maggiore stabilità del ragionamento rispetto ai baseline come VideoTree e Naive RAG. VSeek-VETL ha imparato specificamente a produrre parole chiave di ricerca altamente specifiche, evitando le query generiche che spesso portano a clip irrilevanti.
• Efficienza: Le varianti VSeek hanno raggiunto prestazioni allo stato dell'arte elaborando significativamente meno fotogrammi in media (circa 30–32 fotogrammi) rispetto al budget fisso di 64 fotogrammi dei normali VLM e dei baseline RAG.
• Robustezza Algoritmica: I benefici dei reward verificati sono stati coerenti tra gli algoritmi GRPO e RLOO, sebbene sia stata osservata una degradazione con GSPO.

5. Significato e Rivendicazioni

Il documento sostiene che la strada da seguire per l'agentic long-video QA debba rispecchiare le innovazioni nel ragionamento degli LLM per la matematica e la programmazione, dove il progresso è catalizzato da ricompense verificabili.

• Passaggio da Passivo ad Attivo: VSeek sposta il campo dalla campionatura uniforme e passiva verso una ricerca di evidenza attiva e iterativa, riconoscendo che gli esseri umani non si affidano a un campionamento casuale dei fotogrammi per documenti lunghi.
• Colmare il Gap di Verifica: Introducendo VETL, gli autori affermano di aver risolto il collo di bottiglia critico nell'applicazione del RL al video: la mancanza di un segnale per verificare la costruzione del contesto. Ciò consente di addestrare agenti che sono incentivati a trovare l'evidenza visiva "corretta", non solo la risposta finale "corretta".
• Fondamenta per Futuri Agenti: Gli autori posizionano VSeek e VETL come un passo fondamentale per agenti video più forti, suggerendo che l'ottimizzazione esplicita per il comportamento di ricerca di evidenza verificabile sia essenziale per scalare la comprensione di video lunghi.

Il documento conclude che, sebbene rimangano delle sfide (come i limiti della ricerca sequenziale e i colli di bottiglia del retriever), la combinazione di ricerca agente e verifica neuro-simbolica offre una strada robusta verso la risoluzione di compiti complessi di ragionamento video a lungo orizzonte.