OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding

1. Enunciato del Problema

Il Video Temporal Grounding (VTG) consiste nel localizzare gli timestamp di inizio e fine precisi di un evento descritto da una query testuale all'interno di un video non tagliato. Sebbene i metodi esistenti performino bene su dataset a dominio chiuso, faticano significativamente in scenari open-world. Le principali sfide identificate sono:

• Diversità Semantica Limitata: I dataset esistenti (es. ActivityNet, Charades-STA) sono limitati ad attività umane comuni e mancano di copertura per concetti rari, astratti o specifici di un dominio.
• Divario nelle Prestazioni: I modelli mostrano un calo significativo delle prestazioni quando gestiscono concetti "rari" rispetto a quelli "comuni".
• Qualità dell'Annotazione: L'annotazione manuale è costosa e non scalabile, mentre le pipeline automatizzate (es. utilizzando ASR) spesso non riescono ad allineare le query con precisione al contenuto visivo.
• Limitazioni nel Ragionamento: I Modelli Linguistici Multimodali (MLLM) attuali possiedono forti capacità di comprensione video (es. matching, classificazione) ma deboli capacità di grounding diretto. Inoltre, gli approcci esistenti di Chain-of-Thought (CoT) spesso mancano di meccanismi espliciti di auto-correzione, limitandosi a descrivere il contenuto senza affinare le previsioni.

2. Metodologia

Gli autori propongono una soluzione a due fronti: un nuovo dataset su larga scala (OmniVTG) e un nuovo paradigma di training Self-Correction Chain-of-Thought (CoT).

A. Costruzione del Dataset OmniVTG

OmniVTG è un dataset su larga scala (2.124 ore, 359k query) costruito tramite una pipeline di Espansione Iterativa della Copertura Semantica:

1. Identificazione delle Parole Target: Gli autori analizzano il vocabolario dei dataset VTG esistenti per identificare parole sottorappresentate (lacune) utilizzando un tokenizer BERT e un controllo ortografico.
2. Raccolta Video Mirata: Invece di cercare parole grezze (che producono risultati irrilevanti), un LLM (Gemini-2.5-Pro) traduce i concetti target in parole chiave di ricerca specifiche e centrate sull'evento (es. tradurre "meticoloso" in "assemblaggio meticoloso di un orologiaio"). Queste parole chiave vengono utilizzate per raccogliere video da piattaforme come YouTube e Bilibili.
3. Annotazione Automatizzata Centrata sulle Didascalie: Sfruttando l'osservazione che gli MLLM sono migliori nella didascalia densa con timestamp rispetto al grounding diretto, il sistema invita gli MLLM a generare didascalie dense con timestamp che includano esplicitamente le parole target rare.
4. Controllo di Qualità: Un sottoinsieme di annotazioni viene verificato manualmente per creare un set di test di alta qualità.

B. Paradigma di Training Self-Correction CoT

Gli autori propongono una pipeline di training in tre fasi per colmare il divario tra comprensione video e grounding:

1. Supervised Fine-Tuning (SFT): Il modello viene addestrato su quattro compiti per costruire competenze fondamentali:
   • Temporal Grounding: Previsione degli timestamp.
   • Event Captioning: Descrizione degli eventi dati gli timestamp.
   • Query-Clip Matching: Verifica se un segmento corrisponde a una query.
   • Event Status Classification: Determinazione se un evento è "Non Iniziato", "In Corso" o "Terminato" in un momento specifico.
2. Self-Correction CoT Finetuning: Questa fase insegna esplicitamente il percorso di ragionamento "prevedi-poi-correggi". Il modello viene addestrato su dati in cui prima prevede un segmento grezzo (Evento A) e poi utilizza le sue capacità di comprensione per "zoomare" e affinare la previsione sul segmento corretto (Evento B). Questo costringe il modello a utilizzare le sue forti capacità di comprensione per verificare e correggere i propri errori di localizzazione.
3. Reinforcement Learning (RL): Utilizzando l'ottimizzazione della politica relativa di gruppo (GRPO), il modello viene ulteriormente ottimizzato su esempi difficili per rafforzare la struttura di ragionamento di auto-correzione consapevole del tempo.

3. Contributi Chiave

1. Dataset OmniVTG: Un dataset massiccio e ricco semanticamente che copre un vasto vocabolario di concetti rari e comuni, costruito tramite una strategia di espansione iterativa che supera significativamente i dataset esistenti in diversità vocabolare e scala.
2. Paradigma Self-Correction CoT: Un nuovo framework di training che sfrutta le superiori capacità di comprensione video del modello per affinare iterativamente le previsioni di grounding temporale, chiudendo efficacemente il divario nelle prestazioni tra concetti rari e comuni.
3. Prestazioni State-of-the-Art: L'approccio ottiene risultati SOTA sia sul nuovo benchmark OmniVTG sia su quattro benchmark VTG pubblici esistenti (ActivityNet, Charades-STA, QVHighlights, TVGBench) in impostazioni zero-shot.

4. Risultati Sperimentali

• Prestazioni Open-World: Sul set di test OmniVTG, il metodo proposto ottiene 63.3% R1@0.5, superando significativamente baselines solide come Time-R1 (33.9%) e UniTime (37.1%).
• Robustezza ai Concetti Rari: Il divario di prestazioni tra concetti "Rari" e "Non Rari" è drasticamente ridotto. Mentre le prestazioni di Time-R1 scendono dal 33.9% (Tutti) al 29.4% (Rari), OmniVTG mantiene un 62.4% stabile sui concetti Rari.
• Generalizzazione Zero-Shot: Il modello ottiene prestazioni zero-shot SOTA su quattro benchmark pubblici senza essere fine-tunato su di essi, dimostrando una generalizzazione superiore rispetto ai modelli addestrati su dati a dominio chiuso.
• Studi di Ablazione:
  • La rimozione della fase CoT porta a un calo significativo delle prestazioni, dimostrando la necessità del meccanismo di auto-correzione.
  • La riflessione consapevole del contenuto (utilizzando segmenti video semanticamente simili per la correzione) supera la riflessione basata su regole.
  • La pipeline a tre fasi (SFT + CoT + RL) è complementare, con ogni fase che contribuisce alle prestazioni finali.

5. Significato

Questo lavoro affronta un collo di bottiglia critico nella comprensione video: l'incapacità dei modelli attuali di generalizzare a scenari open-world con concetti diversi e rari. Spostando il focus dal grounding diretto alla auto-correzione guidata dalla comprensione, gli autori dimostrano che gli MLLM possono essere efficacemente addestrati a rifinire le proprie previsioni. Il rilascio di OmniVTG fornisce un benchmark necessario per la ricerca futura, spostando il campo oltre i dataset limitati a dominio chiuso verso una comprensione video veramente open-world. Il paradigma di training proposto offre una blueprint scalabile per migliorare le capacità di ragionamento nei modelli multimodali.