OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding

1. Declaração do Problema

O Grounding Temporal de Vídeo (VTG) envolve localizar os timestamps de início e fim precisos de um evento descrito por uma consulta textual dentro de um vídeo não editado. Embora os métodos existentes performem bem em conjuntos de dados de domínio fechado, eles lutam significativamente em cenários de mundo aberto. Os principais desafios identificados são:

• Diversidade Semântica Limitada: Conjuntos de dados existentes (por exemplo, ActivityNet, Charades-STA) são restritos a atividades humanas comuns e carecem de cobertura de conceitos raros, abstratos ou específicos de domínio.
• Lacuna de Desempenho: Os modelos exibem uma queda significativa de desempenho ao lidar com conceitos "raros" em comparação com conceitos "comuns".
• Qualidade de Anotação: A anotação manual é cara e não escalável, enquanto pipelines automatizados (por exemplo, usando ASR) frequentemente falham em alinhar consultas com precisão ao conteúdo visual.
• Limitações de Raciocínio: Os Modelos de Linguagem Multimodal (MLLMs) atuais possuem fortes capacidades de compreensão de vídeo (por exemplo, correspondência, classificação), mas fracas capacidades diretas de grounding. Além disso, as abordagens existentes de Cadeia de Pensamento (CoT) frequentemente carecem de mecanismos explícitos de auto-correção, meramente descrevendo o conteúdo sem refinar as previsões.

2. Metodologia

Os autores propõem uma solução de duas frentes: um novo conjunto de dados em grande escala (OmniVTG) e um novo paradigma de treinamento de Cadeia de Pensamento (CoT) de Auto-Correção.

A. Construção do Conjunto de Dados OmniVTG

O OmniVTG é um conjunto de dados em grande escala (2.124 horas, 359 mil consultas) construído via um pipeline de Expansão Iterativa de Cobertura Semântica:

1. Identificação de Palavras-Alvo: Os autores analisam o vocabulário dos conjuntos de dados VTG existentes para identificar palavras sub-representadas (lacunas) usando um tokenizador BERT e verificação ortográfica.
2. Coleta de Vídeos Direcionada: Em vez de buscar palavras brutas (o que produz resultados irrelevantes), um LLM (Gemini-2.5-Pro) traduz conceitos-alvo em palavras-chave de busca específicas e centradas em eventos (por exemplo, traduzindo "meticuloso" para "montagem meticulosa de relojoeiro"). Essas palavras-chave são usadas para raspar vídeos de plataformas como YouTube e Bilibili.
3. Anotação Automatizada Centrada em Legendas: Aproveitando a observação de que os MLLMs são melhores em legendagem densa com timestamps do que no grounding direto, o sistema solicita aos MLLMs que gerem legendas densas com timestamps que incluam explicitamente as palavras raras-alvo.
4. Controle de Qualidade: Um subconjunto de anotações é verificado manualmente para criar um conjunto de testes de alta qualidade.

B. Paradigma de Treinamento CoT de Auto-Correção

Os autores propõem um pipeline de treinamento de três estágios para fechar a lacuna entre a compreensão de vídeo e o grounding:

1. Ajuste Fino Supervisionado (SFT): O modelo é treinado em quatro tarefas para construir habilidades fundamentais:
   • Grounding Temporal: Previsão de timestamps.
   • Legendagem de Eventos: Descrição de eventos dados os timestamps.
   • Correspondência Consulta-Clip: Verificação se um segmento corresponde a uma consulta.
   • Classificação de Status do Evento: Determinação se um evento está "Não Iniciado", "Em Progresso" ou "Encerrado" em um momento específico.
2. Ajuste Fino CoT de Auto-Correção: Este estágio ensina explicitamente o caminho de raciocínio "prever-corrigir". O modelo é treinado em dados onde ele primeiro prevê um segmento grosseiro (Evento A) e, em seguida, usa suas capacidades de compreensão para "dar zoom" e refinar a previsão para o segmento correto (Evento B). Isso força o modelo a usar suas fortes habilidades de compreensão para verificar e corrigir seus próprios erros de localização.
3. Aprendizado por Reforço (RL): Usando Otimização de Política Relativa em Grupo (GRPO), o modelo é ainda mais otimizado em exemplos desafiadores para reforçar a estrutura de raciocínio de auto-correção consciente do tempo.

3. Principais Contribuições

1. Conjunto de Dados OmniVTG: Um conjunto de dados massivo e rico semanticamente, cobrindo um vasto vocabulário de conceitos raros e comuns, construído via uma estratégia de expansão iterativa que supera significativamente os conjuntos de dados existentes em diversidade vocabular e escala.
2. Paradigma CoT de Auto-Correção: Uma nova estrutura de treinamento que aproveita as capacidades superiores de compreensão de vídeo do modelo para refinar iterativamente as previsões de grounding temporal, fechando efetivamente a lacuna de desempenho entre conceitos raros e comuns.
3. Desempenho State-of-the-Art: A abordagem alcança resultados SOTA tanto no novo benchmark OmniVTG quanto em quatro benchmarks públicos VTG existentes (ActivityNet, Charades-STA, QVHighlights, TVGBench) em configurações zero-shot.

4. Resultados Experimentais

• Desempenho em Mundo Aberto: No conjunto de testes OmniVTG, o método proposto alcança 63,3% R1@0.5, superando significativamente bases fortes como Time-R1 (33,9%) e UniTime (37,1%).
• Robustez a Conceitos Raros: A lacuna de desempenho entre conceitos "Raros" e "Não Raros" é drasticamente reduzida. Enquanto o desempenho do Time-R1 cai de 33,9% (Todos) para 29,4% (Raros), o OmniVTG mantém um 62,4% estável em conceitos Raros.
• Generalização Zero-Shot: O modelo alcança desempenho zero-shot SOTA em quatro benchmarks públicos sem ajuste fino neles, demonstrando generalização superior em comparação com modelos treinados em dados de domínio fechado.
• Estudos de Ablação:
  • A remoção do estágio CoT leva a uma queda significativa de desempenho, provando a necessidade do mecanismo de auto-correção.
  • Reflexão consciente do conteúdo (usando segmentos de vídeo semanticamente similares para correção) supera a reflexão baseada em regras.
  • O pipeline de três estágios (SFT + CoT + RL) é complementar, com cada estágio contribuindo para o desempenho final.

5. Significado

Este trabalho aborda um gargalo crítico na compreensão de vídeo: a incapacidade dos modelos atuais de generalizar para cenários de mundo aberto com conceitos diversos e raros. Ao deslocar o foco do grounding direto para a auto-correção impulsionada pela compreensão, os autores demonstram que os MLLMs podem ser efetivamente treinados para refinar suas próprias previsões. O lançamento do OmniVTG fornece um benchmark necessário para pesquisas futuras, movendo o campo além de conjuntos de dados limitados e de domínio fechado em direção a uma verdadeira compreensão de vídeo em mundo aberto. O paradigma de treinamento proposto oferece um modelo escalável para aprimorar as capacidades de raciocínio em modelos multimodais.