OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding

A continuación se presenta un resumen técnico detallado del artículo "OmniVTG: Un Conjunto de Datos a Gran Escala y un Paradigma de Entrenamiento para la Localización Temporal de Video en el Mundo Abierto".

1. Enunciado del Problema

La Localización Temporal de Video (VTG) consiste en ubicar los instantes de inicio y fin precisos de un evento descrito por una consulta de texto dentro de un video sin recortar. Si bien los métodos existentes funcionan bien en conjuntos de datos de dominio cerrado, luchan significativamente en escenarios de mundo abierto. Los principales desafíos identificados son:

• Diversidad Semántica Limitada: Los conjuntos de datos existentes (por ejemplo, ActivityNet, Charades-STA) se restringen a actividades humanas comunes y carecen de cobertura de conceptos raros, abstractos o específicos de un dominio.
• Brecha de Rendimiento: Los modelos exhiben una caída significativa en el rendimiento al manejar conceptos "raros" en comparación con los "comunes".
• Calidad de la Anotación: La anotación manual es costosa y no escalable, mientras que las pipelines automatizadas (por ejemplo, utilizando ASR) a menudo fallan en alinear las consultas con precisión con el contenido visual.
• Limitaciones de Razonamiento: Los Modelos de Lenguaje Multimodal (MLLM) actuales poseen fuertes capacidades de comprensión de video (por ejemplo, emparejamiento, clasificación) pero débiles capacidades directas de localización. Además, los enfoques existentes de Cadena de Pensamiento (CoT) a menudo carecen de mecanismos explícitos de autocorrección, meramente describiendo el contenido sin refinar las predicciones.

2. Metodología

Los autores proponen una solución de dos frentes: un nuevo conjunto de datos a gran escala (OmniVTG) y un nuevo paradigma de entrenamiento de Cadena de Pensamiento de Autocorrección (CoT).

A. Construcción del Conjunto de Datos OmniVTG

OmniVTG es un conjunto de datos a gran escala (2,124 horas, 359k consultas) construido mediante una pipeline de Expansión Iterativa de Cobertura Semántica:

1. Identificación de Palabras Objetivo: Los autores analizan el vocabulario de los conjuntos de datos VTG existentes para identificar palabras subrepresentadas (brechas) utilizando un tokenizador BERT y corrección ortográfica.
2. Recopilación de Videos Dirigida: En lugar de buscar palabras crudas (lo que produce resultados irrelevantes), un LLM (Gemini-2.5-Pro) traduce los conceptos objetivo en palabras clave de búsqueda específicas y centradas en eventos (por ejemplo, traducir "meticuloso" a "ensamblaje meticuloso de relojero"). Estas palabras clave se utilizan para extraer videos de plataformas como YouTube y Bilibili.
3. Anotación Automatizada Centrada en Subtítulos: Aprovechando la observación de que los MLLM son mejores en la subtitulación densa con marcas de tiempo que en la localización directa, el sistema solicita a los MLLM que generen subtítulos densos con marcas de tiempo que incluyan explícitamente las palabras objetivo raras.
4. Control de Calidad: Un subconjunto de las anotaciones se verifica manualmente para crear un conjunto de pruebas de alta calidad.

B. Paradigma de Entrenamiento CoT de Autocorrección

Los autores proponen una pipeline de entrenamiento de tres etapas para cerrar la brecha entre la comprensión de video y la localización:

1. Ajuste Fino Supervisado (SFT): El modelo se entrena en cuatro tareas para construir habilidades fundamentales:
   • Localización Temporal: Predicción de marcas de tiempo.
   • Subtitulación de Eventos: Descripción de eventos dadas las marcas de tiempo.
   • Emparejamiento Consulta-Clip: Verificación de si un segmento coincide con una consulta.
   • Clasificación de Estado del Evento: Determinación de si un evento está "No Iniciado", "En Progreso" o "Terminado" en un momento específico.
2. Ajuste Fino CoT de Autocorrección: Esta etapa enseña explícitamente la ruta de razonamiento "predecir-luego-corregir". El modelo se entrena con datos donde primero predice un segmento grueso (Evento A) y luego utiliza sus capacidades de comprensión para "acercar" y refinar la predicción al segmento correcto (Evento B). Esto obliga al modelo a utilizar sus fuertes habilidades de comprensión para verificar y corregir sus propios errores de localización.
3. Aprendizaje por Refuerzo (RL): Utilizando Optimización de Política Relativa de Grupo (GRPO), el modelo se optimiza aún más en ejemplos desafiantes para reforzar la estructura de razonamiento de autocorrección consciente del tiempo.

3. Contribuciones Clave

1. Conjunto de Datos OmniVTG: Un conjunto de datos masivo y rico semánticamente que cubre un vasto vocabulario de conceptos raros y comunes, construido mediante una estrategia de expansión iterativa que supera significativamente a los conjuntos de datos existentes en diversidad de vocabulario y escala.
2. Paradigma CoT de Autocorrección: Un nuevo marco de entrenamiento que aprovecha las capacidades superiores de comprensión de video del modelo para refinar iterativamente las predicciones de localización temporal, cerrando efectivamente la brecha de rendimiento entre conceptos raros y comunes.
3. Rendimiento de Vanguardia (SOTA): El enfoque logra resultados SOTA tanto en el nuevo benchmark OmniVTG como en cuatro benchmarks públicos VTG existentes (ActivityNet, Charades-STA, QVHighlights, TVGBench) en configuraciones de cero disparos (zero-shot).

4. Resultados Experimentales

• Rendimiento en Mundo Abierto: En el conjunto de pruebas OmniVTG, el método propuesto logra un 63.3% R1@0.5, superando significativamente a bases sólidas como Time-R1 (33.9%) y UniTime (37.1%).
• Robustez en Conceptos Raros: La brecha de rendimiento entre conceptos "Raros" y "No Raros" se reduce drásticamente. Mientras que el rendimiento de Time-R1 cae del 33.9% (Todos) al 29.4% (Raros), OmniVTG mantiene un 62.4% estable en conceptos Raros.
• Generalización de Cero Disparos: El modelo logra un rendimiento SOTA de cero disparos en cuatro benchmarks públicos sin ajustarse finamente en ellos, demostrando una generalización superior en comparación con modelos entrenados en datos de dominio cerrado.
• Estudios de Ablación:
  • Eliminar la etapa CoT conduce a una caída significativa en el rendimiento, demostrando la necesidad del mecanismo de autocorrección.
  • La reflexión consciente del contenido (utilizando segmentos de video semánticamente similares para la corrección) supera a la reflexión basada en reglas.
  • La pipeline de tres etapas (SFT + CoT + RL) es complementaria, con cada etapa contribuyendo al rendimiento final.

5. Significado

Este trabajo aborda un cuello de botella crítico en la comprensión de video: la incapacidad de los modelos actuales para generalizar a escenarios de mundo abierto con conceptos diversos y raros. Al desplazar el enfoque de la localización directa hacia la autocorrección impulsada por la comprensión, los autores demuestran que los MLLM pueden entrenarse eficazmente para refinar sus propias predicciones. El lanzamiento de OmniVTG proporciona un benchmark necesario para futuras investigaciones, moviendo el campo más allá de conjuntos de datos limitados y de dominio cerrado hacia una comprensión de video verdaderamente de mundo abierto. El paradigma de entrenamiento propuesto ofrece un plano escalable para mejorar las capacidades de razonamiento en modelos multimodales.