Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos

Este trabajo presenta Synthetic Visual Genome 2 (SVG2), un dataset masivo de gráficos de escena espaciotemporales en video generado automáticamente, y TRaSER, un modelo que aprovecha este recurso para mejorar significativamente la detección de relaciones y objetos en video, demostrando además que los gráficos de escena explícitos mejoran la precisión en la respuesta a preguntas sobre videos.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a entender el mundo no solo como una serie de fotos bonitas, sino como una película llena de historias, movimientos y relaciones.

Este paper presenta dos grandes invenciones para lograr eso: un gigantesco libro de instrucciones sintético llamado SVG2 y un cerebro robotizado llamado TraSeR que aprende a leer ese libro.

Aquí te lo explico con analogías sencillas:

1. El Problema: Los mapas antiguos eran incompletos

Antes, los científicos intentaban enseñar a las computadoras a entender videos (como ver quién está montando a quién, o qué objeto está moviéndose hacia dónde) usando "mapas" hechos a mano.

• La analogía: Imagina que tienes que dibujar un mapa de tráfico de una ciudad entera, pero solo tienes tiempo de mirar 3 segundos de cada calle y tienes que hacerlo a mano. Es imposible, lento y lleno de errores. Además, si un coche nuevo entra en la calle, tu mapa no lo tiene.
• La consecuencia: Las computadoras se volvían muy buenas en los videos que ya conocían, pero se perdían totalmente en situaciones nuevas.

2. La Solución 1: SVG2 (El "Universo de Películas Sintéticas")

Los autores crearon SVG2, que es como una biblioteca infinita de videos donde todo está etiquetado automáticamente por una IA superpoderosa.

• La analogía: En lugar de que humanos dibujen mapas a mano, construyeron una fábrica de robots que ve 636,000 videos.
  • Paso 1 (Los ojos): Usan un robot (SAM2) que actúa como un detective de sombras. No solo ve "un coche", sino que dibuja la silueta exacta de cada coche, persona o pelota en cada fotograma, incluso si se cruzan o se esconden.
  • Paso 2 (El guionista): Otro robot (DAM) mira cada objeto y le pone una etiqueta descriptiva: "No es solo un 'coche', es un 'coche rojo oxidado'".
  • Paso 3 (El director de escena): Un cerebro gigante (GPT-5) mira todo el video y escribe las relaciones: "El perro salta sobre la pelota", "La gente mira hacia el cielo".
• El resultado: Tienen un dataset (conjunto de datos) 10 veces más grande que cualquier otro anterior, con millones de objetos y relaciones, todo verificado para asegurar que no son alucinaciones.

3. La Solución 2: TraSeR (El "Traductor de Movimiento")

Ahora que tienen el libro de instrucciones gigante, necesitan un modelo que aprenda a leerlo y entender el video en tiempo real. Aquí entra TraSeR.

• El problema técnico: Los videos son caóticos. Si intentas analizar un video de 1 minuto fotograma por fotograma, es como intentar leer un libro de 1,000 páginas de golpe; la computadora se ahoga. Además, los objetos cambian de lugar constantemente.
• La analogía de TraSeR: Imagina que TraSeR es un editor de cine inteligente. En lugar de ver el video como una sopa de píxeles, hace dos cosas mágicas:
  1. Agrupación por "Hilos" (Resampler de Trayectoria): Imagina que en una película hay un personaje (un actor). TraSeR toma todos los fotogramas donde aparece ese actor y los une en un solo "hilo" de historia. Así, la computadora entiende que "ese es el mismo actor" desde el principio hasta el fin, sin confundirse.
  2. Ventanas de Tiempo (Resampler de Ventana Temporal): Para entender la acción (como "correr" o "caer"), TraSeR no mira todo el video de golpe. Mira pequeñas ventanas de tiempo (como clips de 4 segundos) para capturar el movimiento rápido, y luego combina eso con la historia completa del objeto.

4. ¿Por qué es importante? (El resultado)

Gracias a esta combinación (SVG2 + TraSeR):

• Es más preciso: Si le preguntas a un modelo antiguo "¿Qué está haciendo el perro?", podría decir "está quieto". TraSeR dice: "El perro está saltando sobre la pelota mientras el niño lo observa".
• Mejor que los gigantes: En pruebas, TraSeR superó a modelos comerciales muy potentes (como GPT-5) en la tarea de entender objetos y sus atributos.
• Útil para preguntas: Si le das un video y le preguntas "¿Por qué se cayó la taza?", TraSeR puede usar su "mapa mental" (el gráfico de escena) para responder con mucha más precisión que si solo le mostraran el video sin analizarlo.

En resumen

Los autores crearon una fábrica automática para generar millones de "mapas de relaciones" de videos (SVG2) y diseñaron un nuevo tipo de cerebro (TraSeR) que sabe leer esos mapas siguiendo a los objetos como si fueran hilos de una historia, en lugar de ver el video como una serie de fotos estáticas.

Es como pasar de tener un mapa de la ciudad dibujado a mano y lleno de huecos, a tener un GPS en tiempo real que conoce cada calle, cada coche y cada peatón, y puede explicarte exactamente qué está pasando en la ciudad en este preciso segundo.

Resumen técnico

Resumen Técnico: Synthetic Visual Genome 2 (SVG2) y TraSeR

1. El Problema

A pesar de la utilidad de los grafos de escena (representaciones estructuradas de objetos, atributos y relaciones) en la visión por computadora, su aplicación en el dominio del video enfrenta limitaciones críticas:

• Escala y Coste: Los conjuntos de datos existentes de grafos de escena espaciotemporales son pequeños y carecen de anotaciones densas debido al alto costo y dificultad de la anotación manual a nivel de cuadro.
• Incompletitud: Las anotaciones parciales (solo en algunos cuadros) fallan al capturar la aparición y desaparición de objetos, lo que lleva a modelos que se sobreajustan a distribuciones específicas y no generalizan bien.
• Sesgo y Ruido: Los datos actuales sufren de sesgos de cola larga, anotaciones inconsistentes y una etiquetación temporal insuficiente, lo que impide que los modelos aprendan relaciones dinámicas complejas y vocabularios abiertos.
• Limitaciones de los Modelos Actuales: Los Modelos de Lenguaje Visuales (VLM) existentes no están diseñados nativamente para procesar trayectorias de objetos panópticas densas, ni pueden manejar eficientemente la enorme cantidad de tokens generados por videos largos con muchos objetos.

2. Metodología

El trabajo propone dos componentes principales: un nuevo conjunto de datos masivo (SVG2) y un modelo de generación (TraSeR).

A. Synthetic Visual Genome 2 (SVG2): Un Pipeline Automatizado
SVG2 es un conjunto de datos sintético a gran escala que contiene más de 636,000 videos con anotaciones densas. Se genera mediante un pipeline totalmente automatizado de tres fases:

1. Generación de Trayectorias Panópticas (Fase 1):
   • Utiliza SAM2 (Segment Anything Model 2) para generar máscaras panópticas en cada cuadro.
   • Implementa un mecanismo de seguimiento en línea y fuera de línea (online-offline):
     • En línea: Detecta proactivamente nuevos objetos que aparecen en la escena y mantiene la consistencia de identidad bajo oclusión.
     • Fuera de línea: Repliega el video para asegurar trayectorias completas desde la primera aparición de cada objeto.
   • Logra una alta precisión en el seguimiento (AR de 0.754 en VIPSeg).
2. Descripción y Análisis Semántico (Fase 2):
   • Utiliza Describe Anything Model (DAM) para generar descripciones textuales detalladas de cada trayectoria de objeto.
   • Emplea GPT-4.1-nano para extraer nombres de objetos y atributos (color, forma, estado) de las descripciones.
   • Incluye una etapa de verificación con SAM3 para filtrar etiquetas sintéticas no soportadas visualmente.
3. Extracción de Relaciones Espaciotemporales (Fase 3):
   • Utiliza GPT-5 para inferir relaciones entre objetos.
   • Divide la inferencia en dos pasadas separadas: relaciones espaciales (geometría, posición) y relaciones no espaciales (funcionales, sociales, de movimiento, atención).
   • Define un espacio de relaciones adaptado al video con 7 tipos: espacial, funcional, de estado, de movimiento, social, atencional y de nivel de evento.

B. TraSeR: Modelo de Generación de Grafos de Escena
TraSeR es un modelo basado en VLMs diseñado para convertir videos y trayectorias panópticas en grafos de escena estructurados en una sola pasada.

• Alineación de Tokens con Trayectorias: En lugar de tratar el video como una secuencia plana de parches, TraSeR agrupa los tokens visuales basándose en las máscaras de segmentación de cada objeto, preservando la identidad del objeto a lo largo del tiempo.
• Módulo de Muestreo Dual (Dual Resampler): Para manejar la complejidad computacional y capturar tanto el contexto global como los detalles locales:
  1. Muestreador de Trayectoria de Objeto (Object-trajectory Resampler): Agrega tokens de toda la trayectoria de un objeto para capturar el contexto global y la semántica del objeto.
  2. Muestreador de Ventana Temporal (Temporal-window Resampler): Agrupa tokens en ventanas temporales cortas para preservar la dinámica local, el movimiento y los cambios de atributos/relaciones.
• Entrenamiento: Se entrena utilizando SVG2 junto con conjuntos de datos académicos existentes (VidOR, PVSG, etc.), fusionando la densidad sintética con la realidad de los datos anotados por humanos.

3. Contribuciones Clave

1. SVG2: El primer conjunto de datos de grafos de escena de video a escala masiva (636K videos, 6.6M objetos, 52M atributos, 6.7M relaciones), superando en un orden de magnitud a los conjuntos de datos anteriores.
2. Pipeline de Síntesis Robusto: Una metodología automatizada que valida la viabilidad de generar datos de alta calidad sin anotación manual densa, logrando una precisión humana verificada del 93.8% en objetos, 88.3% en atributos y 85.4% en relaciones.
3. TraSeR: Una nueva arquitectura que introduce mecanismos de reorganización de tokens y muestreo dual, permitiendo a los VLMs entender la estructura espaciotemporal de los videos de manera eficiente.
4. Benchmark SVG2test: Un conjunto de diagnóstico de alta calidad con anotaciones expertas para evaluar la predicción de grafos de escena en vocabulario abierto.

4. Resultados

• Rendimiento en Generación de Grafos (VidSGG):
  • TraSeR supera a los modelos de código abierto más fuertes (como Qwen2.5-VL, InternVL) en un +15-20% en detección de relaciones y +30-40% en predicción de objetos.
  • Supera a GPT-5 en la predicción de objetos (+13%) y atributos (+15%), demostrando que el diseño arquitectónico específico y el entrenamiento en SVG2 son superiores a los modelos de lenguaje generales.
  • Logra un aumento del +15% en la predicción de atributos frente al estado del arte de código abierto.
• Utilidad en Respuesta a Preguntas de Video (VideoQA):
  • Al utilizar los grafos de escena generados por TraSeR como entrada intermedia para un VLM (GPT-4.1), se observa una mejora en la precisión de la respuesta a preguntas de +1.5% a +4.6% en comparación con usar solo el video o grafos generados por otros modelos (Qwen2.5-VL).
  • Esto demuestra que los grafos de escena espaciotemporales explícitos actúan como una representación intermedia superior para el razonamiento.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la comprensión de video:

• Escalabilidad: Demuestra que es posible crear conjuntos de datos masivos y densos para tareas complejas de visión mediante síntesis automatizada, superando las barreras de costo de la anotación humana.
• Representación Intermedia: Valida la hipótesis de que los grafos de escena espaciotemporales son una representación intermedia crucial para mejorar el razonamiento de los modelos de visión y lenguaje, permitiendo una comprensión más profunda de la dinámica, el movimiento y las interacciones en el video.
• Futuro de los VLMs: Sugiere que la integración de datos estructurados de grafos de escena en el entrenamiento de VLMs generales puede desbloquear capacidades de razonamiento composicional y temporal mucho más profundas.

En resumen, SVG2 y TraSeR establecen un nuevo estándar para la generación y comprensión de grafos de escena en video, ofreciendo tanto un recurso de datos masivo como un modelo eficiente que supera a las soluciones actuales tanto en código abierto como en modelos propietarios.