Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos

O artigo apresenta o Synthetic Visual Genome 2 (SVG2), um conjunto de dados massivo e diversificado de grafos de cena espaciais e temporais em vídeos gerado por um pipeline automatizado, e o modelo TRaSER, que utiliza esse recurso para superar os métodos existentes na geração de grafos de cena e melhorar o desempenho em tarefas de resposta a perguntas sobre vídeos.

O essencial

Imagine que você está assistindo a um filme de ação. Um computador comum vê apenas pixels mudando de cor: um carro vermelho, um homem de camisa azul, uma explosão. Mas um humano vê uma história: "O homem está dirigindo o carro vermelho", "O carro está passando por baixo da ponte", "O homem está olhando para o explosivo".

Os cientistas chamam essa compreensão profunda de Gráfico de Cena (Scene Graph). É como um mapa mental que conecta objetos, suas características e como eles interagem no tempo.

O problema? Criar esses mapas para vídeos é extremamente difícil e caro. Fazer isso manualmente para milhares de vídeos levaria séculos.

Aqui entra o SVG2 (Synthetic Visual Genome 2) e o TraSeR, os protagonistas deste trabalho. Vamos entender como eles funcionam com uma analogia simples:

1. O Problema: O Caos dos Pixels

Antes, os computadores tentavam entender vídeos frame a frame, como se olhassem para fotos estáticas. Eles perdiam a "história" do movimento. Além disso, os poucos dados que existiam eram pequenos e imprecisos, como tentar aprender a dirigir apenas olhando para um único desenho de um carro.

2. A Solução: A Fábrica Automática de Histórias (SVG2)

Os autores criaram o SVG2, que é como uma fábrica automática que gera milhões de vídeos com legendas perfeitas. Em vez de humanos desenhando cada detalhe, eles criaram um "time de robôs" (IA) que trabalha em três etapas:

• O Vigilante (Rastreamento): Imagine um segurança de shopping que não apenas vê quem entra, mas segue cada pessoa do início ao fim, mesmo que ela se esconda atrás de uma coluna e reapareça. O sistema usa uma tecnologia chamada "SAM2" para criar máscaras precisas ao redor de cada objeto e garantir que o "homem de camisa azul" continue sendo o mesmo homem por 30 segundos, mesmo que ele corra e pule.
• O Poeta (Descrição): Depois de rastrear o objeto, outro robô (baseado em IA generativa) olha para ele e escreve uma descrição rica: "Um homem cansado, vestindo uma camisa azul desbotada, segurando uma xícara de café quente".
• O Detetive (Relações): Finalmente, um terceiro robô (o famoso GPT-5) analisa a cena e deduz as relações: "O homem está segurando a xícara", "A xícara está em cima da mesa", "O homem está olhando para o relógio".

O Resultado: Eles criaram um banco de dados gigante com 636.000 vídeos, contendo milhões de objetos e relações. É como ter uma biblioteca de histórias visuais 10 vezes maior do que qualquer coisa que existia antes.

3. O Herói: O Tradutor Rápido (TraSeR)

Agora, temos o banco de dados, mas como ensinar um computador a fazer isso sozinho, sem precisar de três robôs diferentes rodando de uma vez?

Aqui entra o TraSeR. Pense nele como um tradutor super-rápido que transforma o vídeo bruto diretamente em uma história organizada.

• O Truque do "Fio de Contas": Normalmente, os computadores tratam o vídeo como uma sopa de pixels. O TraSeR é diferente. Ele pega o vídeo e organiza os pedaços de imagem (tokens) como se fossem contas de um colar, seguindo o caminho exato de cada objeto.
• Dois Lentes de Zoom:
  1. Zoom Global (Resampler de Trajetória): Ele olha para o objeto inteiro durante todo o vídeo para entender quem ele é (ex: "Isso é um cachorro").
  2. Zoom Local (Resampler de Janela Temporal): Ele olha para pequenos momentos rápidos para entender o que está acontecendo agora (ex: "O cachorro está latindo").

Essa combinação permite que o TraSeR veja o vídeo inteiro de uma só vez e produza o gráfico de cena completo em um piscar de olhos.

4. Por que isso importa? (A Prova Real)

Os pesquisadores testaram o TraSeR em perguntas difíceis, como: "O que a pessoa estava fazendo 5 segundos antes de pegar a chave?"

• Sem ajuda: O computador olha apenas o vídeo e erra.
• Com ajuda de IAs comuns: O computador tenta adivinhar e ainda erra.
• Com o TraSeR: O computador primeiro cria o "mapa mental" (o gráfico de cena) e, usando esse mapa, responde corretamente.

A Analogia Final:
Se o vídeo é um filme caótico, o SVG2 é a enciclopédia gigante que ensinou a IA a entender o roteiro. O TraSeR é o diretor de cinema que, ao assistir ao filme, consegue instantaneamente escrever o roteiro detalhado (quem está onde, o que está fazendo e como se relacionam) enquanto o filme roda.

Isso abre portas para robôs que entendem o mundo real, carros autônomos que preveem o comportamento de pedestres e assistentes de IA que realmente "enxergam" o que está acontecendo ao seu redor, não apenas reconhecem objetos.

Resumo técnico

Título: Synthetic Visual Genome 2 (SVG2): Extração de Grafos de Cena Espacio-Temporais em Grande Escala a partir de Vídeos

1. O Problema

Os grafos de cena (scene graphs) são representações estruturadas que descrevem objetos, atributos e relações em uma imagem ou vídeo. Embora úteis para tarefas como geração de legendas, recuperação de imagens e navegação robótica, a aplicação em vídeos (grafos de cena espaço-temporais) enfrenta barreiras significativas:

• Escassez de Dados: A anotação manual densa e frame-a-frame de vídeos é extremamente cara e trabalhosa. Os conjuntos de dados existentes são pequenos, esparsos e frequentemente falham em capturar novos objetos que aparecem ou desaparecem.
• Viés e Generalização: Modelos treinados em dados limitados tendem a superajustar (overfit) a distribuições específicas do conjunto de dados e falham ao generalizar para novos objetos, atributos e relações com vocabulário aberto.
• Complexidade Temporal: Diferente de imagens estáticas, vídeos exigem o rastreamento de trajetórias consistentes, a detecção de mudanças de estado e a compreensão de interações dinâmicas ao longo do tempo.

2. Metodologia

Os autores propõem uma solução de duas partes: a criação de um novo conjunto de dados sintético massivo (SVG2) e o desenvolvimento de um novo modelo de geração (TraSeR).

A. Pipeline de Síntese Automática (SVG2)
Para criar o Synthetic Visual Genome 2 (SVG2), os autores desenvolveram um pipeline totalmente automatizado que combina segmentação, rastreamento e inferência de LLMs:

1. Geração de Trajetórias Panópticas (Fase 1): Utiliza o SAM2 (Segment Anything Model 2) para gerar máscaras de segmentação densas em cada quadro. Um mecanismo de rastreamento online-offline foi desenvolvido para:
   • Detectar proativamente novos objetos que entram na cena sem prompts humanos.
   • Manter a consistência de identidade (ID) ao longo de todo o vídeo, mesmo sob oclusão.
   • Uma fase "offline" reprocessa o vídeo para garantir trajetórias completas desde a primeira aparição do objeto.
2. Descrição e Parsing Semântico (Fase 2): Utiliza o modelo Describe Anything (DAM) para gerar descrições textuais detalhadas para cada trajetória de objeto. Em seguida, um LLM (GPT-4.1-nano) extrai nomes de objetos e atributos (cor, forma, estado) dessas descrições.
3. Extração de Relações (Fase 3): O GPT-5 é utilizado para inferir relações espaço-temporais entre os objetos. O processo é dividido em duas etapas para evitar viés:
   • Extração de relações espaciais (focando em relações não triviais que exigem evidência visual, evitando apenas "esquerda/direita").
   • Extração de relações não-espaciais (funcionais, sociais, de movimento, atenção, etc.).
4. Validação Humana: Uma amostra foi verificada manualmente, confirmando alta precisão: 93,8% para objetos, 88,3% para atributos e 85,4% para relações.

B. Modelo TraSeR (Trajectory-grounded Scene Graph Generation)
Para aproveitar o SVG2, foi desenvolvido o TraSeR, um modelo baseado em VLM (Vision-Language Model) que gera grafos de cena em uma única passagem (forward pass).

• Arranjo de Tokens Alinhados à Trajetória: Em vez de tratar o vídeo como uma sequência plana de patches, o TraSeR agrupa tokens visuais diretamente com as trajetórias dos objetos, preservando a identidade do objeto ao longo do tempo.
• Módulo Duplo de Resampling (Resampler): Para lidar com a complexidade computacional de vídeos longos e muitos objetos, o modelo usa dois módulos:
  1. Object-Trajectory Resampler: Agrega tokens de toda a trajetória de um objeto para capturar o contexto global e semântica estável.
  2. Temporal-Window Resampler: Agrupa tokens em janelas temporais curtas para preservar detalhes de movimento local e mudanças de estado (atributos/relações dinâmicas).
• Decodificação: O modelo decodifica esses tokens compactados diretamente em um grafo de cena estruturado (JSON).

3. Principais Contribuições

1. SVG2 (Dataset): O maior conjunto de dados de grafos de cena em vídeo até a data, contendo 636.000 vídeos, 6,6 milhões de objetos, 52 milhões de atributos e 6,7 milhões de relações. Representa um aumento de uma ordem de grandeza em escala e diversidade em relação aos datasets anteriores.
2. Pipeline Automatizado Robusto: Uma metodologia escalável que unifica segmentação panóptica, rastreamento de trajetória e inferência de LLMs para gerar anotações densas e consistentes sem intervenção humana massiva.
3. TraSeR (Modelo): Uma nova arquitetura que supera as limitações de VLMs padrão ao incorporar mecanismos específicos para trajetórias e janelas temporais, permitindo a geração de grafos de cena estruturados com alta precisão.
4. SVG2test: Um benchmark de diagnóstico de alta qualidade com anotações humanas densas para avaliação justa de grafos de cena em vocabulário aberto.

4. Resultados

O modelo TraSeR foi avaliado em vários benchmarks (PVSG, VIPSeg, VidOR e SVG2test) e comparado com modelos proprietários (GPT-4.1, GPT-5, Gemini) e open-source (Qwen, InternVL).

• Desempenho em Geração de Grafos:
  • Relações: Melhoria de +15% a +20% em relação aos melhores baselines open-source.
  • Objetos: Melhoria de +30% a +40% sobre baselines open-source e +13% sobre o GPT-5.
  • Atributos: Melhoria de +15% sobre o estado da arte open-source.
• Aplicação em VideoQA (Resposta a Perguntas em Vídeo):
  • Quando os grafos de cena gerados pelo TraSeR foram usados como entrada intermediária para um VLM (GPT-4.1) em tarefas de VideoQA, houve um ganho de precisão absoluto de +1,5% a +4,6% em comparação com o uso apenas de vídeo ou vídeo com grafos gerados por outros modelos (como Qwen2.5-VL).
  • Isso demonstra que os grafos de cena explícitos servem como uma representação intermediária eficaz para raciocínio complexo.

5. Significado e Impacto

• Quebra de Gargalo de Dados: O trabalho demonstra que é possível criar conjuntos de dados massivos e de alta qualidade para tarefas complexas de visão computacional utilizando pipelines automatizados, superando as limitações de custo da anotação manual.
• Avanço no Raciocínio Espaço-Temporal: A introdução do SVG2 e do TraSeR permite que modelos aprendam a entender não apenas "o que" está na cena, mas "como" os objetos interagem e mudam ao longo do tempo, um passo crucial para a compreensão de vídeo profunda.
• Reprodutibilidade e Acesso: Os autores disponibilizaram o dataset, os checkpoints do modelo e o código, incentivando a pesquisa futura em grafos de cena e compreensão de vídeo.
• Ciclo Virtuoso: A abordagem sugere que, à medida que os modelos fundamentais (Foundation Models) melhoram, eles podem ser usados para refinar iterativamente os datasets sintéticos, criando um ciclo de melhoria contínua.

Em resumo, o Synthetic Visual Genome 2 estabelece um novo padrão para a disponibilidade de dados de vídeo estruturados, e o TraSeR prova que arquiteturas especializadas podem superar até mesmo os maiores modelos de linguagem multimodal proprietários na tarefa de geração de grafos de cena.