Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos

Título: Para a Geração de Grafos de Cena do Mundo Espaço-Temporal a partir de Vídeos Monoculares

1. O Problema

A geração de grafos de cena (Scene Graph Generation - SGG) é uma tarefa fundamental para a compreensão visual, representando objetos como nós e suas relações como arestas. No entanto, os métodos existentes, tanto para imagens quanto para vídeos (VidSGG), são fundamentalmente centrados no quadro (frame-centric). Isso implica três limitações críticas:

1. Dependência da Vista: Os modelos só raciocinam sobre objetos visíveis no quadro atual. Quando um objeto sai do campo de visão ou é ocluído, ele desaparece do grafo.
2. Falta de Consistência Temporal: Não há uma memória persistente do estado do mundo; cada quadro é tratado de forma isolada ou em janelas temporais curtas.
3. Espaço 2D: A maioria opera em coordenadas de imagem 2D, sem ancoragem em um sistema de coordenadas 3D global do mundo.

Essa abordagem é inadequada para agentes físicos (robôs, veículos autônomos) que precisam de permanência de objetos (a compreensão de que objetos continuam existindo mesmo quando não são vistos) e de um modelo de mundo persistente para tarefas como navegação e manipulação de longo prazo.

2. Metodologia e Contribuições Principais

Os autores propõem uma nova tarefa chamada Geração de Grafos de Cena do Mundo (World Scene Graph Generation - WSGG) e um novo dataset para suportá-la.

A. Dataset: ActionGenome4D

Para viabilizar a pesquisa, os autores criaram o ActionGenome4D, uma extensão do dataset Action Genome original para uma representação 4D (espaço + tempo).

• Construção 3D: Utilizam o modelo de reconstrução neural feed-forward $\pi^3$ para gerar nuvens de pontos 3D e poses de câmera a partir de vídeos monoculares.
• Anotação Geométrica: Geram caixas delimitadoras orientadas 3D (OBBs) no sistema de coordenadas do mundo para todos os objetos, usando Grounding DINO e SAM2.
• Anotação Semântica Densa: O diferencial é a anotação de relações para objetos não observados (oclusos ou fora de vista). Eles utilizam um pipeline de Modelos de Linguagem Visuais (VLMs) com RAG (Retrieval-Augmented Generation) para gerar pseudo-rótulos de relações para o estado completo do mundo, seguidos de correção manual.
• Estatísticas: O dataset cobre 9.250 vídeos com anotações para o estado completo do mundo ($W_t = O_t \cup U_t$), incluindo objetos observados e não observados.

B. A Tarefa: WSGG

O objetivo é construir, em cada instante de tempo $t$, um grafo de cena do mundo ($G_W^t$) que englobe todos os objetos interagentes no estado do mundo, não apenas os visíveis.

• Entrada: Vídeo monocular.
• Saída: Um grafo contendo localizações 3D (OBBs) e relações semânticas (atenção, espacial, contato) para todos os objetos, independentemente da visibilidade.

C. Métodos Propostos

Os autores propõem três métodos complementares que exploram diferentes vieses indutivos para raciocinar sobre objetos não observados:

1. PWG (Persistent World Graph):

   • Conceito: Implementa a permanência de objetos através de um buffer de memória de ordem zero.
   • Mecanismo: Quando um objeto sai da vista, o modelo mantém suas características visuais (features) da última vez que foi visto, ancoradas na geometria 3D persistente.
   • Vantagem: Simples e eficaz, baseada no princípio cognitivo de que objetos persistem.

2. MWAE (Masked World Auto-Encoder):

   • Conceito: Reformula o problema como uma tarefa de completamento estruturado (inspirado em MAE - Masked Autoencoders).
   • Mecanismo: Trata oclusões e movimento da câmera como máscaras naturais. O modelo usa um Retriever Associativo com atenção cruzada assimétrica: os tokens de objetos não observados consultam apenas os tokens de objetos visíveis para reconstruir suas representações visuais e prever relações.
   • Vantagem: Aprende a inferir características visuais ausentes baseando-se no contexto geométrico e temporal completo.

3. 4DST (4D Scene Transformer):

   • Conceito: Substitui o buffer estático por um Transformer Temporal Diferenciável.
   • Mecanismo: Aplica atenção temporal bidirecional sobre todos os tokens de objetos (visíveis e não visíveis) ao longo de todo o vídeo. Incorpora características de pose da câmera e movimento 3D.
   • Vantagem: Permite o aprendizado end-to-end de contextos temporais ricos para interpolar e extrapolar o estado dos objetos.

3. Resultados Experimentais

Os métodos foram avaliados no dataset ActionGenome4D nas tarefas PredCls (classificação de predicados com rótulos de objetos dados) e SGDet (detecção e predição de grafos).

• Desempenho Geral: O 4DST obteve os resultados mais consistentes, liderando em métricas de SGDet (Recall@50 de 71,95% com backbone DINOv3-L). Isso demonstra que a atenção temporal diferenciável é superior para propagar contexto ao longo do tempo.
• Capacidade de Generalização: O MWAE destacou-se em configurações sem restrição (multi-label), mostrando que a reconstrução de características ocultas ajuda a prever múltiplas relações simultaneamente.
• Validação do Conceito: O PWG, apesar de usar um buffer não diferenciável, performou muito bem (apenas 1-2 pontos abaixo do melhor método), validando que a ancoragem em um andaime geométrico 3D persistente é crucial, mesmo sem aprendizado temporal complexo.
• Avaliação de VLMs: Os autores também avaliaram VLMs de código aberto (como Qwen 2.5-VL e InternVL 2.5) na tarefa de WSGG. Embora úteis para gerar pseudo-rótulos, eles ainda lutam com o raciocínio espacial e de contato fino para entidades fora da tela, estabelecendo uma linha de base para futuros trabalhos.

4. Significado e Impacto

Este trabalho representa um avanço significativo na compreensão de cenas de vídeo:

1. Mudança de Paradigma: Move o foco de "o que vejo agora" para "o que existe no mundo", alinhando a visão computacional com a inteligência artificial corporal (embodied AI) e a psicologia do desenvolvimento (permanência de objetos).
2. Aplicações Práticas: A WSGG é essencial para robótica e navegação autônoma, onde o agente precisa manter um mapa mental do ambiente e das interações passadas, mesmo quando os objetos não estão visíveis no momento.
3. Recursos Abertos: A liberação do dataset ActionGenome4D e dos códigos fornece a comunidade com a primeira base de dados robusta para treinar e avaliar modelos de raciocínio espaço-temporal em 3D a partir de vídeos monoculares.

Em resumo, o artigo estabelece as bases para uma compreensão de cena verdadeiramente centrada no mundo, superando as limitações das abordagens baseadas apenas em quadros visíveis.