Resumo Técnico: SceneGraphVLM

Declaração do Problema

A Geração de Grafos de Cena (SGG) visa representar cenas visuais como grafos compactos e estruturados, onde os nós denotam objetos e as arestas codificam relações. Embora essencial para tarefas subsequentes como robótica e análise de vídeo, gerar grafos de cena precisos, estruturalmente válidos e compactos permanece desafiador. Pipelines tradicionais multi-etapa sofrem com propagação de erros e fragilidade. Abordagens recentes baseadas em Modelos Visão-Linguagem (VLM) oferecem geração ponta a ponta, mas frequentemente produzem saídas longas e ineficientes em tokens, contendo objetos irrelevantes e relações alucinadas. Além disso, métodos existentes baseados em VLM frequentemente priorizam o recall, levando a grafos excessivamente completos que diluem informações úteis e reduzem a confiabilidade para tomada de decisão. Estender esses desafios ao vídeo, mantendo consistência temporal sem rastreamento complexo ou pós-processamento, permanece um problema em aberto.

Metodologia

Os autores propõem o SceneGraphVLM, um método compacto ponta a ponta para geração de grafos de cena em imagens e vídeos utilizando pequenos modelos visão-linguagem. A metodologia é construída sobre três pilares centrais:

1. Serialização Eficiente em Tokens (Formato TOON)

Para abordar os altos custos de decodificação e o comprimento das representações JSON padrão, os autores serializam os grafos de cena em um formato TOON. Este esquema armazena objetos como linhas sob um cabeçalho compartilhado e relações em blocos compactos, removendo chaves repetidas e boilerplate aninhado. Isso reduz o comprimento da anotação em aproximadamente 1,17× a 1,24× em diversos conjuntos de dados (PSG, PVSG, Action Genome), preservando todas as informações de objetos, caixas delimitadoras e relações, acelerando assim a geração e reduzindo a latência.

2. Pipeline de Treinamento em Duas Etapas

O modelo passa por um processo de otimização em duas etapas:

• Ajuste Fino Supervisionado (SFT): O VLM base (especificamente Qwen3.5-0.8B) é treinado para mapear entradas visuais para o esquema TOON alvo. Esta etapa ensina o modelo a seguir o formato requerido, usar vocabulários específicos do conjunto de dados e produzir saídas estruturadas analisáveis.
• Aprendizado por Reforço (RL) com GRPO: Para otimizar a qualidade no nível do grafo além da supervisão no nível do token, os autores empregam a Otimização de Política Relativa em Grupo (GRPO). Crucialmente, introduzem recompensas conscientes de alucinação que equilibram a cobertura de relações com a precisão. A função de recompensa total ($R_{total}$) combina:
  • Recompensas Base de Grafo: Validade do formato, classificação de objetos e localização de objetos (via correspondência húngara e IoU).
  • Recompensas de Equilíbrio de Relações: Termos baseados em precisão e F1 para impedir que o modelo gere excessivamente relações para maximizar o recall.
  • Penalizações de Alucinação: Penalidades explícitas para objetos e relações não correspondidos (não suportados), desencorajando a geração de entidades não fundamentadas.

3. Inferência em Vídeo com Contexto Temporal

Para sequências de vídeo, o SceneGraphVLM processa quadros sequencialmente. Pode condicionar a geração do grafo do quadro atual ao grafo gerado para o quadro anterior. Isso fornece contexto temporal de curto prazo leve, sem exigir módulos de rastreamento separados. Os autores avaliam dois protocolos:

• GT-prompt: Usando grafos anteriores de verdade (configuração oráculo).
• Generated-prompt: Usando as próprias previsões anteriores do modelo (configuração de implantação realista), o que testa a robustez contra propagação de erros.

Principais Contribuições

1. Arquitetura SceneGraphVLM: Um método compacto ponta a ponta que utiliza pequenos VLMs (ex: Qwen3.5-0.8B) e a representação TOON eficiente em tokens, alcançando fortes compensações entre qualidade e velocidade.
2. Treinamento Consciente de Alucinação: A introdução de treinamento baseado em GRPO com recompensas orientadas a grafos que penalizam explicitamente objetos e relações não suportados, equilibrando recall com precisão para produzir grafos fundamentados e compactos.
3. SGG de Vídeo Eficiente: Uma abordagem leve para geração de grafos de cena em vídeo que aproveita grafos de quadros anteriores para contexto temporal sem pós-processamento complexo, alcançando inferência quase em tempo real.

Resultados Experimentais

O método foi avaliado em PSG (Grafo de Cena Panóptico), PVSG (Grafo de Cena Panóptico em Vídeo) e Action Genome.

• Desempenho vs. Baselines: No PSG, o SceneGraphVLM alcança uma pontuação SGG de 0,442 (Rigorosa) e 0,460 (Suave), superando VLMs comerciais zero-shot (ex: Gemini-3-flash em 0,318) e modelos open-source maiores. Melhora significativamente métricas orientadas à precisão em comparação com baselines pesadas em recall como R1-SGG.
• Desempenho em Vídeo: No PVSG, o modelo demonstra robustez na configuração Generated-prompt. A etapa de RL melhora a pontuação SGG Rigorosa em 19% (de 0,306 para 0,365) sobre o checkpoint apenas SFT, superando todas as baselines comerciais e open-source.
• Eficiência: Aproveitando o formato TOON e a decodificação acelerada por vLLM, o SceneGraphVLM gera grafos de cena completos em aproximadamente 0,64 segundos para imagens e 1,07 segundos para vídeos em uma única GPU A100.
• Action Genome: O modelo alcança uma Precisão@50 de 38,74 e F1@50 de 30,75, superando substancialmente a baseline OED (P@50=8,02, F1@50=13,37) em precisão, demonstrando sua capacidade de evitar relações alucinadas.

Significado e Alegações

O artigo afirma que o SceneGraphVLM estabelece uma nova compensação entre qualidade e velocidade para geração de grafos de cena generativa. Ao combinar uma representação eficiente em tokens com aprendizado por reforço consciente de precisão, o método permite que pequenos VLMs produzam grafos de cena confiáveis, compactos e visualmente fundamentados, adequados para aplicações quase em tempo real. Os autores enfatizam que sua abordagem aborda a falha comum de SGG baseada em VLM — supergeração e alucinação — penalizando explicitamente conteúdo não suportado durante o treinamento. A capacidade de manter consistência temporal em vídeos usando apenas o grafo gerado anterior, sem rastreamento externo, é destacada como um passo significativo para implantação prática em robótica e análise de vídeo.

Os autores notam limitações, incluindo dependência de conjuntos de dados de vocabulário fechado, possível acúmulo de erros em sequências de vídeo e a necessidade de recursos específicos de GPU para inferência em tempo real, mas afirmam que o método fornece uma base prática para SGG baseado em VLM em tarefas subsequentes.