Generate Any Scene: Scene Graph Driven Data Synthesis for Visual Generation Training

1. O Problema

Os modelos modernos de geração de visão a partir de texto (Text-to-Image e Text-to-Video) alcançaram alta fidelidade visual, mas ainda enfrentam desafios críticos em:

• Generalização Composicional: Dificuldade em gerar cenas complexas que combinam múltiplos objetos, atributos e relações de forma coerente (ex: "um cachorro preto perseguindo um coelho que come grama").
• Alinhamento Semântico: Os modelos frequentemente falham em seguir instruções precisas, omitindo objetos ou interpretando mal relações espaciais.
• Limitações dos Dados de Treinamento: Conjuntos de dados existentes (como LAION e CC3M) são ruidosos, compostos principalmente por pares imagem-legenda extraídos da web, que tendem a ser fracos em composição e enviesados para descrições de objetos únicos e grosseiros.
• Custo de Anotação: A criação manual de anotações densas e composicionais é trabalhosa, enquanto métodos automáticos (baseados em LLMs) sofrem de alucinações e ruído semântico.

2. Metodologia: GENERATE ANY SCENE

O artigo apresenta o GENERATE ANY SCENE (GAS), um motor de dados programático que sintetiza sistematicamente cenas visuais através da enumeração de Grafos de Cena (Scene Graphs).

Arquitetura do Sistema

O sistema opera em cinco etapas principais:

1. Enumeração de Estrutura: O motor pré-computa topologias de grafos de cena direcionados sob restrições do usuário (complexidade, grau médio de nós, componentes conectados).
2. População com Metadados: Cada nó (objeto), aresta (relação) e atributo do grafo é preenchido com dados de uma taxonomia rica e hierárquica contendo:
   • 28.787 objetos (baseados no WordNet).
   • 1.494 atributos (cor, material, tamanho, etc.).
   • 10.492 relações (espaciais, funcionais, sociais).
   • 2.193 atributos de cena (estilo artístico, iluminação, perspectiva).
3. Amostragem de Atributos de Cena: Adiciona contexto global (ex: estilo Van Gogh, tempo de vídeo).
4. Tradução para Legenda: Um algoritmo determinístico e programático converte o grafo em uma legenda coerente, evitando duplicações e garantindo a referência correta aos objetos.
5. Geração de QA (Perguntas e Respostas): O sistema gera automaticamente pares de perguntas e respostas exaustivos baseados no grafo (ex: "Qual a cor da esfera?", "O que está à esquerda do cubo?"). Isso permite avaliação automática e modelagem de recompensa sem anotação humana.

Vantagens sobre LLMs

Diferente de usar LLMs para gerar legendas ou grafos, o GAS garante:

• Controle Total: Enumeração exaustiva e uniforme de combinações, incluindo composições raras ou não convencionais.
• Validade Estrutural: Zero alucinações de elementos inexistentes.
• Eficiência: Geração de 10.000 grafos em menos de 1 minuto com custo quase zero, comparado a horas e custos elevados de API de LLMs.

3. Principais Contribuições e Aplicações

O artigo demonstra a eficácia do GAS através de quatro aplicações principais:

A. Framework de Auto-aperfeiçoamento (Self-Improving)

• Abordagem: O modelo gera múltiplas imagens para uma mesma legenda sintetizada pelo GAS. A imagem com a maior pontuação em VQA (Visual Question Answering) é selecionada para fine-tuning iterativo.
• Resultado: O SDv1.5 fine-tuned com dados do GAS superou o fine-tuning com dados reais do CC3M, alcançando uma melhoria média de 4% em benchmarks composicionais.

B. Distilação de Capacidades de Modelos Proprietários

• Abordagem: Identifica lacunas onde modelos open-source (SDv1.5) falham em comparação com modelos proprietários (DALL-E 3), especificamente em composicionalidade e conceitos difíceis. O GAS é usado para sintetizar ~800 legendas focadas nessas lacunas, usando imagens do DALL-E 3 como "ground truth" para distilação.
• Resultado: Com menos de 1.000 passos de fine-tuning, o SDv1.5 alcançou um aumento de 10% no score TIFA para tarefas composicionais e de conceitos difíceis, fechando a lacuna com o DALL-E 3.

C. Modelagem de Recompensa para RLHF (Reinforcement Learning from Human Feedback)

• Abordagem: Substitui recompensas baseadas em CLIP (que são grosseiras) por um modelo de recompensa baseado em grafos de cena. O sistema gera pares de QA a partir do grafo e usa um VLM leve (Qwen2.5-VL) para verificar a precisão da imagem gerada em relação a todas as perguntas.
• Resultado: Ao usar o algoritmo GRPO com essa recompensa sintética, o modelo SimpleAR-0.5B superou métodos baseados em CLIP em +5% no benchmark DPG-Bench, demonstrando melhor alinhamento semântico composicional.

D. Moderação de Conteúdo e Detecção de IA

• Abordagem: Usa o GAS para gerar dados sintéticos diversificados e composicionais para treinar detectores de conteúdo gerado por IA.
• Resultado: A adição de dados do GAS ao conjunto de treinamento melhorou significativamente a robustez e a generalização dos detectores (ViT-T e ResNet-18) em cenários cross-model e cross-dataset, superando o treinamento apenas com dados reais (D3).

4. Resultados Chave

• Generalização Composicional: Modelos fine-tuned com GAS mostraram melhor generalização em combinações nunca vistas durante o treinamento, superando baselines reais.
• Eficiência de Dados: Atingiu melhorias significativas com menos de 1.000 exemplos sintéticos de alta qualidade, superando conjuntos de dados reais muito maiores (CC3M).
• Avaliação Abrangente: O GAS foi usado para avaliar 12 modelos de Text-to-Image, 9 de Text-to-Video e 5 de Text-to-3D, revelando que modelos com backbone DiT (Diffusion Transformers) tendem a ter melhor fidelidade semântica do que modelos baseados em UNet.
• Correlação Humana: As métricas baseadas em VQA/TIFA geradas pelo GAS mostraram alta correlação (0.918) com avaliações humanas, validando a eficácia da avaliação automática.

5. Significado e Impacto

O trabalho GENERATE ANY SCENE representa um avanço fundamental na forma como dados de treinamento e avaliação são construídos para geração visual:

1. Mudança de Paradigma: Move-se da dependência de dados extraídos da web (ruidosos e limitados) para a síntese programática e controlada de dados que cobrem o espaço composicional completo.
2. Solução para o "Gargalo de Dados": Resolve o problema da falta de anotações densas e composicionais, permitindo o treinamento e avaliação rigorosos de modelos complexos.
3. Escalabilidade e Custo: Demonstra que a síntese de dados baseada em grafos é mais barata, rápida e confiável do que a geração baseada em LLMs ou anotação humana.
4. Futuro da Pesquisa: Estabelece uma base para treinamento de modelos com "currículo" (aumentando progressivamente a complexidade dos grafos) e para a criação de benchmarks mais justos e abrangentes, essenciais para o desenvolvimento de IA generativa confiável e alinhada.

Em resumo, o GAS fornece a infraestrutura necessária para que os modelos de geração visual aprendam a entender e compor o mundo visual com a mesma riqueza e estrutura que os humanos utilizam para descrevê-lo.