Resumo Técnico: SceneForge

Declaração do Problema

Sistemas modernos de aprendizado multimodal exigem supervisão que não seja apenas em grande escala, mas também estruturada, controlável e consistente através de edições, pontos de vista e modalidades. Conjuntos de dados existentes tipicamente fornecem instantâneos no nível da observação (por exemplo, pares de imagens antes e depois) que expõem resultados renderizados em vez do estado subjacente da cena. Consequentemente, esses conjuntos de dados falham em fornecer intervenções correspondidas, contrafactuais fisicamente consistentes, decomposições em camadas ou sinais multimodais alinhados para a mesma cena. Embora conjuntos de dados sintéticos diagnósticos (por exemplo, CLEVR) ofereçam geração controlável, eles focam em tarefas de raciocínio fixas em vez de supervisão orientada a intervenção para modelos generativos e de edição. Da mesma forma, pipelines sintéticos 3D existentes frequentemente tratam cenas como configurações de renderização estáticas em vez de mundos persistentes onde transições de estado podem ser manipuladas para induzir atualizações consistentes através de entidades e visões.

Metodologia: O Framework SceneForge

SceneForge é um framework centrado no mundo que gera supervisão estruturada tratando cenas como estados de mundo editáveis em vez de coleções de imagens independentes. O pipeline procede através de quatro etapas principais:

1. Representação do Estado do Mundo

Em vez de configurações de renderização planas, o SceneForge representa uma cena no tempo $t$ como uma tupla estruturada $w_t = (S_t, D_t, A_t, R_t, E_t)$:

• $S_t$ (Elementos Estruturais): Componentes estáveis como pisos, paredes e geometria fixa.
• $D_t$ (Objetos Dinâmicos): Entidades sujeitas a intervenção (inserção, remoção, realocação).
• $A_t$ (Atributos): Propriedades semânticas, geométricas e físicas (categoria, pose, material, status de suporte).
• $R_t$ (Relações): Dependências como suporte, contenção, oclusão e visibilidade.
• $E_t$ (Fatores Ambientais): Condições de iluminação e renderização.

Esta representação garante que a cena seja tratada como um sistema persistente onde mudanças em objetos dinâmicos se propagam através de restrições estruturais e relacionais.

2. Modelo de Intervenção

Uma intervenção $\iota$ é definida como uma operação explícita em objetos dinâmicos ou variáveis ambientais (por exemplo, remoção de objeto, modificação de iluminação). O sistema aplica uma edição provisória $\tilde{w}_{t+1} = I(w_t, \iota)$. Crucialmente, esta etapa inclui módulos de consulta à cena para verificar validade, garantindo que as edições sejam fisicamente plausíveis (por exemplo, objetos colocados em superfícies de suporte válidas, sem colisões) e semanticamente coerentes antes da renderização.

3. Propagação de Estado Consciente de Dependência

Para lidar com consequências não locais de edições locais, o SceneForge aplica um operador de propagação $P$ para atualizar o estado do mundo: $w_{t+1} = P(\tilde{w}_{t+1})$. Esta etapa recalcula visibilidade, oclusão, relações de suporte e efeitos de iluminação (sombras, reflexos) com base no novo estado. Isso garante que todos os sinais de supervisão a jusante permaneçam semanticamente e fisicamente consistentes com o mundo editado, distinguindo a abordagem da geração ingênua de imagens "antes e depois".

4. Geração de Supervisão Multimodal

A partir da transição consistente do estado do mundo, o framework renderiza supervisão alinhada através de múltiplas modalidades ($y_m = G_m(w_t, w_{t+1}, c)$). Como todas as saídas derivam do mesmo grafo de cena, elas são alinhadas por construção. As saídas geradas incluem:

• Observações RGB e renderizações multivista.
• Edições contrafactuais (remoção de objeto).
• Camadas de decomposição (máscaras de objeto, completamentos amodais).
• Canais conscientes de efeitos (sombras, reflexos, iluminação).
• Anotações semânticas e de relação.

Instanciação do Conjunto de Dados

Os autores instanciaram o SceneForge usando Infinigen e Blender para criar um recurso livre de licenciamento. O conjunto de dados inclui:

• SceneForge (S): Um corpus de câmera única com 2.369 salas e 25.688 camadas vinculadas a objetos.
• SceneForge (M): Um corpus multivista com 517 salas e 2.772 instâncias multivista registradas sob 8 configurações de câmera.
• Tarefas Derivadas: Conjuntos de dados filtrados para remoção de objeto (SceneForge-Removal) e remoção estrutural no nível da cena (SceneForge-IndoorDynamicRemoval), totalizando mais de 13.000 instâncias editadas de visão única e 4.000 instâncias editadas multivista.

Resultados Empíricos

O framework foi avaliado em tarefas de remoção no nível do objeto e no nível da cena usando o backbone Qwen-Image-Edit-2509 com ajuste fino LoRA. Três configurações de treinamento foram comparadas sob orçamentos correspondidos:

1. OpenData-30K: 30 mil amostras de treinamento públicas.
2. OpenData+SceneForge-30K: Dados públicos misturados com amostras do SceneForge.
3. SceneForge-16K: Apenas 16 mil amostras do SceneForge.

Principais Descobertas:

• Ganhos de Desempenho: Modelos treinados com supervisão do SceneForge (OpenData+SceneForge-30K) superaram significativamente aqueles treinados apenas com dados públicos (OpenData-30K) em todos os benchmarks (OpenData-30K, RORem, RemovalBench) e métricas (PSNR, SSIM, LPIPS).
• Eficiência de Dados: A configuração SceneForge-16K alcançou os melhores resultados em todas as métricas em todos os quatro conjuntos de teste, apesar de usar menos amostras totais que as configurações de 30 mil. Isso sugere que supervisão de alta qualidade e consistente com intervenção supera pools de treinamento maiores e mistos.
• Melhorias Qualitativas: Em cenários de casos difíceis envolvendo sombras e reflexos complexos (Removal-HardEffects), modelos treinados com SceneForge demonstraram capacidade superior de remover efeitos visuais colaterais associados e restaurar fundos consistentes em comparação com modelos de base.
• Consistência Multivista: Na configuração multivista (SceneForge-Removal M), o framework manteve consistência espacial através de pontos de vista diversos (alta sobreposição e ângulos diversos) porque todas as renderizações foram derivadas do mesmo estado de mundo 3D persistente.

Significado e Alegações

O artigo afirma que SceneForge fornece uma base prática e escalável para aprendizado multimodal consistente com intervenção. Ao modelar a supervisão como transições de estado estruturadas em mundos editáveis, o framework resolve o problema de alinhamento inerente a conjuntos de dados no nível da observação. Os autores afirmam que esta abordagem:

• Gera saídas alinhadas (contrafactuais, decomposições, efeitos) sem correspondência de espaço de imagem post-hoc.
• Oferece um engine flexível que pode se estender a supervisão linguística mais rica e diversidade de ativos mais ampla.
• Demonstra que "supervisão mais limpa e mais consistente com intervenção" pode gerar utilidade a jusante superior em comparação com conjuntos de dados maiores e menos estruturados.

Os autores posicionam o SceneForge não como um substituto para conjuntos de dados reais ou híbridos, mas como um engine complementar que aborda a necessidade específica de consistência sob edições, pontos de vista e intervenções no nível da cena.