BlendFusion -- Scalable Synthetic Data Generation for Diffusion Model Training

1. Problema e Motivação

O avanço rápido dos modelos de difusão aumentou a demanda por grandes conjuntos de dados de imagem. No entanto, a curadoria de dados reais enfrenta desafios como custos de anotação, viés de dados e questões de privacidade.

• Limitações dos Dados Sintéticos Atuais: A geração de dados puramente via modelos de difusão (usando outros modelos de difusão) frequentemente resulta em inconsistências visuais (distorções geométricas, alucinações de objetos).
• Transtorno de Autofagia de Modelo (MAD): Treinar modelos generativos em dados gerados por outros modelos pode criar um ciclo de feedback autófago, levando ao "colapso do modelo", onde a qualidade e a diversidade degradam progressivamente ao longo das gerações.
• Necessidade: Existe uma necessidade crítica de uma fonte de dados sintéticos que seja fisicamente consistente, geometricamente precisa e semanticamente rica, evitando os artefatos comuns da geração puramente generativa.

2. Metodologia: O Pipeline BlendFusion

Os autores propõem o BlendFusion, um framework escalável para gerar pares imagem-legenda de alta qualidade a partir de cenas 3D usando path tracing (renderização baseada em física). O pipeline segue as seguintes etapas:

A. Posicionamento de Câmera Centrada no Objeto

Em vez de amostrar câmeras aleatoriamente no espaço 3D, o sistema adota uma estratégia centrada no objeto:

• Para cada objeto na cena, calcula-se a caixa delimitadora (bounding box).
• Câmeras são posicionadas em uma órbita discreta ao redor do centro do objeto (8 azimutes de 45°, elevação fixa a 0° para simular nível dos olhos).
• A distância da câmera é ajustada dinamicamente para garantir que o objeto ocupe uma fração constante da imagem (ex: 2/3 da altura), garantindo enquadramento consistente e metadados interpretáveis.

B. Filtragem Baseada em Heurísticas

Uma filtragem leve remove renders defeituosos antes do processamento pesado:

• Preenchimento Zero: Descarta imagens onde o objeto não aparece (ocultação total ou fora do frustum).
• Brilho e Variância: Remove imagens muito escuras (sombras excessivas) ou com baixa variância de pixels (fundos planos/uniformes).
• Pixels Escuros: Filtra renders subexpostos onde a iluminação falha em iluminar o objeto.

C. Filtragem e Geração de Legendas via VLM

Um Modelo de Visão e Linguagem (VLM), especificamente o Qwen3-VL-8B-Instruct, é utilizado para:

• Filtragem Semântica: Rejeita imagens difíceis de descrever (ex: close-ups extremos, fragmentos parciais, objetos truncados) ou onde o contexto não é claro.
• Geração de Legendas: Produz legendas factuais, curtas e neutras descrevendo apenas o que é visível, evitando alucinações.

D. Filtragem de Qualidade e Amostragem Diversa

• Métricas de Qualidade: São calculados o CLIPScore (alinhamento imagem-texto) e a pontuação estética do LAION. Amostras abaixo de thresholds são descartadas.
• Amostragem Consciente da Diversidade: Utiliza-se Farthest Point Sampling (FPS) no espaço de embeddings (DinoV2) para selecionar um subconjunto de imagens que maximiza a cobertura visual e minimiza a redundância, garantindo que os conjuntos de treino, validação e teste sejam internamente diversos.

3. O Dataset FineBLEND

Utilizando o pipeline BlendFusion, os autores criaram o FineBLEND:

• Composição: 7.500 pares imagem-legenda derivados de cenas 3D diversas (interiores, exteriores urbanos, templos, etc.).
• Fonte: Cenas de projetos públicos como NVIDIA ORCA, demos oficiais do Blender e BlenderKit.
• Divisão: 4.500 imagens para treino, 1.500 para validação e 1.500 para teste.

4. Resultados e Análise

Qualidade do Dataset

• Alinhamento Semântico: O FineBLEND alcançou um CLIPScore médio de 25.91, comparável a datasets reais de alto padrão como MS-COCO (25.43) e Conceptual Captions (24.72).
• Consistência: O desvio padrão do CLIPScore no FineBLEND (3.37) foi significativamente menor do que em datasets reais (3.82–4.99), indicando que as legendas geradas por VLM são consistentemente alinhadas com o conteúdo visual, sem o ruído de anotações humanas variáveis.
• Qualidade Perceptiva: A pontuação estética foi ligeiramente inferior à de fotos reais (devido à diferença de domínio entre renderização 3D e fotografia), mas comparável a datasets web-scraped como ReLAION, sugerindo qualidade suficiente para treinamento.

Comparação com Imagens Geradas por Difusão

Uma comparação qualitativa com o Stable Diffusion XL (SDXL) revelou que as imagens geradas por difusão sofrem de:

• Alucinações Geométricas: Estruturas que não existem na descrição.
• Deriva Semântica: Geração de "instâncias típicas" em vez de reconstrução fiel da cena.
• Falhas em Texto: Incapacidade de renderizar texto legível.
• Incoerência Estrutural: Falhas em raciocínio espacial composicional.
  O BlendFusion evita esses artefatos ao basear-se em renderização física.

Estudo Ablativo (Posicionamento de Câmera)

A estratégia de câmera centrada no objeto superou consistentemente abordagens agnósticas (amostragem aleatória ou varredura baseada em âncoras) em todas as cenas testadas.

• Em cenas complexas (ex: "Barbershop"), a estratégia centrada no objeto teve uma taxa de sucesso pós-filtragem de 5.2% (VLM), enquanto métodos aleatórios tiveram apenas 1.3% a 1.4%. Isso demonstra que direcionar a câmera especificamente para os objetos aumenta drasticamente a eficiência da geração de dados úteis.

5. Contribuições Principais e Significância

1. Framework BlendFusion: Um pipeline de código aberto e configurável para geração de dados sintéticos a partir de cenas 3D, combinando renderização física com filtragem inteligente.
2. Dataset FineBLEND: Um conjunto de dados curado de 7.500 pares imagem-legenda de alta qualidade, servindo como base para pesquisas futuras.
3. Estratégia de Câmera: Demonstração empírica de que o posicionamento de câmera centrado no objeto é superior à amostragem aleatória para a geração de dados de treinamento.
4. Mitigação do MAD: Oferece uma alternativa viável aos dados sintéticos gerados por difusão, prevenindo o colapso de modelos ao fornecer dados geometricamente consistentes e livres de alucinações.

Limitações e Futuro:
O dataset atual é menor (7.500 imagens) do que os usados para treinar modelos de difusão modernos (bilhões de pares), devido a restrições computacionais de path tracing em larga escala. Além disso, as imagens têm menor realismo fotográfico que fotos reais, embora os autores sugiram que essa diferença de domínio pode ser benéfica para generalização ou pode ser refinada futuramente com técnicas de pós-processamento baseadas em difusão.

Conclusão:
O BlendFusion valida que a geração de dados sintéticos baseada em renderização física (3D + path tracing) é uma abordagem robusta, escalável e controlável para criar conjuntos de dados de treinamento de alta qualidade, superando as limitações de consistência e estabilidade dos métodos puramente generativos.