Resumo Técnico: AC3S – Condicionamento Adaptativo para Geração de Dados Sintéticos com Consciência 3D

Declaração do Problema

A geração de dados sintéticos tornou-se uma ferramenta crítica para escalar conjuntos de dados de visão computacional, com modelos de difusão oferecendo um fotorrealismo sem precedentes. No entanto, um gargalo significativo permanece: impor consistência estrutural e de pose 3D precisa sem sacrificar o realismo da imagem. Abordagens existentes, como o 3D-DST, utilizam o ControlNet com prompts visuais (por exemplo, mapas de bordas derivados de renders CAD) para guiar modelos de difusão. Embora eficazes para o alinhamento geométrico, esses métodos frequentemente sofrem de sobrecondicionamento (over-conditioning). Isso se manifesta em fundos borrados, texturas de objetos simplificadas e cenas incoerentes, à medida que o forte condicionamento visual suprime a expressividade generativa do modelo de difusão pré-treinado. Além disso, gerar prompts de texto semanticamente consistentes que se alinhem com essas restrições geométricas continua sendo um desafio; prompts baseados em templates carecem de detalhes, enquanto legendas de imagens reais frequentemente conflitam com os prompts visuais sintéticos.

Metodologia

Os autores propõem o AC3S, um framework baseado em difusão projetado para equilibrar o alinhamento estrutural 3D com o fotorrealismo através de dois componentes adaptativos primários: um Modulador de Prompt Visual e um Gerador de Prompt de Modelo de Linguagem de Visão (VLM) Multi-Agente.

1. Extração de Prompt Visual

Seguindo o 3D-DST, o pipeline renderiza modelos CAD 3D (obtidos do ShapeNet, Objaverse e OmniObject3D) usando parâmetros de câmera aleatórios para gerar $I_{render}$. Um detector de bordas Canny extrai um mapa de bordas esparso ($I_{prompt}$) para servir como entrada visual para o ControlNet.

2. Modulador de Prompt Visual Adaptativo

Para abordar o sobrecondicionamento, os autores introduzem um modulador autossupervisionado que ajusta dinamicamente a força do condicionamento do ControlNet.

• Mecanismo: Em vez de injetar diretamente os recursos do ControlNet ($\mathcal{F}(I_{prompt}; \theta)$) no U-Net do modelo de difusão, o sistema prevê uma escala de condicionamento $\lambda$. A injeção final de recursos é computada como $\hat{f} = f + \lambda \cdot \mathcal{F}(I_{prompt}; \theta)$.
• Estratégia de Treinamento: O modulador é um MLP leve de três camadas treinado via autossupervisão. Os autores observam que valores de $\lambda$ abaixo de um certo limiar falham em impor a estrutura 3D, enquanto valores acima de um limiar impõem a estrutura, mas degradam a qualidade da imagem. Eles definem o $\lambda$ "ideal" como o menor valor que alcança o alinhamento estrutural (analogamente à "Diferença Justamente Perceptível" ou JND).
• Rotulagem Pseudo (Pseudo-Labeling): Para treinar o modulador sem anotação humana, o sistema gera uma sequência de imagens através de um varredura de valores de $\lambda$ (de 0,3 a 1,0). Essas imagens são agrupadas usando k-means (k=2) baseadas em características de nível de pixel para distinguir entre distribuições "desalinhadas" e "alinhadas". O menor $\lambda$ dentro do cluster "alinhado" serve como o pseudo-rótulo para o treinamento.

3. Gerador de Prompt de Texto VLM Multi-Agente

Para garantir a consistência semântica entre texto e prompts visuais, os autores empregam um framework multi-agente usando o Qwen3-VL-23B-Instruct. Sete agentes especializados colaboram para construir os prompts:

• Identificador de Assunto: Determina o rótulo do assunto cruzando a renderização com uma referência real do ImageNet.
• Seletor de Gênero: Atribui um gênero de fotografia (ex: vida selvagem, macro).
• Extrator de Pose: Infere a pose da câmera e do assunto a partir da renderização para garantir o alinhamento de perspectiva.
• Compositor de Cena: Extrai atributos visuais (cor, textura, fundo) da imagem de referência.
• Sintetizadores de Prompt: Os agentes 5, 6 e 7 montam o prompt positivo, identificam termos protegidos para evitar nos prompts negativos e constroem o prompt negativo, respectivamente.
  Este fluxo de trabalho garante que a orientação textual apoie, em vez de conflitar com, as restrições geométricas impostas pelo prompt visual.

4. Filtragem de Dataset

Para garantir dados de alta qualidade, o pipeline filtra amostras usando o DreamSim, uma métrica de similaridade perceptual. Imagens sintéticas são comparadas com seus respectivos renders (convertidos para tons de cinza para garantir invariância de cor) para classificar e selecionar as melhores amostras com base no alinhamento de pose e semântica.

Principais Contribuições

1. Modulador de Prompt Visual: Uma estratégia autossupervisionada para atenuar dinamicamente as saídas do ControlNet, prevenindo o sobrecondicionamento e preservando o prior generativo dos modelos de difusão.
2. Framework VLM Multi-Agente: Um sistema inovador para sintetizar prompts de texto detalhados e conscientes de 3D que permanecem semanticamente consistentes com controles geométricos visuais.
3. Dataset Sintético Completo (AC3S): Um dataset de um milhão de imagens distribuídas em 1.000 categorias do ImageNet, completo com anotações 2D e 3D (pose, rótulos de classificação e metadados).

Resultados Experimentais

Os autores conduziram experimentos extensivos para validar a qualidade e utilidade do AC3S:

• Qualidade de Imagem: Em um estudo de ablação comparando 1.000 imagens sintéticas por classe contra o ImageNet, o pipeline completo do AC3S alcançou uma pontuação de Frechet Inception Distance (FID) de 71,24, um melhoria significativa de 15,95 pontos sobre o baseline 3D-DST (87,19). O modulador e o gerador de texto contribuíram com 9,66 e 8,26 pontos de melhoria, respectivamente.
• Utilidade de Classificação: Pré-treinar modelos (ResNet-18, Swin-S, ConvNeXt-S) no AC3S antes do ajuste fino (fine-tuning) no ImageNet resultou na maior precisão top-1 em todas as arquiteturas. Notavelmente, o ConvNeXt-S e o Swin-S viram uma melhoria de 2,6% sobre o baseline, enquanto o ResNet-18 melhorou em 0,99%.
• Estimativa de Pose: Ao serem pré-treinados no AC3S e ajustados no PASCAL3D+, o método superou o 3D-DST. Para a categoria "sofá", o AC3S proporcionou um ganho de 7,39% na precisão no limiar de erro de $\pi/18$ comparado ao baseline.
• Desempenho Zero-Shot: O treinamento estritamente em dados sintéticos (sem ajuste fino no mundo real) mostrou que o AC3S produz modelos com desempenho significativamente melhor do que aqueles treinados com dados do 3D-DST, sugerindo uma correspondência de distribuição mais próxima dos dados do mundo real.

Significância

O artigo afirma que o AC3S fornece uma solução escalável para o equilíbrio entre controle geométrico e fotorrealismo na geração de dados sintéticos. Ao introduzir o condicionamento adaptativo, o framework permite a criação de datasets de alta qualidade com anotações 2D e 3D precisas. Os autores afirmam que esta abordagem não apenas melhora a fidelidade das imagens geradas, mas também aumenta a utilidade dos dados sintéticos para tarefas de visão computacional 2D e 3D subsequentes, potencialmente reduzindo a dependência da coleta de dados caros do mundo real. O trabalho é apoiado por subsídios do National AI Research Resource, AMD, NVIDIA e Lambda, destacando sua relevância para a comunidade de pesquisa em IA de forma ampla.