Compos3D: Interactive Part-Based Composition for Creative Control in Generative 3D Models

Resumo Técnico: Compos3D

Problema
Os fluxos de trabalho atuais de IA generativa 3D operam amplamente como "caixas pretas de tentativa única" (one-shot black boxes). Os usuários fornecem um comando de texto ou imagem e recebem um modelo 3D completo, mas possuem capacidade limitada de manipular o resultado além de realizar novos comandos (re-prompting). Quando os usuários desejam preservar elementos específicos enquanto modificam outros, enfrentam um cenário de "jogar dados": regerar modelos repetidamente com prompts modificados corre o risco de perder características desejadas e não oferece um mecanismo para expressar diretamente a intenção de design além da linguagem natural. Embora avanços recentes permitam o refinamento localizado via edição guiada por texto, o fluxo de trabalho fundamental permanece sendo o de aceitar ou rejeitar modelos inteiros, em vez de tratá-los como matéria-prima para recombinação. Isso limita o controle do usuário e falha em aproveitar a plena diversidade do espaço generativo.

Metodologia: O Sistema Compos3D
O Compos3D introduz um fluxo de trabalho de remixagem composicional que desacopla a geração 3D em duas etapas distintas: (1) gerar modelos candidatos intermediários e (2) remixá-los em um design final. O sistema trata os modelos gerados como material de origem do qual os usuários podem extrair, organizar e recombinar partes.

O sistema opera através de um pipeline unificado com três fases, suportando tanto modalidades de interação 2D (baseada em imagem) quanto 3D (baseada em malha/mesh):

1. Geração Inicial e Contexto de Remix: Os usuários geram múltiplos modelos 3D candidatos a partir de prompts de texto ou imagem. Esses candidatos são renderizados para inspeção, e designs promissores são adicionados a um pool de "Contexto de Remix". Os usuários também podem importar ativos 2D ou 3D existentes.
2. Seleção de Partes: Os usuários segmentam as partes desejadas dos modelos candidatos.
   • Modo 2D: Utiliza o Segment Anything Model (SAM) para segmentação interativa em imagens 2D via prompts positivos (clique esquerdo) e negativos (clique direito).
   • Modo 3D: Utiliza o Point-SAM para segmentação diretamente em malhas 3D, permitos que os usuários selecionem regiões na superfície.
3. Composição: As partes selecionadas são montadas em uma composição bruta.
   • Canvas 2D: Os usuários organizam segmentos de imagem extraídos em uma colagem 2D, escalando e rotacionando-os para explorar a intenção de design.
   • Canvas 3D: Os usuários organizam segmentos de malha extraídos no espaço 3D, permitindo controle preciso sobre posicionamento espacial, proporção e perspectiva.
4. Síntese: O sistema sintetiza a composição bruta em um modelo 3D coerente e de alta qualidade.
   • Síntese 2D: A colagem é refinada em uma imagem coerente usando um modelo de geração de imagem (guiado por prompts de texto opcionais), que é então convertida para 3D via um pipeline de imagem-para-3D.
   • Síntese 3D: O sistema voxeliza a organização 3D do usuário para criar um andaime estrutural. Ele renderiza imagens de múltiplas vistas da colagem, refina-as com um modelo de imagem-para-imagem e alimenta tanto a geometria voxelizada quanto as características de múltiplas vistas no pipeline TRELLIS. O TRELLIS opera em uma representação de Latente Estruturado (SLAT) para gerar conjuntamente geometria e aparência, resolvendo costuras e topologia enquanto preserva o arranjo espacial de alto nível do usuário.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

1. Um Sistema para Remixagem Multimodal: Um sistema inovador que permite a seleção baseada em partes (via imagens 2D ou malhas 3D), composição e síntese assistida por IA para modelos 3D generativos.
2. Estudo de Usuário Controlado: Um estudo comparativo avaliando o fluxo de trabalho de remixagem contra um fluxo de trabalho de regeneração tradicional em ambas as modalidades 2D e 3D.
3. Comparação de Modalidades: Uma análise das compensações entre as modalidades de interação 2D (velocidade, simplicidade) e 3D (precisão, raciocínio espacial) dentro de um fluxo de trabalho composicional.
4. Recomendações de Design: Diretrizes para futuras ferramentas de modelagem 3D assistidas por IA, enfatizando a composição baseada em partes e a alternância fluida entre modalidades.

Resultados
Os autores conduziram um estudo controlado intra-sujeitos com oito modeladores 3D novatos. Os participantes completaram tarefas de design usando quatro condições: Remixagem-2D, Remixamente-3D, Regeneração-2D e Regeneração-3D.

• Comparação de Fluxo de Trabalho (Remixagem vs. Regeneração): Os participantes relataram significativamente maior controle criativo, maior alinhamento com sua intenção de design e maior satisfação com o fluxo de trabalho de remixagem em comparação com a regeneração. Embora a remixagem tenha exigido um esforço cognitivo ligeiramente maior, isso foi compensado por maior prazer e um senso de propriedade mais forte. Dados qualitativos indicaram que a regeneração frequentemente removia características desejadas, enquanto a remixagem permitia a preservação e recombinação explícita.
• Comparação de Modalidades (2D vs. 3D): As classificações para o resultado da tarefa e responsividade da ferramenta foram amplamente semelhantes entre as modalidades. No entanto, a modalidade 3D foi classificada com pontuação superior para apoiar a expressão criativa e o prazer, com os usuários achando a manipulação espacial direta mais intuitiva. Por outro lado, alguns usuários acharam a seleção 2D mais simples e menos ambígua.
• Compensações (Trade-offs): O estudo identificou uma compensação clara: a Remixagem-3D ofereceu o maior controle e confiança, mas demandou o maior esforço. Os fluxos de trabalho 2D foram percebidos como mais rápidos e diretos, mas ofereceram menos controle preciso.

Significância e Alegações
O artigo afirma que o Compos3D aborda uma lacuna crítica na modelagem 3D generativa ao mudar o paradigma de "aceitar ou descartar" para "compor e refinar". Ao desacoplar a geração entre a criação de candidatos e a remixagem, o sistema fornece aos usuários um controle mais fino sobre o resultado final.

Os autores concluem que fluxos de trabalho composicionais promovem um engajamento criativo mais profundo e um senso de propriedade mais forte em comparação com a regeneração iterativa. Eles argumentam que futuras ferramentas de modelagem 3D assistidas por IA devem priorizar a cocriação em vez da automação, apoiando fluxos de trabalho onde os usuários moldam ativamente os designs através do pensamento baseado em partes. Além disso, sugerem que a integração de ambas as modalidades, 2D e 3D, permite um equilíbrio entre eficiência e precisão, permitindo que os usuários explorem rapidamente ideias em 2D antes de refinar arranjos espaciais em 3D. O artigo postula que esta abordagem não apenas melhora a usabilidade, mas também transforma o papel do usuário de um prompter passivo para um designer ativo.