🤖 machine learning

CompoSE: Compositional Synthesis and Editing of 3D Shapes via Part-Aware Control

CompoSE é um novo método baseado em transformador de difusão que sintetiza e edita formas 3D de alta qualidade, convertendo layouts grosseiros de partes geométricas em objetos detalhados e separados por partes com capacidades de edição granular, tudo sem exigir prompts de texto em nível de parte.

Autores originais: Habib Slim, Shariq Farooq Bhat, Mohamed Elhoseiny, Yifan Wang, Mike Roberts

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Habib Slim, Shariq Farooq Bhat, Mohamed Elhoseiny, Yifan Wang, Mike Roberts

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer construir uma cadeira 3D personalizada, mas, em vez de esculpi-la a partir de um único bloco de argila, você deseja projetá-la posicionando "zonas" específicas para as pernas, o assento e o encosto. Você quer dizer ao computador: "Esta caixa é para uma perna, esta outra é para o assento", e então deixar que o computador preencha os detalhes.

É exatamente isso que o CompoSE faz. É uma nova ferramenta que permite criar e editar objetos 3D ao organizar formas simples (como caixas flutuantes) e fornecer uma descrição textual, em vez de tentar descrever todo o objeto complexo apenas com palavras.

Veja como funciona, dividido em conceitos simples:

1. O Problema: A "Caixa Mágica" é Muito Imprevisível

Geralmente, quando você pede a uma IA para "criar uma cadeira", ela age como uma caixa mágica. Você fornece uma frase, e ela devolve uma cadeira. Mas, se quiser mudar apenas as pernas para ficarem mais longas, ou trocar o assento por um almofadado, muitas vezes terá que recomeçar do zero. A IA não entende que uma cadeira é feita de partes separadas; ela a vê como uma única massa gigante. Se você alterar o texto ligeiramente, toda a cadeira pode mudar de forma, cor ou estilo de maneiras inesperadas.

2. A Solução: O "Projeto do Arquiteto"

O CompoSE muda o jogo ao permitir que você aja como um arquiteto.

A Entrada: Você não digita apenas "cadeira". Você também desenha algumas caixas flutuantes no espaço 3D. Uma caixa para as pernas, uma para o assento, uma para o encosto.
A Magia: A IA observa suas caixas e seu texto (por exemplo, "uma cadeira de jantar de madeira") e preenche os detalhes dentro dessas caixas específicas.
O Resultado: Você obtém uma cadeira onde as pernas estão exatamente onde você colocou a caixa de pernas, e o assento está exatamente onde você colocou a caixa de assento.

3. O Segredo: O Cérebro "Local vs. Global"

Como a IA sabe que a caixa de pernas deve parecer uma perna e não a perna de uma mesa? Ela usa uma arquitetura cerebral especial (um Transformador de Difusão) que pensa de duas formas ao mesmo tempo:

Pensamento Local: Ela olha para uma caixa de cada vez. "Certo, esta caixa é pequena e baixa; precisa ser uma perna". Ela foca na forma específica daquela parte.
Pensamento Global: Ela olha para a imagem completa. "Espere, se estas são pernas e esta é um assento, elas precisam combinar em estilo e tamanho para parecerem uma cadeira real, e não uma pilha de madeira incompatível".

Ao alternar entre observar os detalhes e observar o panorama geral, ela garante que cada parte se encaixe perfeitamente.

4. O Superpoder de Edição: "Trocar e Manter"

A parte mais legal do CompoSE é o quão fácil é editar. Como a IA entende o objeto como partes separadas, você pode fazer coisas como:

Redimensionar sem Arruinar: Você pode esticar a caixa para o encosto da cadeira para torná-la mais alta. A IA estica o encosto, mas mantém a veia da madeira, a textura e o estilo exatamente os mesmos. Ela não transforma a cadeira em um objeto diferente; apenas aumenta a parte.
Trocar Partes: Você pode excluir a caixa do assento e desenhar uma nova, depois dizer à IA: "Faça deste um almofadado de couro". As pernas e o encosto permanecem exatamente como estavam; apenas o assento muda.
Adicionar Partes: Você pode adicionar uma nova caixa para um braço, e a IA crescerá um braço que combina com o restante da cadeira.

5. Como Eles a Treinaram: A Fábrica de "Rotulagem Automática"

Para ensinar isso à IA, os pesquisadores precisavam de milhares de exemplos de objetos 3D divididos em partes. Como ninguém tinha um banco de dados de "cadeiras com pernas e assentos rotulados", eles construíram um pipeline robótico.

Eles pegaram milhares de modelos 3D brutos de uma biblioteca massiva chamada Objaverse.
Usaram um algoritmo inteligente para cortar automaticamente os modelos em peças lógicas (como separar o tampo de uma mesa de suas pernas).
Usaram uma IA de visão e linguagem para olhar o objeto e escrever uma descrição para ele.
Isso criou um conjunto de treinamento massivo sem que humanos tivessem que rotular manualmente cada parte individual.

Resumo

Pense no CompoSE como um kit de Lego para design 3D. Em vez de tentar moldar uma estátua inteira de argila (o que é difícil de corrigir se você errar), você coloca seus "tijolos de Lego" (as caixas) onde deseja. A IA então preenche a textura e a forma de cada tijolo individualmente, garantindo que todos se encaixem para formar um objeto belo e coerente que você pode ajustar peça por peça.

O que ele NÃO faz (com base no artigo):

Não garante que o objeto seja fisicamente estável (uma cadeira pode parecer boa, mas cair se você colocar peso sobre ela).
Atualmente não funciona com mais de 8 partes ao mesmo tempo.
Não adivinha automaticamente onde colocar as caixas; você ainda precisa posicioná-las (embora o artigo sugira que trabalhos futuros possam fazer isso).

Resumo Técnico: CompoSE

Declaração do Problema

A criação e edição de conteúdo 3D de alta qualidade permanecem um desafio central na computação gráfica. Embora métodos recentes de IA generativa possam sintetizar formas 3D a partir de entradas de alto nível (texto, imagens ou caixas delimitadoras globais), eles carecem de capacidades de síntese e edição composicional. Abordagens existentes normalmente modelam a intenção do usuário através de um único objeto monolítico ou dependem de condicionamento por imagem 2D, o que entrelaça a geometria das partes e impede uma edição localizada e granular. Especificamente, os métodos atuais não conseguem aceitar entradas separadas por partes (por exemplo, caixas delimitadoras distintas para partes individuais de um objeto) para guiar a síntese, nem suportam a edição de partes individuais (substituição, redimensionamento, exclusão) preservando a identidade e o estilo do restante do objeto. Além disso, nenhum método existente suporta a inferência de semântica e simetrias das partes diretamente a partir de orientações de layout grosseiras sem exigir prompts de texto em nível de parte.

Metodologia: CompoSE

Os autores introduzem o CompoSE (Síntese e Edição Composicional de Formas 3D via Controle Consciente de Partes), um método inovador que sintetiza objetos 3D separados por partes a partir de um conjunto de primitivas geométricas grosseiras (por exemplo, caixas delimitadoras orientadas) e um prompt de texto global.

Arquitetura Central

O método utiliza uma arquitetura Transformer de Difusão (DiT) projetada para alternar entre processamento local e global:

Blocos Locais: Processam informações de layout espacial para primitivas individuais de forma independente. Isso fornece controle de alta fidelidade sobre a geometria de cada parte sintetizada, condicionado à caixa de entrada específica e ao embedding de texto compartilhado.
Blocos Globais: Agregam pistas contextuais e informações de texto em todas as partes. Isso garante coerência estilística, validade estrutural e harmonização de proporções globais em todo o objeto.
Mecanismo de Condicionamento: O modelo funde condições geométricas em nível de parte com um prompt de texto global. Ele aprende a inferir como as semânticas globais se distribuem entre as partes e como as partes interagem para formar um todo coerente, sem exigir prompts de texto para partes individuais.

Representações e Codificação

Representação de Forma 3D: O modelo opera no espaço latente de um VAE pré-treinado (TripoSG). Partes 3D verdadeiras são mapeadas para representações latentes de Função de Distância Assinada (SDF).
Codificação de Geometria de Entrada: Em vez de codificar parâmetros de caixa delimitadora (centro, extensão, orientação) via um MLP simples, o CompoSE codifica cada caixa de entrada usando o mesmo codificador de forma baseado em SDF utilizado para partes 3D. Pontos e normais são amostrados da superfície da caixa para gerar um embedding latente. Isso garante o alinhamento no espaço latente entre o sinal de condicionamento (caixas) e a geometria alvo, melhorando significativamente a aderência ao layout de entrada.

Capacidades de Edição

O CompoSE permite edição granular localizada através de duas técnicas principais:

Congelamento de Latente de Parte: Para editar um subconjunto de partes enquanto preserva outras, as variáveis latentes das partes não editadas são congeladas restaurando-as a partir da forma de referência em cada passo de tempo de difusão. Isso trava as partes não editadas no lugar, mantendo sua geometria e semântica.
Reinjeção KV (Redimensionamento Preservador de Identidade): Para ajustes geométricos (por exemplo, redimensionamento) onde o estilo deve ser preservado, o método armazena em cache as chaves e valores de atenção da forma de referência. Durante a edição, esses valores em cache são misturados com valores recalculados a partir dos latentes modificados de maneira dependente do passo de tempo. Isso ancora a identidade visual, garantindo que mudanças geométricas não alterem o estilo ou a textura da parte.

Pipeline de Dados

Como nenhum conjunto de dados existente contém formas segmentadas por partes com pares correspondentes de texto-layout, os autores desenvolveram um pipeline de processamento de dados totalmente automatizado:

Segmentação: Malhas 3D brutas são decompostas em segmentos de baixo nível, que são progressivamente mesclados com base em heurísticas de volume para criar partes semanticamente significativas.
Extração de Layout: Caixas Delimitadoras Orientadas (OBBs) são computadas para cada segmento de parte.
Geração de Legendas: Um modelo de visão-linguagem (InternVL3-8B) gera prompts de texto globais a partir de imagens renderizadas de múltiplas visões, focando em geometria e descrições de partes, evitando detalhes irrelevantes de cor/textura.

Contribuições Principais

Primeira Síntese Separada por Partes: O primeiro método a sintetizar formas 3D separadas por partes a partir de layouts de partes grosseiros, apresentando uma técnica de condicionamento inovadora que garante forte aderência aos layouts de entrada do usuário e alto controle sobre partes individuais.
Edição Composicional Versátil: Permite um conjunto de capacidades de edição incluindo substituição, adição, exclusão e redimensionamento preservador de estilo de partes individuais de objetos.
Pipeline de Dados Automatizado: Um pipeline totalmente automatizado que permite o treinamento em conjuntos de dados de formas 3D em grande escala sem exigir segmentações manuais em nível de parte ou anotações de texto em nível de parte.

Resultados e Avaliação

Os autores avaliaram o CompoSE em layouts de partes e prompts não vistos do conjunto de dados Objaverse, comparando-o com bases de referência como Fantasia3D, Coin3D, Spice-E e SpaceControl.

Métricas Quantitativas: O CompoSE supera significativamente as abordagens existentes na síntese guiada. A variante Ours2048 alcançou o melhor Object-FID (12,77) e Part-FID (14,41), indicando qualidade visual superior. Também alcançou o maior Part-IoU (0,840), demonstrando forte alinhamento com layouts de entrada, e a melhor CLIP-Score (31,07) entre modelos maiores.
Avaliação Baseada em LLM: Usando o GPT-4o como juiz para aderência ao layout, aderência ao prompt, qualidade e geometria, o CompoSE alcançou a melhor classificação média (1,69) em todos os eixos, superando substancialmente todas as bases de referência.
Desempenho de Edição: Em tarefas de redimensionamento preservador de identidade, o CompoSE alcançou pontuações F significativamente mais altas (0,70 em $\tau=0,05$ ) em comparação com escalamento anisotrópico (0,55) e substituição de partes (0,64), confirmando sua capacidade de manter a identidade geométrica durante edições.
Tempo de Inferência: O método escala de forma graciosa com o número de partes ( $N_p$ ). Em resolução 512, é mais rápido que bases de referência baseadas em otimização mesmo com 8 partes.

Significado e Limitações

O artigo afirma que o CompoSE aborda uma lacuna crítica na criação de conteúdo profissional, permitindo síntese e edição composicional, permitindo que os usuários manipulem partes individuais enquanto mantêm a coerência global. Os autores sugerem que fornecer à IA generativa orientação estruturada rica (como layouts de partes) poderia se tornar um padrão na caixa de ferramentas de computação gráfica, potencialmente permitindo a síntese de ativos prontos para simulação a partir de malhas proxy grosseiras.

As Limitações reconhecidas pelos autores incluem:

Artefatos: Leves artefatos (por exemplo, z-fighting) podem ocorrer nas fronteiras das partes devido à natureza fora de distribuição do VAE em relação aos segmentos de partes.
Plausibilidade Física: O método não garante estabilidade física (por exemplo, contatos ausentes ou assimetrias).
Escalabilidade: A arquitetura atual é limitada a oito partes por forma devido ao custo computacional dos blocos de atenção global.
Entrada do Usuário: Os usuários ainda devem definir manualmente as caixas delimitadoras de entrada; os autores observam que um modelo de texto-para-estrutura poderia automatizar isso no futuro.