Resumo Técnico: CubePart: Um Gerador 3D de Vocabulário Aberto e Controlável por Partes

Declaração do Problema

Ativos 3D interativos em jogos e simulações exigem decomposição em partes semânticas específicas para suportar animação, física e comportamentos scriptados. No entanto, os modelos generativos 3D atuais produzem tipicamente malhas monolíticas ou decomposições de partes arbitrárias que não se alinham com esquemas específicos da aplicação. Métodos existentes que dependem de fundamentação 2D (por exemplo, segmentação de imagem) falham em controlar partes ocultas ou definir estruturas semânticas 3D completas devido à dependência de visualização. Além disso, abordagens existentes de geração consciente de partes frequentemente dependem de taxonomias fixas ou vocabulários fechados, limitando sua capacidade de acomodar definições de partes diversas e abertas exigidas por diferentes aplicações downstream. Há uma necessidade crítica de uma interface nativa 3D e orientada a esquema que permita aos usuários especificar explicitamente uma lista de vocabulário aberto de partes semânticas durante a geração.

Metodologia

CubePart é um framework generativo de dois estágios projetado para sintetizar malhas 3D multi-partes condicionadas a um prompt de texto global e a um esquema de partes definido pelo usuário (uma lista aberta de nomes de partes).

1. Motor de Dados

Para suportar treinamento de vocabulário aberto, os autores construíram um conjunto de dados em grande escala compreendendo aproximadamente 462 mil ativos e 2,02 milhões de partes. Este pipeline automatiza a criação de dados rotulados por partes a partir de malhas não estruturadas usando:

• Pré-processamento: Filtragem de geometria degenerada e retenção de ativos com 2–32 partes.
• Filtragem de Qualidade Baseada em VLM: Uso de Modelos Visão-Linguagem (VLMs) para identificar defeitos de malha, artefatos de digitalização e conteúdo em nível de cena.
• Renderização Set-of-Mark (SoM): Uma estratégia de anotação inovadora onde 14 vistas orbitais são renderizadas como imagens emparelhadas: uma vista texturizada com contornos de partes e marcadores numerados, e uma vista colorida por parte onde cada parte é uma cor sólida distinta. Este emparelhamento fornece tanto contexto semântico quanto identificação inequívoca de partes.
• Agrupamento e Nomeação Baseados em VLM: O VLM processa todos os pares de vistas simultaneamente para agrupar partes relacionadas com base em função ou relações lógicas e atribui nomes concisos e descritivos (por exemplo, "roda dianteira esquerda" em vez de uma legenda genérica).
• Pós-processamento: Conversão de partes em malhas estanques usando Cubos Marching Duplos em campos de distância sem sinal para treinamento.

2. Arquitetura Generativa

O framework emprega um processo de difusão de dois estágios baseado em representações latentes VecSet (conjunto de vetores):

• Estágio 1: Geração de Malha de Parte Única (Síntese Global)

  • Utiliza um Transformer de Difusão Multimodal (MM-DiT) condicionado a prompts de texto.
  • O prompt de texto é estruturado para enumerar explicitamente as partes constituintes (por exemplo, "Este objeto contém as seguintes partes: {lista}").
  • Este estágio é pré-treinado em ~4,7 milhões de pares malha-texto e ajustado finamente no conjunto de dados rotulado por partes curado para garantir que a forma global gerada se alinhe estruturalmente com o esquema de entrada.

• Estágio 2: Geração de Malha Multi-Parte (Decomposição)

  • Recebe o latente de forma completa do Estágio 1 e o decompõe em latentes de partes distintos.
  • Prompting Consciente de Parte: O modelo é condicionado à lista completa de partes e a um nome de parte alvo específico para guiar os limites de segmentação.
  • Atenção Inter-Parte: Para resolver limites geométricos e prevenir sobreposições, os autores inserem blocos de Transformer dedicados inicializados com zero (Blocos Residuais de Atenção Inter-Parte) nos pesos pré-treinados do Estágio 1. Esses blocos facilitam a comunicação eficiente entre partes sem perturbar os priores geométricos globais aprendidos.
  • A saída é um conjunto de malhas distintas, uma para cada elemento do esquema, que se montam em um objeto coerente.

Contribuições Principais

1. Motor de Dados Escalável: Um pipeline totalmente automatizado para construção de conjuntos de dados 3D rotulados por partes e de vocabulário aberto usando VLMs e prompting Set-of-Mark, resultando em um conjunto de dados mais de 11 vezes maior que esforços anteriores (PartVerse-XL).
2. Arquitetura Orientada a Esquema: Um modelo generativo de dois estágios que separa a síntese de forma global da decodificação em nível de parte, permitindo geração controlável por partes e de vocabulário aberto enquanto preserva a coerência geométrica global.
3. Integração End-to-End: Uma demonstração de que as malhas multi-partes geradas podem ser integradas diretamente em motores de jogo e acionadas por scripts de comportamento (por exemplo, scripts Lua para direção, voo ou articulação de personagens) sem pós-processamento manual.

Resultados e Avaliação

• Desempenho Quantitativo: No benchmark PartObjaverse-Tiny, o CubePart supera as linhas de base (incluindo HoloPart, OmniPart, PartCrafter e PartPacker) em métricas holísticas e em nível de parte (Distância de Chamfer e Pontuação F). Especificamente, o método alcança uma Pontuação F holística de 0,974 e uma Pontuação F em nível de parte de 0,743.
• Estudos de Ablação:
  • Remover o ajuste fino consciente de esquema leva a partes ausentes ou indevidamente enfatizadas.
  • Remover o mecanismo de Atenção Inter-Parte causa uma queda severa na precisão em nível de parte, confirmando a necessidade de comunicação inter-para resolver limites.
  • Modificar camadas de atenção local pré-treinadas (como feito em outros trabalhos) degrada o desempenho em comparação com o uso de blocos dedicados inicializados com zero.
• Resultados Qualitativos: O sistema gera com sucesso objetos complexos (por exemplo, uma tartaruga com um castelo, um tanque, um drone) onde partes específicas (rodas, torres, hélices) são geradas como malhas distintas e estruturalmente completas que correspondem ao esquema do usuário. Também demonstra a capacidade de variar a granularidade das partes (por exemplo, fundir guarda-lamas nas rodas versus separá-los) com base no esquema de entrada.

Significado e Alegações

O artigo afirma que o CubePart representa um passo significativo em direção à produção de ativos prontos para jogos, mudando da geração monolítica para a síntese orientada a esquema e controlável por partes. Ao permitir que os usuários definam explicitamente a estrutura semântica de um objeto via texto, o método preenche a lacuna entre a IA generativa e os requisitos rígidos de ambientes 3D interativos. Os autores enfatizam que sua abordagem permite o uso direto de ativos gerados para comportamentos scriptados ou fisicamente simulados, eliminando a necessidade de decomposição e rotulagem manual por artistas. O trabalho posiciona o texto como uma interface universal para controlar a estrutura 3D, oferecendo uma alternativa flexível a taxonomias fixas ou controles 2D dependentes de visualização.