Resumo Técnico: MeshReGen: Um Framework Unificado de Regeneração de Geometria 3D

Declaração do Problema

Os modelos generativos 3D atuais operam predominantemente de forma "única" (one-shot), convertendo texto ou imagens únicas em objetos 3D. Embora eficazes para a criação inicial, esses modelos frequentemente carecem de controlabilidade e lutam para se integrar a fluxos de trabalho complexos e multiestágio de artistas 3D. A criação 3D do mundo real envolve frequentemente o refinamento de geometria grosseira, a reconstrução de objetos a partir de varreduras incompletas (por exemplo, fotogrametria) ou a edição de regiões específicas de uma malha existente. Essas tarefas exigem o mapeamento de uma forma 3D de "baixa informação" ($y_L$)—que pode ser grosseira, ruidosa, distorcida ou parcial—para uma forma 3D de "alta informação" ($x_H$).

Abordagens existentes tratam desses casos específicos (melhoria, reconstrução, edição) utilizando arquiteturas sob medida e específicas para a tarefa. Além disso, a escassez de conjuntos de dados de treinamento pareados (pares de formas 3D de baixa e alta qualidade) limita a capacidade de treinar regeneradores de propósito geral. O artigo identifica uma lacuna na existência de uma arquitetura unificada e formulação de aprendizado que possa lidar com diversas tarefas de regeneração 3D sem exigir designs específicos para a tarefa ou anotações manuais caras.

Metodologia

Conceito Central: Regeneração de Forma 3D

Os autores definem regeneração 3D como a amostragem de uma forma de alta fidelidade $x_H$ a partir da distribuição $p(x_H | y_L, I)$, onde $y_L$ é uma forma 3D auxiliar de baixa informação (por exemplo, uma malha grosseira, nuvem de pontos ou região mascarada) e $I$ é um guia opcional de imagem 2D.

Arquitetura do Modelo

O MeshReGen é construído sobre um modelo de difusão latente pré-treinado operando em um espaço latente 3D compacto usando VecSet [78].

1. Representação Latente: Tanto a forma alvo de alta qualidade ($x_H$) quanto a forma condicionante de baixa qualidade ($y_L$) são codificadas em vetores latentes ($z_H$ e $z_L$) usando o mesmo codificador VecSet. O VecSet representa formas 3D como um conjunto de $K$ vetores latentes derivados de uma nuvem de pontos amostrada.
2. Mecanismo de Condicionamento Unificado: Diferentemente de trabalhos anteriores que usam caminhos de atenção cruzada separados para condicionamento (o que pode ser ineficiente para entradas densas), o MeshReGen concatena os tokens de condicionamento $z_L$ diretamente com os tokens alvo ruidosos $z_H^t$.
   • Pré-processamento de Tokens: Para evitar que o modelo seja "chocado" pela introdução de novos tokens de controle, os tokens de condicionamento $z_L$ passam por um Perceptron Multicamadas (MLP) com pesos inicializados em zero (semelhante ao ControlNet). Embeddings posicionais também são adicionados a $z_L$ para ajudar o modelo a distinguir suas localizações espaciais.
   • Processo de Difusão: Um Transformer de Difusão (DiT) remove o ruído da entrada concatenada $z_H^t \oplus \text{MLP}(z_L + \text{PE})$ condicionada à imagem $I$ e ao passo de tempo $t$.
3. Eficiência: Uma vantagem chave do VecSet é que o número de tokens $K$ pode ser ajustado com base na complexidade da forma. Entradas grosseiras ($y_L$) podem ser codificadas com significativamente menos tokens ($C \ll K$) do que o alvo, melhorando a eficiência computacional devido à complexidade quadrática da atenção automática.

Construção de Dados (Tarefas Pré-texto Auto-supervisionadas)

Para superar a escassez de dados 3D pareados, os autores propõem pipelines de engenharia de dados automáticos que convertem conjuntos de dados 3D genéricos (por exemplo, coleções semelhantes ao Objaverse) em triplets de treinamento $(z_H, z_L, I)$ sem anotação manual. As estratégias de aumento específicas dependem da tarefa alvo:

• Melhoria Composicional: Objetos de alta qualidade são dispostos em grades e codificados em um único espaço latente. Ruído é adicionado aos tokens da cena em um nível específico $t^*$ e, em seguida, removido de volta até $t=0$. A cena "degradada" resultante é decodificada, e objetos individuais são extraídos como pares de baixa qualidade ($y_L$) correspondentes aos objetos de alta qualidade originais ($x_H$). Isso simula a perda de detalhes comum na geração composicional.
• Imagem para 3D Guiada (Reconstrução): Objetos ground-truth são renderizados em 1 a 4 visões. Essas visões são alimentadas em uma rede de reconstrução feed-forward (VGGT) para produzir nuvens de pontos esparsas e incompletas ($y_L$). Estas são alinhadas com o ground-truth para formar pares de treinamento.
• Edição de Forma 3D: Uma máscara 3D é aplicada a um objeto ground-truth para remover uma região. A geometria restante é codificada, e a região faltante é representada por "tokens de máscara" aprendíveis inicializados no espaço latente. A imagem guia $I$ é gerada preenchendo a região mascarada de uma visão renderizada usando um modelo de texto para 2D.

Contribuições Principais

1. Framework Unificado: O MeshReGen introduz uma única arquitetura capaz de realizar melhoria 3D, reconstrução a partir de visões esparsas e edição 3D, unificando tarefas anteriormente tratadas por modelos dispersos.
2. Mecanismo de Condicionamento Novel: O artigo propõe uma estratégia de concatenação simples, porém eficaz, para condicionamento 3D dentro do espaço latente VecSet, superando alternativas de atenção cruzada para entradas densas ou ruidosas.
3. Protocolos de Dados Escaláveis: Os autores demonstram protocolos para gerar automaticamente dados de treinamento pareados específicos para a tarefa a partir de conjuntos de dados 3D genéricos via aumentos auto-supervisionados, eliminando a necessidade de pareamento manual caro.
4. Desempenho State-of-the-Art: O framework alcança resultados superiores em consistência geométrica e recuperação de detalhes de alta granularidade em comparação com baselines específicas para a tarefa.

Resultados e Avaliação

Os autores avaliam o MeshReGen em três tarefas principais:

• Melhoria 3D Composicional: Em objetos de cena decompostos, o MeshReGen supera significativamente as baselines (incluindo o DetailGen3D) em fidelidade geométrica (ULIP-3D) e qualidade perceptiva (MV-ImageReward). Ele recupera com sucesso detalhes perdidos ao gerar grandes cenas em uma única passagem.
• Imagem para 3D Guiada (Reconstrução): Usando o conjunto de dados GSO, o MeshReGen combinado com VGGT (VGGT+MeshReGen) alcança métricas de reconstrução state-of-the-art (CD, F-score, IoU, PSNR). Ele supera notavelmente geradores de visão única e iguala ou excede modelos especializados de múltiplas visões (como TRELLIS e MeshLRM) mesmo usando menos visões de entrada. Ele preenche efetivamente regiões ocluídas enquanto preserva a geometria visível.
• Edição de Forma 3D: Avaliado no conjunto de dados Edit3D-Bench, o MeshReGen demonstra a capacidade de editar regiões 3D específicas enquanto mantém a identidade e a estrutura global do objeto original. Ele evita os artefatos e inconsistências de visão comuns em métodos de elevação de 2D para 3D.

Estudos de Ablação:

• Mecanismo de Condicionamento: A concatenação de tokens proposta com MLPs inicializados em zero supera designs que usam blocos de atenção cruzada separados (inspirados no CLAY) ou atenção cruzada estendida (inspirada no Hunyuan3D-Omni).
• Parametrização de Difusão: A formulação de difusão padrão supera as baselines de fluxo retificado em tarefas de reconstrução.
• Generalização: Frameworks de geração existentes (TRELLIS, Hunyuan3D-Omni) falham em generalizar para tarefas de regeneração com entradas degradadas sem ajuste fino, destacando a necessidade da formulação e dos dados dedicados de regeneração.

Significado e Alegações

O artigo alega que o MeshReGen representa um passo significativo em direção a priors de regeneração 3D unificados, generalizáveis e versáteis. Ao demonstrar que uma única arquitetura pode lidar com diversas tarefas a jusante (melhoria, reconstrução, edição) através de um mecanismo de condicionamento unificado e construção de dados auto-supervisionada, o trabalho desafia a tendência predominante de modelos 3D específicos para a tarefa.

Os autores enfatizam que sua abordagem permite controle explícito sobre a geometria global (pose, forma grosseira) enquanto melhora detalhes de alta granularidade, fechando a lacuna entre a flexibilidade da IA generativa e a precisão exigida por fluxos de trabalho profissionais 3D. Eles posicionam o MeshReGen não apenas como um gerador, mas como uma ferramenta de "regeneração" que pode atualizar, reparar e modificar ativos 3D existentes, tornando a criação de conteúdo 3D mais acessível e eficiente.