VecSet-Edit: Unleashing Pre-trained LRM for Mesh Editing from Single Image

1. Declaração do Problema

Embora a geração automatizada de ativos 3D tenha avançado rapidamente, a edição localizada de malhas 3D permanece um gargalo significativo. Abordagens existentes enfrentam várias limitações:

• Problemas de Representação: A maioria dos métodos opera em representações intermediárias como 3D Gaussian Splatting (3DGS) ou Neural Radiance Fields (NeRF), que carecem de topologia explícita necessária para animação e simulação física.
• Resolução e Fidelidade: Métodos de edição baseados em voxels (por exemplo, VoxHammer) sofrem com resolução limitada e altos custos computacionais em granularidades finas.
• Carga de Supervisão: Técnicas atuais de edição de malha frequentemente exigem máscaras 3D ou caixas delimitadoras laboriosas para definir regiões de edição, dificultando a escalabilidade.
• Preservação de Identidade: A regeneração de ativos com base em prompts de texto ou imagem frequentemente altera a identidade do objeto original ou degrada detalhes finos em regiões não editadas.

Os autores propõem uma solução que permite edição localizada de malhas 3D sem treinamento, guiada exclusivamente por uma única imagem 2D e uma máscara binária 2D, aproveitando Modelos de Reconhecimento de Grande Escala (LRMs) baseados em VecSet de alta fidelidade.

2. Metodologia

O framework proposto, VecSet-Edit, opera diretamente no espaço latente de um LRM VecSet pré-treinado (especificamente TripoSG). O pipeline consiste em quatro componentes principais:

A. Análise de Propriedades Geométricas do VecSet

Os autores observam que, embora os tokens do VecSet sejam desordenados, eles exibem localidade espacial. Um subconjunto de tokens corresponde consistentemente a regiões geométricas específicas da malha. Isso permite reformular o problema de edição como um problema de seleção de tokens: identificar um subconjunto de tokens ($V_E$) responsáveis pela região de edição, preservando o restante ($V_P$).

B. Seleção de Tokens (Localização)

Para mapear uma máscara de imagem 2D para os tokens 3D corretos sem supervisão 3D, o método emprega um processo de seleção em duas etapas:

1. Semeadura de Tokens Guiada por Máscara:
   • Utiliza mapas de atenção cruzada entre os tokens do VecSet e os recursos da imagem 2D.
   • Agrega pontuações de atenção sobre a região mascarada na imagem de entrada.
   • Filtra camadas com base em divergência KL para selecionar apenas as camadas de atenção mais informativas, identificando um conjunto grosseiro de tokens semente ($V_I$) que se alinham com a máscara 2D.
2. Portaria de Tokens Alinhada à Atenção:
   • Expande o conjunto de sementes usando mapas de autoatenção dentro do VecSet DiT (Diffusion Transformer).
   • Como a autoatenção captura proximidade geométrica e adjacência topológica, esta etapa recupera tokens fortemente acoplados ao conjunto de sementes, garantindo que a região selecionada seja espacialmente coerente e cubra toda a estrutura 3D do objeto alvo.

C. Framework VecSet-Edit (Difusão e Poda)

Uma vez identificado o subconjunto de tokens editáveis ($V_E$), o framework realiza difusão restrita:

• VecSet RePaint: Adapta a estratégia RePaint ao espaço de tokens latentes. Os tokens editáveis ($V_E$) são iterativamente desruidados guiados pela imagem editada alvo ($I_E$), enquanto os tokens preservados ($V_P$) são restringidos a seguir sua trajetória de difusão original para manter a identidade.
• Poda de Tokens Consciente de Deriva: Uma inovação crítica para lidar com a mobilidade espacial dos tokens do VecSet. Durante o desruidamento inicial, os tokens editáveis podem "derivar" para regiões que devem permanecer preservadas, causando sobreposições geométricas. O método intervém em um instante de tempo específico ($T_{pruning}$) para:
  • Identificar tokens que deram para a região preservada ($V_{conflict}$).
  • Remover esses tokens conflitantes, a menos que sejam estritamente necessários para a edição (suportados pela condição da imagem alvo).
  • Isso garante limites limpos e previne artefatos geométricos.

D. Assamento de Textura Preservando Detalhes

Para atualizar texturas sem borrar os detalhes originais:

• O método computa uma máscara de diferença geométrica entre as malhas fonte e editada.
• Utiliza um MV-Adapter (Adaptador Multi-Visão) para gerar texturas multi-visão.
• Crucialmente, a geração de textura é restrita apenas às regiões onde a geometria mudou. Esta abordagem de "pintura interna" garante que detalhes de alta frequência em regiões não editadas sejam perfeitamente preservados da malha original.

3. Contribuições Principais

1. Primeira Edição de Malha VecSet sem Treinamento: Introduz o primeiro framework para realizar edição localizada de malhas 3D diretamente no espaço latente de um LRM VecSet de alta fidelidade, evitando os gargalos de resolução de métodos baseados em voxels.
2. Novos Mecanismos de Seleção de Tokens: Propõe Semeadura de Tokens Guiada por Máscara e Portaria de Tokens Alinhada à Atenção para localizar com precisão regiões de edição usando apenas supervisão 2D, resolvendo o desafio de mapear máscaras 2D para tokens 3D desordenados.
3. Poda de Tokens Consciente de Deriva: Uma estratégia única para remover outliers geométricos durante o processo de difusão, garantindo consistência estrutural e prevenindo o "sangramento" de edições para áreas preservadas.
4. Assamento de Textura Preservando Detalhes: Um módulo de síntese de textura que atualiza apenas a geometria modificada, mantendo a aparência de alta frequência do ativo original em regiões não editadas.

4. Resultados Experimentais

O método foi avaliado no conjunto de dados Edit3D-Bench (300 amostras) e comparado com métodos SOTA como VoxHammer, Trellis, MVEdit e Instant3DiT.

• Qualidade de Preservação: O VecSet-Edit alcançou a menor Distância de Chamfer (CD) (0,011) entre todos os métodos de edição, superando significativamente o VoxHammer (0,018) e o Trellis (0,014). Isso indica preservação superior da geometria não editada.
• Métricas Visuais: Alcançou PSNR (29,63) e SSIM (0,97) state-of-the-art em regiões não editadas, demonstrando alta fidelidade.
• Eficiência: O método é aproximadamente 2x mais rápido que Trellis e VoxHammer (aprox. 200s vs. 600s) devido à eficiência do backbone VecSet.
• Estudo com Usuários: Em um estudo com 12 praticantes de 3D, o VecSet-Edit recebeu 59,17% dos votos para "Preservação de Região" e 58,33% para "Alinhamento de Condição", superando significativamente todas as linhas de base.
• Resultados Qualitativos: Comparações visuais mostram que o VecSet-Edit lida com sucesso com topologias complexas (por exemplo, mãos, ventiladores) e preserva detalhes intrincados que outros métodos frequentemente distorcem ou perdem.

5. Significado

O VecSet-Edit preenche a lacuna entre modelos generativos 3D e fluxos de trabalho de produção controláveis. Ao permitir edição precisa e localizada de malhas explícitas usando apenas uma única imagem e uma máscara 2D, elimina a necessidade de anotações 3D caras e mascaramento manual 3D. A capacidade de preservar a identidade do ativo e detalhes finos enquanto modifica regiões específicas torna esta abordagem altamente valiosa para indústrias como jogos, animação e realidade virtual, onde ativos gerados frequentemente exigem refinamento antes do uso. O trabalho também estabelece um novo paradigma para manipular representações latentes desordenadas em modelos de difusão.