Resumo Técnico: MeshFIM

Declaração do Problema

Modelos autoregressivos (AR) demonstraram a capacidade de gerar malhas de baixo polígono de alta qualidade, no nível de artista, a partir de nuvens de pontos. No entanto, os geradores AR existentes operam de maneira "tudo ou nada": para modificar uma única região local, toda a malha deve ser regenerada do zero. Essa abordagem é computacionalmente desperdiçadora e interrompe topologias satisfatórias em áreas não afetadas. Além disso, técnicas clássicas de edição local (por exemplo, preenchimento de buracos, subdivisão) frequentemente falham em preservar a coerência topológica ou a intenção de design em configurações de baixo polígono, onde a estrutura da malha codifica informações semânticas específicas, e não apenas a discretização da superfície.

O desafio central na adaptação de modelos AR para edição local reside nas restrições geométricas e topológicas únicas das malhas 3D:

1. Ordenação de Serialização: Malhas são complexos 2D embutidos no espaço 3D. Ao serem serializadas em uma sequência plana de tokens para geração AR, vizinhanças espacialmente contíguas perdem sua ordenação local, dificultando que os modelos preservem o fluxo de arestas e transições de densidade.
2. Aderência Exata da Fronteira: Os patches gerados devem reutilizar exatamente os vértices de fronteira expostos. Mesmo discrepâncias de coordenadas abaixo da quantização resultam em fissuras visíveis ou junções em T.
3. Transbordamento de Geração: Sem restrições estritas, as faces geradas podem transbordar além da região-alvo pretendida.
4. Lacuna Treinamento-Inferência: Os contextos de treinamento são extraídos de malhas de verdade absoluta limpas, enquanto os contextos de inferência podem conter artefatos de etapas anteriores ou seleções do usuário, levando a problemas de robustez.

Metodologia: MeshFIM

Os autores introduzem o MeshFIM, um framework de Preenchimento no Meio (FIM) adaptado de modelos de conclusão de código para geração autoregressiva de malhas. O MeshFIM trata a edição local de malhas como uma tarefa de preenchimento condicional, onde uma região-alvo $B$ é regenerada com base em um contexto circundante $A\setminus B$ e uma geometria de referência $P$.

O framework emprega cinco escolhas de design complementares para abordar os desafios específicos da edição de malhas:

1. Marcadores de Vértice de Fronteira

Para impor uma aderência exata, o modelo marca explicitamente os tokens de contexto correspondentes aos vértices na fronteira exposta ($V_\partial$). Esses embeddings são modificados pela adição de um vetor marcador aprendido ($m_{bdry}$). Isso fornece uma pista explícita ao decodificador sobre quais vértices de contexto devem ser reutilizados como âncoras de costura, garantindo conectividade perfeita.

2. Largura de Contexto Expandida

Para prevenir o transbordamento de geração (faces transbordando além da região-alvo), a janela de contexto é expandida. Em vez de uma vizinhança mínima, o modelo utiliza um contexto mais amplo (por exemplo, três anéis de busca em largura). Isso expõe mais geometria circundante, fornecendo evidências suficientes para o modelo inferir curvatura local e fluxo de arestas, mantendo assim a geração localizada.

3. Embeddings Posicionais de Contexto

Como a serialização achata a malha, o modelo corre o risco de tratar o contexto como um saco desordenado de vértices. Para restaurar a estrutura topológica local, embeddings posicionais aprendidos são adicionados à sequência de contexto serializada. Isso ajuda o modelo a preservar padrões circundantes, como fluxo de arestas e densidade de faces.

4. Codificador de Geometria de Baixo Polígono com Subtração Gateada

Condicionadores padrão de nuvem de pontos codificam a superfície de referência, mas carecem de conhecimento sobre o que a malha de baixo polígono existente já cobre. O MeshFIM introduz um mecanismo para fechar essa lacuna:

• Um codificador Perceiver-IO compartilhado codifica tanto a nuvem de pontos de referência ($P_{gt}$) quanto a malha de baixo polígono existente ($P_{lp}$, com a região-alvo removida) usando o mesmo conjunto de posições de consulta.
• Uma rede de porta leve produz um vetor $g$ com base na diferença entre os latentes alinhados ($z_{gt}$ e $z_{lp}$).
• O sinal de condicionamento final é uma atenuação do latente de referência: $\hat{z} = (1 - g) \cdot z_{gt}$.
• Mecanismo: Onde a malha existente já cobre bem a superfície de referência, a porta suprime o sinal de referência. Onde a malha está faltando (o buraco), a porta permite que todo o latente de referência passe, direcionando a geração especificamente para a região faltante.

5. Augmentação de Contexto

Para fechar a lacuna treinamento-inferência, o processo de treinamento inclui augmentação de contexto. As coordenadas dos vértices de contexto são perturbadas com deslocamentos aleatórios, e os vértices de fronteira são perturbados de forma semelhante. Isso expõe o modelo a contextos ruidosos e incompletos durante o treinamento, melhorando a robustez durante a inferência.

Contribuições Principais

• Primeiro Editor Local de Malhas de Baixo Polígono: O MeshFIM é o primeiro framework a permitir edição local precisa de malhas de baixo polígono usando geração autoregressiva, evitando a necessidade de regeneração completa.
• Adaptação FIM para 3D: Adapta com sucesso o paradigma de Preenchimento no Meio para malhas 3D, abordando restrições geométricas e topológicas não triviais únicas aos dados 3D.
• Componentes Arquiteturais Novos: O artigo introduz mecanismos específicos (marcadores de fronteira, subtração gateada, augmentação de contexto) que coletivamente resolvem os problemas de correspondência de fronteira, transbordamento e coerência topológica.
• Aplicações Duplas: O framework suporta tanto edição interativa baseada em pincel quanto um pipeline automático de reparo de defeitos.

Resultados Experimentais

Os autores avaliaram o MeshFIM contra uma série de baselines, incluindo preenchimento clássico de buracos, subdivisão neural e geração de malha completa com esquemas de costura de volta.

• Desempenho Quantitativo: O MeshFIM supera significativamente as baselines em correção de fronteira (Razão Média de Correspondência de Vértices de 99,75% vs. <34% para outras) e qualidade geométrica (Taxa Positiva de Distância de Chamfer de 95,54%). Também demonstra superioridade em localidade, com impacto mínimo na geometria circundante.
• Estudos de Ablação: Ablações detalhadas confirmam a necessidade de cada componente. Os marcadores de vértice de fronteira forneceram o maior ganho único na razão de correspondência perfeita. A expansão da largura do contexto reduziu drasticamente as taxas de transbordamento. O codificador de geometria de baixo polígono suprimiu ainda mais o transbordamento e melhorou a qualidade da geração.
• Aplicações:
  • Edição Interativa: Uma interface baseada na web permite que os usuários pintem regiões-alvo, que são então regeneradas perfeitamente.
  • Reparo Automático: Um pipeline usando heurísticas de gráficos detecta defeitos (por exemplo, faces faltantes, normais invertidas) e os repara iterativamente usando o MeshFIM, alcançando uma taxa de reparo de 88,9% em malhas danificadas após quatro rodadas.

Significado e Alegações

O artigo afirma que o MeshFIM representa um passo significativo para frente nos fluxos de trabalho práticos de modelagem 3D. Ao permitir edições locais sem destruir a topologia existente, alinha-se com a natureza iterativa da modelagem profissional. Os autores enfatizam que seu método é o primeiro a combinar a geração de topologia de alta qualidade dos modelos AR com a precisão necessária para edição local, efetivamente fechando a lacuna entre IA generativa e manipulação prática de malhas. O trabalho sugere que a criação futura de ativos 3D pode se afastar de abordagens de "regenerar tudo" em direção a refinamentos direcionados e conscientes do contexto.