Resumo Técnico: MeshFlow: Geração de Malhas com Flow Matching Equivariante

Declaração do Problema

Gerar malhas 3D de alta qualidade diretamente é um desafio significativo em computação gráfica devido às propriedades estruturais complexas das representações de malha. Diferente de nuvens de pontos ou funções implícitas, as malhas contêm simetrias inerentes, especificamente a invariância de permutação de faces e a invariância de permutação de vértices dentro de cada face. As abordagens existentes enfrentam limitações distintas:

• Pipelines de dois estágios: Métodos que geram representações intermediárias (ex: nuvens de pontos, voxels, funções implícitas) e as convertem em malhas frequentemente sofrem com artefatos como o sobre-tesselamento ou perda de características nítidas, falhando em replicar a tesselação intencional de malhas criadas por artistas.
• Modelos auto-regressivos: Embora trabalhos recentes (ex: MeshGPT, MeshXL) gerem malhas diretamente dos dados com alta qualidade, eles são limitados pela velocidade de inferência lenta, dificuldade de controle na geração e acúmulo de erros ao longo de sequências longas.
• Diffusion/Flow Matching Padrão: A aplicação direta de modelos de difusão em malhas tem tido dificuldade em igualar a qualidade dos métodos auto-regressivos, em grande parte porque os métodos anteriores falham em considerar as simetrias inerentes de faces e vértices, levando a um treinamento ineficiente e geração subótima.

Metodologia

Os autores propõem o MeshFlow, um modelo generativo que aprende a produzir malhas triangulares diretamente de conjuntos de dados curados por humanos usando optimal-transport flow matching equivariante. O método opera em uma representação de sopa de triângulos (triangle soup), onde uma malha é definida como um conjunto de faces triangulares não ordenadas, cada uma contendo três vértices não ordenados.

1. Representação e Simetrias

O modelo trata a malha como um conjunto $x = \{f_1, \dots, f_N\}$ onde cada face $f_i$ consiste em três vértices. Esta representação exibe dois níveis de simetria de permutação:

• Nível de face: O conjunto de $N$ triângulos pode ser permutado arbitrariamente (Grupo Simétrico $S_N$).
• Nível de vértice: A ordem dos três vértices dentro de qualquer face individual é irrelevante (Grupo Simétrico $S_3$).
  O grupo de simetria combinado é o produto de wreath $G = S_3 \wr S_N$.

2. Arquitetura Equivariante

Para respeitar essas simetrias, os autores modificam a arquitetura padrão de Diffusion Transformer (DiT) para um Equivariant DiT (EquiDiT):

• Codificador de Vértices (Vertex Embedder): Codifica as coordenadas dos vértices usando codificação posicional senoidal (semelhante ao NeRF).
• Bloco Equivariant DiT: Em vez de aplicar auto-atenção a todos os $3N$ vértices (o que é computacionalmente caro e excessivamente restritivo), o modelo agrega características de vértices dentro de cada face via pooling médio para criar características de face.
  • Auto-atenção de Face (Face Self-Attention): Uma camada de auto-atenção padrão processa o conjunto de características de face sem codificação posicional.
  • Restauração de Vértice: As características de face atendidas são adicionadas de volta às codificações originais dos vértices para preservar a equivariância de nível de vértice.
  • Rede Feed-Forward (FFN): Uma FFN de duas camadas processa cada característica de vértice de forma independente.
• Condicionamento de Face: Para lidar com resoluções de malha variáveis, a rede é explicitamente condicionada ao número alvo de faces via um embedding adicionado aos parâmetros da Adaptive LayerNorm (adaLN).

3. Objetivos de Treinamento Sensíveis à Simetria

O modelo utiliza Optimal Transport (OT) Flow Matching para definir um campo de velocidade reto entre o ruído e os dados.

• Acoplamento Aninhado (Nested Coupling): O flow matching padrão frequentemente usa acoplamento independente entre ruído e dados. O MeshFlow introduz uma estratégia de acoplamento aninhado que minimiza o custo de transporte ao encontrar a ação de grupo ótima $g \in G$ que alinha a amostra de ruído $x_0$ com o dado alvo $x_1$.
  • Isso envolve resolver um problema de atribuição linear (usando o algoritmo de Hungarian) para combinar faces ($S_N$) e, em seguida, encontrar a permutação de vértices ideal dentro de cada face combinada ($S_3$).
  • A função de custo é definida como $C(x_0, x_1) = \min_{g \in G} \|x_1 - g \cdot x_0\|^2$.
• Função de Perda (Loss Function): O modelo é treinado para prever o campo de velocidade constante $u_t = x_1 - \tilde{x}_0$, onde $\tilde{x}_0$ é a amostra de ruído após a aplicação da ação de grupo ótima. Isso elimina sinais de treinamento que violam as simetrias e resulta em caminhos de integração mais retos.

4. Pós-processamento

Como a saída contínua do modelo de flow matching pode conter aglomerados de vértices quase coincidentes, um pipeline de pós-processamento de dois estágios é aplicado:

1. Denoiser Neural: Uma rede leve treinada para remover ruído Gaussiano de malhas, aplicada à saída bruta para corrigir artefatos geométricos de baixo nível.
2. Agrupamento e Deduplicação: Vértices dentro de uma distância de limiar (0.015) são mesclados, e faces idênticas são removidas para produzir uma malha contínua (manifold) limpa.

Principais Contribuições

1. Novo Framework de Geração de Malhas: O primeiro método a aplicar equivariant optimal-transport flow matching diretamente em representações de sopa de triângulos, evitando a necessidade de representações intermediárias ou sequenciamento auto-regressivo.
2. Arquitetura Equivariant DiT: Uma modificação de rede escalável que respeita tanto as invariâncias de permutação de face quanto de vértice, permitindo a modelagem eficiente do campo de velocidade sem quebrar a simetria.
3. Perda de Transporte Ótimo Aninhada (Nested OT Loss): Um objetivo de treinamento que acopla ruído e dados via uma estratégia de permutação aninhada (faces e vértices), reduzindo significativamente os custos de OT e estabilizando o treinamento.
4. Eficiência e Qualidade: A abordagem alcança qualidade de malha estado-da-arte comparável aos modelos auto-regressivos, proporcionando um aumento substancial de velocidade.

Resultados

Experimentos foram conduzidos em quatro categorias do ShapeNet (Cadeira, Mesa, Banco, Lâmpada).

• Qualidade: O MeshFlow alcança pontuações de Acurácia do 1º Vizinho Mais Próximo (1-NNA) comparáveis ou superiores aos modelos auto-regressivos de estado da arte (MeshXL, MeshGPT, PolyGen). Por exemplo, na categoria Cadeira, o MeshFlow alcançou um 1-NNA de 54.51, superando o MeshXL (55.32) e superando significativamente os baselines de difusão como o PolyDiff (79.91).
• Qualidade Topológica: O método produz malhas com significativamente menos auto-interseções comparado a outras abordagens baseadas em difusão. O pós-processamento reduz ainda mais a taxa de auto-interseção ($R_i$) em aproximadamente 56%.
• Velocidade de Inferência: O MeshFlow gera malhas de alta qualidade em menos de um segundo (0.877s), representando um aumento de velocidade de 18.55× sobre os baselines auto-regressivos mais lentos (ex: MeshXL com 28.9s).
• Estudos de Ablação: Remover a arquitetura equivariante ou o acoplamento aninhado leva a um desempenho degradado e convergência mais lenta, confirmando a necessidade de ambos os componentes.

Significância

O artigo afirma que o MeshFlow demonstra o potencial do equivariant flow matching para superar as limitações tanto de pipelines de dois estágios quanto de modelos auto-regressivos. Ao modelar explicitamente as simetrias inerentes aos dados de malha, a abordagem alcança velocidades de inferência sub-segundo sem sacrificar a alta fidelidade e a qualidade de tesselação intencional necessária para aplicações de computação gráfica interativa. O trabalho sugere que respeitar as simetrias dos dados é um fator crítico para aplicar com sucesso métodos baseados em difusão em estruturas geométricas complexas.