Resumo Técnico: NeuMesh++

Definição do Problema

Embora as técnicas de renderização neural implícita (ex: NeRF) tenham alcançado um sucesso significativo na síntese de novos olhares e reconstrução de cenas 3D devido à sua alta qualidade de renderização, elas falham nos fluxos de trabalho de modelagem e edição 3D. Os métodos existentes de renderização neural para edição são limitados a transformações rígidas ou operações específicas de categoria. Eles carecem da precisão e flexibilidade exigidas pelos artistas, que preferem fluxos de trabalho baseados em malhas (ex: no Blender ou Maya) que permitem deformação geométrica não rígida, edição de textura granular (troca, preenchimento, pintura) e manipulação semântica. Além disso, os métodos existentes frequentemente exigem anotações manuais extensas para edição detalhada e lutam com a distinguibilidade espacial local (ex: distinguir pontos dentro vs. fora de uma face de malha) ao usar simples interpolação em vértices de malha.

Metodologia

Os autores propõem o NeuMesh++, uma nova representação de radiância neural baseada em malha que codifica o campo de radiância implícito neural sobre um andaime (scaffold) de malha. Esta abordagem preenche a lacuna entre a renderização neural volumétrica e a modelagem tradicional baseada em malhas.

Representação Central

A cena é decomposta em um conjunto de campos de radiância locais, delimitados por vértices. Cada vértice $v$ no andaime da malha armazena quatro parâmetros aprendíveis distintos:

1. Código de Geometria ($l_g$): Codifica a geometria local.
2. Código de Textura ($l_t$): Codifica a aparência local.
3. Código Semântico ($l_s$): Codifica atributos semânticos.
4. Cor de Modificação ($c_m$): Um atributo de cor independente de visão e livre de decodificador para aumentar a fidelidade da edição de textura.

Pipeline de Renderização

Para um ponto de consulta $x$ ao longo de um raio de câmera:

1. Parametrização de Espaço Local: O sistema identifica $K$ vértices de malha mais próximos. Em vez de usar coordenadas globais, ele projeta $x$ na normal de cada vizinho para calcular um indicador local $h_k = (p_k, w_k)$, onde $p_k$ é a distância de projeção e $w_k$ é a distância inversa normalizada. Isso aborda o problema da distinguibilidade espacial (dentro/fora da superfície) sem exigir campos de distância assinados (SDF).
2. Decodificação: Os decodificadores de geometria e radiância ($F_G, F_R$) recebem os códigos locais e indicadores como entrada para prever a densidade $\sigma_k$ e a cor $c_k$ para cada vizinho. A cor final inclui a cor de modificação: $c_k = F_R(l_t^k, h_k, d, n_k) + c_m^k$.
3. Pós-Interpolação: Uma estratégia de interpolação espacial funde as contribuições dos vértices vizinhos para obter a densidade $\sigma$ e a cor $c$ finais no ponto $x$. Isso cria um "campo de radiância local" ao redor de cada vértice, agnóstico à topologia da malha (incluindo malhas não estanques/sem fechamento).

Capacidades de Edição

A natureza desmembrada da representação permite diversas funcionalidades de edição:

• Edição de Geometria Guiada por Malha: Como o campo de radiância está alinhado à malha, deformar os vértices da malha (ex: via ARAP ou simulação física) deforma diretamente o objeto renderizado sem necessidade de retreinamento.
• Troca de Textura (Texture Swapping): Ao alinhar malhas de origem e destino (usando Umeyama e ARAP), os códigos de textura e as cores de modificação são transferidos entre vértices com base na proximidade euclidiana.
• Preenchimento de Textura (Texture Filling): Utiliza uma abordagem baseada em blocos (tiles) no espaço UV para repetir texturas de modelos pré-capturados em uma região alvo.
• Pintura de Textura (Texture Painting): Usuários pintam em uma visualização 2D. Uma estratégia de otimização consciente do espaço identifica as cores de modificação afetadas via raios de sondagem e ajusta finamente apenas essas cores específicas, evitando o sobreajuste (overfitting) a uma única visão e preservando efeitos dependentes da visão.
• Edição Guiada por Semântica: Códigos semânticos são destilados de segmentação de vocabulário aberto 2D (ex: DINO, SAM). Um mecanismo de propagação transfere o clique do usuário de 2D para uma máscara semântica 3D, permitindo seleção de região e edição com um único clique.

Principais Contribuições

1. Nova Representação Baseada em Malha: Um campo de radiância neural codificado em vértices de malha com códigos desmembrados de geometria, textura e semântica, permitindo a integração perfeita com fluxos de trabalho baseados em malhas.
2. Melhorias Técnicas para Estabilidade e Fidelidade:
   • Parametrização de Espaço Local: Um novo método usando indicadores locais e pós-interpolação para estabilizar o treinamento sem um modelo professor pré-treinado e melhorar a distinguibilidade espacial.
   • Cor de Modificação Aprendível: Um parâmetro de cor independente de visão em cada vértice que melhora a fidelidade da edição de textura, particularmente para cores fora do espectro aprendido pelo decodificador.
   • Otimização Consciente do Espaço: Uma estratégia para pintura de textura que ajusta finamente seletivamente as cores de modificação para manter a consistência entre visões.
3. Propagação Semântica: Um mecanismo para agregar priors semânticos 2D em códigos de vértices 3D, permitindo a seleção de regiões sem esforço via interação de clique único.
4. Eficiência: O método alcança renderização em tempo real (aprox. 15 fps) e edição rápida (segundos para operações de geometria/textura) usando códigos latentes compactos e amostragem guiada por ocupação.

Resultados

Experimentos extensos foram conduzidos em conjuntos de dados do mundo real (DTU) e sintéticos (NeRF 360°).

• Qualidade de Renderização: O NeuMesh++ supera outros métodos de renderização neural editável (NeuTex, NeuManifold, BakedSDF, NeuMesh) em PSNR, SSIM e LPIPS. Ele alcança qualidade comparável a métodos de estado da arte não editáveis como Neuralangelo e DVGO, enquanto oferece capacidades de edição superiores.
• Desempenho de Edição:
  • Geometria: Demonstrou deformação não rígida bem-sucedida e simulação física (ex: cadeiras saltitantes, plantas balançando) sem ajuste fino.
  • Textura: Mostrou preservação de detalhes superior em troca e preenchimento de textura comparado ao NeuMesh, que frequentemente produzia resultados borrados ou distorcidos. A cor de modificação permitiu a pintura de alta fidelidade de novas cores (ex: verdes insaturados) que os decodificadores padrão não conseguiam gerar.
  • Semântica: Permitiu com sucesso a seleção e edição de regiões 3D via cliques 2D únicos.
• Eficiência: O método renderiza imagens de 800x800 a 15 fps, significativamente mais rápido que o Neuralangelo (28s) e o NeuMesh (~99s). As operações de edição (deformação de geometria, troca/preenchimento de textura, pintura) levam aproximadamente 1-2 segundos.

Significância

O artigo afirma que o NeuMesh++ consegue quebrar a barreira entre a renderização neural volumétrica e a modelagem 3D tradicional baseada em malhas. Ao codificar campos neurais em um andaime de malha com códigos desmembrados, ele entrega um conjunto versátil de funcionalidades de edição (deformação de geometria, troca/preenchimento de textura, pintura e edição semântica) que são tanto eficientes quanto de alta fidelidade. O método elimina a necessidade de anotações manuais extensas para edição semântica e evita os problemas de convergência subótimos de campos implícitos de malha anteriores ao remover a dependência de modelos professores pré-treinados. Os autores enfatizam que esta abordagem fornece um fluxo de trabalho prático e amigável para artistas ao editar cenas implícitas neurais.