Affine-Equivariant Kernel Space Encoding for NeRF Editing

Resumo Técnico: Codificação de Espaço de Kernel com Equivariância Afim para Edição de NeRF

Declaração do Problema

Os Campos de Radiância Neural (NeRFs) alcançam renderização de alta fidelidade ao codificar cenas 3D como funções contínuas. No entanto, seus espaços latentes são tipicamente implícitos e globalmente emaranhados, o que torna difícil a edição localizada e a manipulação fundamentada fisicamente. Soluções existentes tentam mitigar isso introduzindo estruturas de controle explícitas (por exemplo, condicionamento baseado em pontos, controle baseado em malhas ou representações baseadas em primitivas). Embora essas abordagens permitam alguma edição manual, elas frequentemente sofrem de limitação de localidade, sensibilidade a deformações e artefatos visuais. Especificamente, as representações latentes baseadas em pontos armazenam características em localizações espaciais discretas; quando esses pontos se deformam, a vizinhança local muda de forma inconsistente, levando a interpolações de características instáveis, buracos visuais ou distorções. Além disso, as codificações posicionais padrão (como grades de hash de múltiplas resoluções) emaranham características globalmente, fazendo com que modificações localizadas se propaguem de forma indesejada.

Metodologia: Codificação de Espaço de Kernel com Equivariância Afim (EKS)

Os autores propõem o EKS, um mecanismo de codificação espacial que representa características da cena em um espaço de kernel contínuo usando kernels Gaussianos anisotrópicos.

1. Codificação de Espaço de Kernel
Em vez de consultar características latentes em pontos discretos ou vértices de grade, o EKS agrega características através de um campo de kernels Gaussianos anisotrópicos aprendíveis. Cada kernel define uma região de influência localizada.

• Representação: A cena é representada por um conjunto de kernels Gaussianos $\{N(\mu_i, \Sigma_i)\}$, onde $\mu_i$ é a média e $\Sigma_i$ é a covariância anisotrópica completa. Cada kernel está associado a um vetor de característica latente treinável $v_i$.
• Interpolação: Para um ponto de consulta $x$, as características são interpoladas a partir dos $k$ vizinhos mais próximos usando um esquema de ponderação baseado na distância de Mahalanobis. O peso $w_i$ é calculado como:
  $$w_i(x, G) = \exp\left(-\frac{1}{2}(x - \mu_i)^\top \Sigma_i^{-1} (x - \mu_i)\right)$$
  Esta formulação garante que a interpolação respeite a geometria local e permaneça estável sob transformações espaciais (equivariância afim), ao contrário do KNN baseado em distância Euclidiana, que falha sob deformação.

2. Busca de Proximidade de Gaussian por Traçado de Raios (RT-GPS)
Para encontrar eficientamente os vizinhos mais próximos sob a métrica de Mahalanobis, os autores introduzem o RT-GPS.

• A busca é restrita a Gaussianas cujos elipsoides de confiança (definidos por um parâmetro de quantil) contêm o ponto de consulta.
• Isso é aproximado traçando raios a partir do ponto de consulta e verificando interseções com icosaedros esticados circunscritos que representam os elipsoides.
• Um buffer ordenado mantém os $k$ principais candidatos baseados na distância de Mahalanobis ao quadrado.

3. Destilação de Características de Grade de Hash
Para reter o detalhe de alta frequência das grades de hash de múltiplas resoluções enquanto alcança uma representação livre de grade durante a inferência, o EKS emprega um mecanismo de destilação de características durante o treinamento.

• Durante o treinamento, tanto os parâmetros da grade de hash quanto as posições das Gaussianas são otimizados conjuntamente.
• As características das Gaussianas são amostradas da codificação da grade de hash nos centros dos kernels.
• Na inferência, a grade de hash é descartada. As Gaussianas retêm seus vetores de características aprendidos, que são fixos. Isso permite a manipulação direta das posições, rotações e escalas das Gaussianas sem o retreinamento da rede.

4. Restauração de Direção de Visão
Para lidar com efeitos dependentes da visão após a deformação, o método aproveita os eixos principais dos kernels Gaussianos como sistemas de coordenadas locais. Usando o algoritmo de Kabsch, o sistema rastreia as transformações espaciais desses eixos para restaurar as características dependentes da visão como se nenhuma deformação tivesse ocorrido, sem aumentar significativamente o tamanho da representação.

5. Edição e Poda

• Edição: As Gaussianas podem ser exportadas como tetraedros (onde braços ortogonais correspondem aos eixos principais) para manipulação via ferramentas padrão de deformação de malha ou motores de física. As Gaussianas modificadas são convertidas de volta para parâmetros para a codificação de espaço de kernel.
• Poda/Densificação: O método adota estratégias para regular o número de Gaussianas. Novas Gaussianas são inicializadas amostrando da codificação da grade de hash (em vez de informações de sombreamento) para garantir o alinhamento com o campo latente. Gaussianas não utilizadas são podadas com base em sua frequência de seleção no RT-GPS.

Principais Contribuições

1. Codificação com Equivariância Afim: Uma nova codificação posicional que utiliza kernels Gaussianos anisotrópicos e interpolação de distância de Mahalanobis para manter estruturas de características estáveis sob transformações espaciais, abordando a instabilidade dos métodos baseados em pontos.
2. Inferência Livre de Grade: Um mecanismo de destilação de características que transfere detalhes de múltiplas resoluções de grades de hash para uma representação de kernel compacta e totalmente livre de grade, permitindo renderização de alta fidelidade sem o overhead computacional de buscas em grade durante a inferência.
3. Editabilidade Direta: Um framework que permite a edição de cena intuitiva e localizada, bem como manipulação baseada em física (corpo rígido, corpo mole, tecido) diretamente através dos parâmetros do kernel Gaussiano sem retreinar a rede neural.
4. RT-GPS: Um algoritmo eficiente de busca de vizinho mais próximo em espaço de kernel anisotrópico usando traçado de raios e testes de interseção de elipsoide.

Resultados

Os autores avaliam o EKS nos datasets NeRF-Synthetic, Mip-NeRF 360 e ativos deformáveis customizados.

• Reconstrução Estática: O EKS atinge qualidade de reconstrução (PSNR) comparável a métodos não editáveis de última geração (ex: Instant-NGP) e competitiva com outros métodos editáveis.
• Desempenho de Edição: Em um benchmark de cenas editadas, o EKS supera os métodos anteriores de última geração (incluindo Point-NeRF, NeuralEditor e GaMeS) em métricas de PSNR, SSIM e LPIPS.
• Análise Qualitativa: O EKS produz superfícies mais suaves e preserva melhor os detalhes finos do que os métodos baseados em pontos, que frequentemente exibem granularidade e buracos. Ele evita os artefatos de "sangramento" vistos em métodos baseados em Gaussian Splatting, onde as primitivas tornam-se excessivamente escalonadas.
• Simulações de Física: O método integra-se com sucesso a motores de física para simular folhas caindo, deformação de corpo mole (esmagar um trator de Lego) e simulação de tecido, mantendo alta fidelidade de renderização durante interações dinâmicas.
• Estudo de Ablação: Remover a restauração de direção de visão causa a maior queda de desempenho em cenas editadas. Usar KNN Euclidiano em vez de RT-GPS reintroduz artefatos similares aos baselines baseados em pontos. Remover a destilação de características leva a buracos visíveis e estruturas flutuantes, embora o impacto quantitativo no PSNR seja limitado devido à esparsidade desses artefatos.

Significância

O artigo afirma que o EKS fornece uma base promissora para representações de cenas neurais fisicamente interativas e editáveis. Ao desacoplar o espaço latente de estruturas de grade rígidas e da discretização baseada em pontos, o EKS aborda a limitação fundamental da codificação consciente de transformação nos NeRFs. O método permite a edição localizada e estável, bem como a manipulação consciente de deformação, mantendo a alta qualidade de reconstrução dos NeRFs modernos, facilitando aplicações em robótica, ambientes virtuais e criação de conteúdo que exigem tanto alta fidelidade quanto manipulação intuitiva.