Affine-Equivariant Kernel Space Encoding for NeRF Editing

Resumen Técnico: Codificación de Espacio de Kernel Afín-Equivariante para la Edición de NeRF

Planteamiento del Problema

Los Campos de Radiancia Neuronal (NeRF) logran una renderización de alta fidelidad codificando escenas 3D como funciones continuas. Sin embargo, sus espacios latentes son típicamente implícitos y globalmente entrelazados, lo que dificulta la edición localizada y la manipulación con base física. Las soluciones existentes intentan mitigar esto introduciendo estructuras de control explícitas (por ejemplo, condicionamiento basado en puntos, control basado en mallas o representaciones basadas en primitivas). Aunque estos enfoques permiten cierta edición manual, suelen sufrir de una capacidad de localización limitada, sensibilidad a las deformaciones y artefactos visuales. Específicamente, las representaciones latentes basadas en puntos almacenan características en ubicaciones espaciales discretas; cuando estos puntos se deforman, el vecindario local cambia de manera inconsistente, lo que provoca una interpolación de características inestable y huecos o distorsiones visuales. Además, las codificaciones posicionales estándar (como las rejillas de hash multiresolución) entrelazan las características de forma global, causando que las modificaciones localizadas se propaguen de manera indeseada.

Metodología: Codificación de Espacio de Kernel Afín-Equivariante (EKS)

Los autores proponen EKS, un mecanismo de codificación espacial que representa las características de la escena en un espacio de kernel continuo utilizando kernels gaussianos anisotrópicos.

1. Codificación de Espacio de Kernel
En lugar de consultar características latentes en puntos discretos o vértices de rejilla, EKS agrega características a través de un campo de kernels gaussianos anisotrópicos aprendibles. Cada kernel define una región de influencia localizada.

• Representación: La escena está representada por un conjunto de kernels gaussianos $\{N(\mu_i, \Sigma_i)\}$, donde $\mu_i$ es la media y $\Sigma_i$ es la covarianza anisotrópica completa. Cada kernel está asociado con un vector de característica latente entrenable $v_i$.
• Interpolación: Para un punto de consulta $x$, las características se interpolan de los $k$ vecinos más cercanos utilizando un esquema de ponderación basado en la distancia de Mahalanobis. El peso $w_i$ se calcula como:
  $$w_i(x, G) = \exp\left(-\frac{1}{2}(x - \mu_i)^\top \Sigma_i^{-1} (x - \mu_i)\right)$$
  Esta formulación asegura que la interpolación respete la geometría local y permanezca estable bajo transformaciones espaciales (afín-equivarianza), a diferencia del KNN basado en distancia euclidiana, que falla bajo deformación.

2. Búsqueda de Proximidad de Trazado de Rayos de Gaussianos (RT-GPS)
Para encontrar eficientemente los vecinos más cercanos bajo la métrica de Mahalanobis, los autores introducen RT-GPS.

• La búsqueda se restringe a los gaussianos cuyos elipsoides de confianza (definidos por un parámetro de cuantiles) contienen el punto de consulta.
• Esto se aproxima trazando rayos desde el punto de consulta y verificando las intersecciones con icosaedros estirados circunscritos que representan los elipsoides.
• Un búfer ordenado mantiene los $k$ candidatos principales basados en la distancia de Mahalanobis al cuadrado.

3. Destilación de Características de Rejilla de Hash
Para retener el detalle de alta frecuencia de las rejillas de hash multiresolución mientras se logra una representación libre de rejilla durante la inferencia, EKS emplea un mecanismo de destilación de características durante el entrenamiento.

• Durante el entrenamiento, tanto los parámetros de la rejilla de hash como las posiciones de los gaussianos se optimizan conjuntamente.
• Las características de los gaussianos se muestrean de la codificación de la rejilla de hash en los centros de los kernels.
• Durante la inferencia, la rejilla de hash se descarta. Los gaussianos retienen sus vectores de características aprendidos, los cuales son fijos. Esto permite la manipulación directa de las posiciones, rotaciones y escalas de los gaussianos sin necesidad de reentrenar la red.

4. Restauración de la Dirección de Visión
Para manejar los efectos dependientes de la vista tras una deformación, el método aprovecha los ejes principales de los kernels gaussianos como sistemas de coordenadas locales. Utilizando el algoritmo de Kabsch, el sistema rastrea las transformaciones espaciales de estos ejes para restaurar las características dependientes de la vista como si no hubiera ocurrido ninguna deformación, sin aumentar significativamente el tamaño de la representación.

5. Edición y Poda

• Edición: Los gaussianos pueden exportarse como tetraedros (donde los brazos ortogonales corresponden a los ejes principales) para la manipulación mediante herramientas de deformación de malla estándar o motores de física. Los gaussianos modificados se convierten de nuevo a parámetros para la codificación del espacio de kernel.
• Poda/Densificación: El método adopta estrategias para regular el número de gaussianos. Los nuevos gaussianos se inicializan mediante el muestreo de la codificación de la rejilla de hash (en lugar de la información de sombreado) para asegurar la alineación con el campo latente. Los gaussianos no utilizados se podan basándose en su frecuencia de selección en RT-GPS.

Contribuciones Clave

1. Codificación Afín-Equivariante: Una novedosa codificación posicional que utiliza kernels gaussianos anisotrópicos e interpolación de distancia de Mahalanobis para mantener estructuras de características estables bajo transformaciones espaciales, abordando la inestabilidad de los métodos basados en puntos.
2. Inferencia Libre de Rejilla: Un mecanismo de destilación de características que transfiere detalles multiresolución de las rejillas de hash hacia una representación de kernel compacta y totalmente libre de rejilla, permitiendo una renderización de alta fidelidad sin la sobrecarga computacional de las búsquedas en rejilla durante la inferencia.
3. Editabilidad Directa: Un marco que permite la edición de escenas localizada e intuitiva, así como la manipulación basada en física (cuerpo rígido, cuerpo blando, tela) directamente a través de los parámetros del kernel gaussiano sin reentrenar la red neuronal.
4. RT-GPS: Un algoritmo eficiente de búsqueda de vecinos más cercanos en el espacio de kernel anisotrópico utilizando trazado de rayos y pruebas de intersección de elipsoides.

Resultados

Los autores evalúan EKS en el conjunto de datos NeRF-Synthetic, Mip-NeRF 360 y activos deformables personalizados.

• Reconstrucción Estática: EKS logra una calidad de reconstrucción (PSNR) comparable a los métodos no editables de última generación (por ejemplo, Instant-NGP) y competitiva con otros métodos editables.
• Desempeño de Edición: En un benchmark de escenas editadas, EKS supera a los métodos previos de última generación (incluyendo Point-NeRF, NeuralEditor y GaMeS) en las métricas PSNR, SSIM y LPIPS.
• Análisis Cualitativo: EKS produce superficies más suaves y preserva mejor los detalles finos que los métodos basados en puntos, que a menudo exhiben granularidad y huecos. Evita los artefactos de "sangrado" vistos en los métodos basados en Gaussian Splatting donde las primitivas se escalan excesivamente.
• Simulaciones de Física: El método se integra con éxito con motores de física para simular hojas cayendo, deformación de cuerpo blando (aplastar un dozer de Lego) y simulación de tela, manteniendo una alta fidelidad de renderizado durante las interacciones dinámicas.
• Estudio de Ablación: Eliminar la restauración de la dirección de visión causa la mayor caída en el desempeño en escenas editadas. El uso de KNN Euclídeo en lugar de RT-GPS reintroduce artefactos similares a los de las líneas base basadas en puntos. Eliminar la destilación de características conduce a huecos visibles y estructuras flotantes, aunque el impacto cuantitativo en PSNR es limitado debido a la escasez de estos artefactos.

Significancia

El artículo afirma que EKS proporciona una base prometedora para representaciones de escenas neuronales físicamente interactivas y editables. Al desacoplar el espacio latente de las estructuras de rejilla rígidas y la discretización basada en puntos, EKS aborda la limitación fundamental de la codificación consciente de las transformaciones en los NeRF. El método permite una edición estable, localizada y consciente de la deformación, manteniendo la alta calidad de reconstrucción de los NeRF modernos, facilitando aplicaciones en robótica, entornos virtuales y creación de contenido que requieren tanto alta fidelidad como manipulación intuitiva.