Affine-Equivariant Kernel Space Encoding for NeRF Editing

기술 요약: NeRF 편집을 위한 아핀-동변성 커널 공간 인코딩 (EKS)

문제 정의

Neural Radiance Fields (NeRF)는 3D 장면을 연속 함수로 인코딩함으로써 고충실도 렌더링을 달성한다. 그러나 이들의 잠재 공간(latent space)은 일반적으로 암시적이고 전역적으로 얽혀 있어, 국소적인 편집과 물리적으로 근거한 조작을 어렵게 만든다. 기존의 솔루션들은 명시적인 제어 구조(예: 점 기반 조건화, 메쉬 기반 제어, 또는 프리미티브 기반 표현)를 도입하여 이를 완화하려 시도한다. 이러한 접근 방식은 일부 수동 편집을 가능하게 하지만, 제한된 국소성, 변형에 대한 민감도, 그리고 시각적 아티팩트 문제를 겪는 경우가 많다. 구체적으로, 점 기반 잠재 표현은 특징(features)을 이산적인 공간 위치에 저장한다. 따라서 이 점들이 변형될 때 국소적 이웃 관계가 일관되지 않게 변하며, 이는 불안정한 특징 보간과 시각적 구멍(holes) 또는 왜곡을 초래한다. 또한, 표준 위치 인코딩(예: 다중 해상도 해시 그리드)은 특징을 전역적으로 얽히게 만들어, 국소적인 수정이 의도치 않게 전파되도록 한다.

방법론: 아핀-동변성 커널 공간 인코딩 (EKS)

저자들은 이방성 가우시안 커널을 사용하여 장면 특징을 연속적인 커널 공간에 표현하는 공간 인코딩 메커니즘인 EKS를 제안한다.

1. 커널 공간 인코딩 (Kernel Space Encoding)
EKS는 이산적인 점이나 그리드 정점(vertex)에서 잠재 특징을 쿼리하는 대신, 학습 가능한 이방성 가우시안 커널의 장(field)을 통해 특징을 집계한다.

• 표현: 장면은 $\{N(\mu_i, \Sigma_i)\}$라는 가우시안 커널 집합으로 표현된다. 여기서 $\mu_i$는 평균이고 $\Sigma_i$는 전체 이방성 공분산이다. 각 커널은 학습 가능한 잠재 특징 벡터 $v_i$와 연관된다.
• 보간: 쿼리 지점 $x$에 대해, 특징은 마할라노비스 거리(Mahalanobis-distance) 기반 가중치 방식을 사용하여 $k$개의 최근 이웃으로부터 보간된다. 가중치 $w_i$는 다음과 같이 계산된다:
  $$w_i(x, G) = \exp\left(-\frac{1}{2}(x - \mu_i)^\top \Sigma_i^{-1} (x - \mu_i)\right)$$
  이 공식은 보간이 국소 기하 구조를 존중하고 공간 변환 하에서도 안정적으로 유지되도록 보장한다(아핀 동변성). 이는 유클리드 거리 기반의 KNN이 변형 하에서 실패하는 것과 대조적이다.

2. 레이 트레이싱 기반 가우시안 근접 탐색 (RT-GPS)
마할라노비스 메트릭 하에서 가장 가까운 이웃을 효율적으로 찾기 위해, 저자들은 RT-GPS를 도입한다.

• 탐색은 쿼리 지점을 포함하는 신뢰 타원체(confidence ellipsoids, 분위수 파라미터로 정의됨) 내에 있는 가우시안들로 제한된다.
• 이는 쿼리 지점에서 레이를 추적하고, 타원을 나타내는 외접된 늘어난 이코사헤드라(stretched icosahedra)와의 교차를 확인함으로써 근사화된다.
• 정렬된 히트 버퍼(hit buffer)는 제곱 마할라노비스 거리에 따라 상위 $k$개의 후보를 유지한다.

3. 해시 그리드 특징 증류 (Hash Grid Feature Distillation)
추론 시 그리드 없는 표현을 달성하면서도 다중 해상도 해시 그리드의 고주파 세부 사항을 유지하기 위해, EKS는 훈련 단계에서의 특징 증류 메커니즘을 사용한다.

• 훈련 중에 해시 그리드 파라미터와 가우시안 위치가 공동으로 최적화된다.
• 가우시안 특징은 커널 중심에서의 해시 그리드 인코딩으로부터 샘플링된다.
• 추론 시에는 해시 그리드가 폐기된다. 가우시안은 학습된 특징 벡터를 유지하며, 이 벡터들은 고정된다. 이를 통해 네트워크를 재학습하지 않고도 가우시안의 위치, 회전, 스케일을 직접 조작할 수 있다.

4. 시점 방향 복원 (View-Direction Restoration)
변형 후의 시점 의존적 효과를 처리하기 위해, 이 방법은 가우시안 커널의 주축(principal axes)을 로컬 좌표계로 활용한다. 카브슈 알고리즘(Kabash algorithm)을 사용하여, 시스템은 변형이 일어나지 않은 것처럼 시점 의존적 특징을 복원하기 위해 이러한 축들의 공간적 변환을 추적하며, 이 과정에서 표현 크기를 크게 늘리지 않는다.

5. 편집 및 가지치기 (Editing and Pruning)

• 편집: 가우시안은 표준 메쉬 변형 도구나 물리 엔진을 통한 조작을 위해 사면체(tetrahedra, 여기서 직교하는 팔은 주축에 대응함)로 내보낼 수 있다. 수정된 가우시안은 커널 공간 인코딩을 위한 파라미터로 다시 변환된다.
• 가지치기/밀집화: 방법론은 가우시안의 수를 조절하기 위한 전략을 채택한다. 새로운 가우시안은 잠재 장(latent field)과의 정렬을 보장하기 위해 (셰이딩 정보가 아닌) 해시 그리드 인코딩으로부터 샘플링되어 초기화된다. 사용되지 않는 가우시안은 RT-GPS에서의 선택 빈도에 따라 가지치기된다.

주요 기여

1. 아핀-동변성 인코딩: 공간 변환 하에서 안정적인 특징 구조를 유지하기 위해 이방성 가우시안 커널과 마할라노비스 거리 보간을 사용하는 새로운 위치 인코딩을 제공하여, 점 기반 방식의 불안정성 문제를 해결한다.
2. 그리드 프리 추론: 다중 해상도 디테일을 컴팩트하고 완전한 그리드 프리 커널 표현으로 전달하는 특징 증류 메커니즘을 통해, 추론 중 해시 그리드 조회에 따른 계산 오버헤드 없이 고충실도 렌더링을 가능하게 한다.
3. 직접 편집 가능성: 가우시안 커널 파라미터를 통해 신경망을 재학습하지 않고도 직관적이고 국소적인 장면 편집 및 물리 기반 조작(강체, 연성체, 천)을 직접 수행할 수 있는 프레임워크를 제공한다.
4. RT-GPS: 레이 트레이싱과 타원체 교차 테스트를 사용하여 이방성 커널 공간에서 효율적인 최근접 이웃 탐색을 수행하는 알고리즘을 제공한다.

결과

저자들은 NeRF-Synthetic, Mip-NeRF 360, 그리고 커스텀 변형 에셋에 대해 EKS를 평가하였다.

• 정적 재구성: EKS는 비편집 방식(예: Instant-NGP)과 유사한 수준의 재구성 품질(PSNR)을 달성하였으며, 다른 편집 가능한 방식들과 경쟁력 있는 성능을 보였다.
• 편집 성능: 편집된 장면에 대한 벤치마크에서, EKS는 PSNR, SSIM, LPIPS 지표에서 기존의 최첨단 방식들(Point-NeRF, NeuralEditor, GaMeS 포함)보다 우수한 성능을 보였다.
• 정성적 분석: EKS는 입자감(granularity)이나 구멍이 생기는 현상을 보이는 점 기반 방식들에 비해 더 매끄러운 표면을 생성하고 미세한 디테일을 더 잘 보존한다. 또한 프리미티브가 과도하게 확장되는 가우시안 스플래팅(Gaussian Splatting) 기반 방식에서 나타나는 "블리딩(bleeding)" 아티팩트를 방지한다.
• 물리 시뮬레이션: 이 방법은 물리 엔진과 성공적으로 통합되어 떨어지는 잎사귀, 연성체 변형(Lego dozer를 찌그러뜨리는 동작), 천 시뮬레이션을 수행하며, 역동적인 상호작용 중에도 높은 렌더링 충실도를 유지한다.
• 어블레이션 연구 (Ablation Study): 시점 방향 복원을 제거했을 때 편집된 장면에서 가장 큰 성능 저하가 발생했다. 유클리드 KNN 대신 RT-GPS를 사용하면 점 기반 베이스라인과 유사한 아티팩트가 다시 나타난다. 특징 증류를 제거하면 눈에 보이는 구멍과 떠 있는 구조물이 나타나지만, 아티팩트의 희소성 때문에 정량적인 PSNR 영향은 제한적이다.

의의

본 논문은 EKS가 물리적으로 상호작용 가능하고 편집 가능한 신경 장면 표현을 위한 유망한 토대를 제공한다고 주장한다. 격 구조(grid structures)와 점 기반 이산화로부터 잠재 공간을 분리함으로써, EKS는 변형 인식 인코딩(transformation-aware encoding)의 근본적인 한계를 해결한다. 이 방법은 현대적인 NeRF의 높은 재구성 품질을 유지하면서도 안정적이고 국소적이며 변형을 고려한 편집을 가능하게 하여, 높은 충실도와 직관적인 조작이 모두 필요한 로보틱스, 가상 환경, 콘텐츠 제작 분야의 응용을 용이하게 한다.