기술 요약: Floating Radiance Networks (FlaRe)

문제 정의

최근 신경 장면 표현(neural scene representations)의 발전은 사실적인 신규 시점 합성(novel-view synthesis)을 달성했으나, 연속적인 신경장(continuous neural fields)의 표현력과 명시적 기하 구조(explicit geometry)의 효율성, 주소 지정 가능성(addressability) 및 그래픽 호환성 사이에는 지속적인 트레이드오프가 존재한다.

• **신경 복사 휘도장 (NeRFs)**는 장면을 연속적인 볼륨 함수로 모델링하여 높은 시각적 충실도를 달 achieves하지만, 비용이 많이 드는 밀집 레이 마칭(dense ray marching)과 기존 그래픽 파이프라인과의 통합이 어렵다는 단점이 있다.
• **3D 가우시안 스플래팅 (3DGS)**은 명시적인 비등방성 프리미티브(anisotropic primitives)와 래스터화를 통해 실시간 렌더링을 가능하게 한다. 그러나 유한한 프리미티브당 외관 계수는 각 프리미티브의 영역에 대해 연속적인 공간 복사 휘도 함수를 정의하지 못하므로, 특수한 확장이 없이는 반사나 굴절과 같은 복잡한 시점 의존적 효과를 모델링하는 데 한계가 있다.
• 기존 하이브리드 방법들은 신경 특징(neural features)과 명시적 구조를 결합하는 경우가 많지만, 특정 렌더링 절차에 묶여 있거나, 장면 요소 전반에 걸쳐 특징을 집계하거나, 편집, 레이 트레이싱 또는 기하 추출을 위해 작업별 확장이 필요하다.

핵심 과제는 국부적으로 연속적인 복사 휘도(radiance)와 독립적으로 주소 지정 및 레이 트레이싱이 가능한 기하 구조를 결합하여, 신경 렌더링과 전통적인 그래픽 사이를 잇는 통합된 장면 모델을 만드는 것이다.

방법론: Floating Radiance Networks (FlaRe)

FlaRe는 각 프리미티브가 압축된 로컬 신경 복사 휘도 함수를 보유하는 **플로팅 평면 일반화 가우시안 프리미티브(floating planar generalized Gaussian primitives)**로 구축된 신경 장면 표현을 도입한다.

1. 장면 표현

장면은 $N$개의 비등방성 평면 일반화 가우시안 프리미티브 세트로 표현된다. 각 프리미티브 $i$는 다음과 같이 매개변수화된다:

• 기하학적 속성: 학습 가능한 중심 $\mu_i$, 회전 쿼터니언 $q_i$와 스케일 $s_i$로부터 유도된 특이 공분산 행렬 $\Sigma_i$, 그리고 형상 파라미터 $\kappa_i$.
• 외관 속성: 시점 독립적인 상수 색상 $c_{const,i}$, 상수 불투명도 $\alpha_{const,i}$, 그리고 학습 가능한 잠재 디스크립터(latent descriptor) $z_i \in \mathbb{R}^{96}$.
• 커널: 불투명도는 **등방성 평면 일반화 가우시안 커널(Isotropic Planar Generalized Gaussian Kernel)**에 의해 조절된다:
  $$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$$
  이 공식은 고전적인 가우시안 커널에 비해 더 날카로운 경계와 높은 곡률의 표면을 허용한다. 결정적으로, 정규화된 좌표에서의 등방성 커널 특성은 형상 파라미터 $\kappa$에 관계없이 모든 프리미티브에 대해 **단일 정형 다각형(canonical polygon)**을 사용할 수 있게 하여, 하드웨어 가속 교차 테스트를 단순화한다.

2. 공유 글로벌 오토 디코더 (Shared Global Auto-Decoder)

정적인 프리미티브당 색상을 저장하는 방식과 달리, FlaRe는 공유되는 경량 오토 디코더 MLP를 사용하여 공간적으로 변화하고 시점에 의존적인 색상 및 불투명도를 예측한다.

• 입력: 디코더는 프리미티브당 잠재 디스크립터 $z_i$, 로컬 표면 좌표 $(u, v)$, 그리고 시선 방향 $\vec{d}$를 입력으로 받는다.
• 인코딩:
  • LUT-인코딩: 로컬 좌표 $(u, v)$는 충돌 없는 다중 해상도 룩업 테이블(LUT) 인코딩을 사용하여 매핑된다. 이는 고차원 해시 그리드 조회를 대체하여, 해시 기반 인코딩과 기능적으로는 동일하면서도 오버헤드를 줄이는 일대일 매핑을 제공한다.
  • 위치 인코딩 (Positional Encoding): 시선 방향은 표준 위치 인코딩을 통해 인코딩된다.
• 출력: 네트워크는 $c_{MLP,i}$ (색상)와 $\alpha_{MLP,i}$ (불투명도)를 예측한다.
• 아키텍처: 두 개의 은닉층(Hardswish 활성화 함수 사용)과 4개의 채널(3개의 ReLU, 1개의 Sigmoid)로 분기되는 출력층을 가진 경량 네트워크이다.

3. 렌더링 및 레이 트레이싱

FlaRe는 하드웨어 가속 레이 트레이싱을 위해 설계되었다:

• 교차 (Intersection): 광선(Ray)은 표준 GPU 레이-삼각형 교차 테스트를 사용하여 프리미티브의 정형 다각형 프록시와 교차한다.
• 합성 (Compositing): 각 광선에 대해, 순서대로 정렬된 교차점들이 수집된다. 최종 픽셀 색상은 다음과 같이 알파 합성(alpha compositing)을 통해 계산된다:
  $$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$$
  여기서 유효 불투명도 $\alpha_i$는 일반화 가우시안 커널 값에 의해 조절된다.
• 재귀적 역량: 이 표현 방식은 명시적으로 레이 트레이싱이 가능하므로, 재학습이나 장면 형식 변환 없이도 반사, 굴절, 투명도 및 그림자를 위한 2차 광선을 네이티브하게 지원한다.

4. 편집 및 조작

• 기하 편집: 프리미로는 개별적으로 주소 지정이 가능하다. 프록시 메쉬를 변형함으로써 직접적인 기하학적 조작이 가능하다. 시스템은 재학습 없이 변형된 기하 구조로부터 업데이트된 가우시안 파라미터(중심, 회전, 스케일)를 복구한다.
• 메쉬 추출: 명시적인 평면 구조는 깊이 왜곡(depth-distortion) 및 법선 일관성(normal-consistency) 정규화를 보조로 하는 TSDF(Truncated Signed Distance Field) 융합을 통한 메쉬 추출을 지원한다.
• 스타일화: 외관 편집은 학습된 디스크립터 공간($z_i$)에서 직접 수행되어, 장면 구조를 보존하면서 이미지 가이드 스타일 전이를 가능하게 한다.

주요 기여

1. 통합된 표현: 명시적인 레이 트레이싱 가능 평면 프리미티브와 연속적인 로컬 신경 복사 휘도를 결합한 Floating Radiance Networks를 도입하였다.
2. 압축된 공식: 프리미티브당 잠재 디스크립터, 공유 오토 디코더, 충돌 없는 다중 해상도 LUT 인코딩, 하드웨어 호환 메쉬 프록시를 통합한 설계를 제시하였다.
3. 다재다능한 역량: 단일 표현 내에서 재귀적 레이 트레이싱, 프리미티브 변형, 메쉬 추출, 외관 스타일화를 모두 입증하였다.

실험 결과

실험은 표준 벤치마크(Mip-NeRF 360, Tanks and Temples, Deep Blending)에서 수행되었으며, Radiance Fields (RF), Gaussian 기반 방법 (GS), 그리고 Explicit Neural Fields (ENF)와 비교되었다.

• 신규 시점 합성: FlaRe는 경쟁력 있는 품질을 달성하며, 종종 3DGS, 3DGRT 및 기타 ENF 베이스라인보다 높은 PSNR을 기록한다. Mip-NeRF 360에서 전체 중 두 번째로 높은 PSNR을 달성했다. Deep Blending에서는 ENF 그룹 중 선두를 차지했다.
• 효율성: FlaRe는 강력한 품질-효율성 트레이드오프를 제공한다. IRIS보다 높은 품질을 제공하면서도 메모리를 훨씬 적게 사용하며 인터랙티브 렌더링을 가능하게 한다. Radiance Meshes에 비해 두 벤치마크 모두에서 약 12배 낮은 메모리 사용량으로 개선된 성능을 보인다.
• 시각적 충실도: 정성적 결과는 Fla-Re가 3DGS 및 Radiance Meshes에 비해 반사와 경계면 하이라이트를 더 충실하게 재구성함을 보여주며, 이는 모든 광선-프리미티브 교차 지점에서 연속적인 복사 휘도를 예측하는 능력 덕분이다.
• 프리미티브 감소: 공격적인 프리미티브 감소 예산 하에서도 FlaRe는 PUP-3DGS 및 LP-3DGS와 같은 베이스라인과 대등하거나 능가하는 성능을 보이며, 이는 로컬 신경 디스크립터가 적은 수의 프리미티브로도 강력한 외관 용량을 유지함을 나타낸다.
• 그래픽 역량: 이 방법은 재귀적 레이 트레이싱(중첩된 반사, 굴절), 기존 메쉬와의 원활한 통합, 직접적인 메쉬 추출을 성공적으로 시연하였다.

의의 및 주장

본 논문은 FlaRe를 단일 렌더링 패러다임에 특화될 필요가 없는 통합 장면 표현을 향한 단계로 포지셔닝한다. 고충실도 신경 렌더링, 재귀적 레이 트레이싱, 기하 조작 및 외관 편집을 하나의 모델로 가져옴으로써, FlaRe는 현재의 신경 장면 표현 연구의 파편화 문제를 해결한다.

저자들은 이 접근 방식이 신경 렌더링과 전통적인 그래픽 사이의 간극을 메운다고 주장하며, 이를 통해 다음을 가능하게 한다:

• 직접적인 레이 쿼리: 표현 방식 자체가 직접 쿼리 가능하므로, 반사나 그림자와 같은 효과를 위해 별도의 작업별 장면 모델을 만들 필요가 없다.
• 편집 가능성: 명시적 구조를 통해 재학습 없이 직접적인 변형 및 메쉬 추출이 가능하다.
• 압축성: 공유 디코더와 압축된 디스크립터를 사용하여, 순수 래스터화 또는 볼륨 방식에 비해 더 적은 수의 프리미티브로 고품질 재구성을 가능하게 한다.

논문은 한계점도 인정하는데, 유한한 평면 프리미티브 세트가 거대하고 경계가 없는 야외 장면에서 원거리 기하학적 정확도를 제한할 수 있다는 점과, 훈련 및 인터랙티브 렌더링을 위해 하드웨어 가속 레이 트레이싱 기능이 있는 최신 GPU가 필요하다는 점을 언급하였다.