InvSplat: Inverse Feed-Forward Scene Splatting

기술 요약: InvSplat: 역방향 피드포워드 씬 스플래팅 (Inverse Feed-Forward Scene Splatting)

문제 정의

역렌더링(Inverse rendering)은 이미지로부터 3D 기하 구조와 물리적으로 의미 있는 표면 반사율을 복원하는 것을 목표로 하며, 이는 재조명(relighting), 재질 편집, 현실적인 AR/VR 콘텐츠 삽입과 같은 애플리케이션의 전제 조건입니다. 기존 방법들은 효율성, 물리적 해석 가능성, 그리고 다중 뷰 일관성 사이에서 트레이드오프를 겪고 있습니다:

• 최적화 기반 접근 방식(예: IRIS)은 높은 충실도를 달embers하지만, 매 씬마다 계산 비용이 많이 드는 피팅 과정이 필요하여 실용성이 제한됩니다.
• 학습 기반 접근 방식(예: DiffusionRenderer, MVInverse)은 더 빠른 추론을 제공하지만, 주로 이미지 공간에서 작동합니다. 이들은 명시적인 3D 씬 표현이 부족하여 다중 뷰 불일치가 발생하며, 견고한 신규 뷰 합성(novel view synthesis)이나 물리적으로 근거 있는 편집을 지원하지 못합니다.
• 피드포워드 3D 재구성 방법(예: pixelSplat, MVSplat)은 효율적으로 명시적인 3D 표현(3D 가우시안 등)을 생성하지만, RGB 외관을 합성하는 데 집중할 뿐 내재적 재질 속성(알베도, 금속성, 거칠기)을 분리하는 데는 한계가 있습니다. 이들은 종종 날카로운 경면 반사(specular highlights)를 재현하지 못하거나 명시적인 재조명을 허용하지 못합니다.

방법론

InvSplat은 포즈가 지정된 다중 뷰 이미지로부터 단 한 번의 순방향 패스(forward pass)를 통해 구조화된 3D 가우시안 표현과 내재적 재질 속성을 직접 예측하는 피드포워드 프레임워크를 도입합니다.

씬 표현

씬은 $M$개의 3D 가우시안 프리미티브(primitive)로 표현됩니다. 외관을 위해 구면 조화 함수(spherical harmonics)를 사용하는 표준 3DGS와 달리, InvSplat의 각 가우시안 $j$는 다음으로 매개변수화됩니다:

• 기하 구조(Geometry): 평균($\mu_j$), 회전($q_j$), 스케일($s_j$), 불투명도($\sigma_j$), 그리고 표면 법선($n_j$).
• 내재적 재질(Intrinsic Materials): 확산 알베도($a_j$), 금속성($m_j$), 거칠기($r_j$).

이를 통해 조명이 재질 속성과 분리되는, 분리 가능하고 물리적으로 근거 있는 표현이 가능해집니다.

아키텍처

본 모델은 듀얼 브랜치 피드포워드 네트워크를 채택합니다:

1. 기하 브랜치(Geometry Branch): ReSplat에서 영감을 받아, 멀티 스케일 특징을 추출하기 위해 ResNet 백본을 사용합니다. 이후 다중 뷰 기하 인코더(트랜스포머)가 교차 뷰 정보를 집계하며, 다중 뷰 특징 매칭 모듈이 깊이 후보 코스트 볼륨(depth-candidate cost volume)을 구축합니다.
2. 내재적 브랜치(Intrinsic Branch): 입력 뷰를 인코딩하기 위해 DINOv2 ViT-L/14 백본을 활용합니다. 다중 뷰 내재적 트랜슬레이터(36개 블록의 트랜스포머)는 intra-view 및 inter-view 셀프 어텐션을 통해 이러한 특징들을 정교화하여 교차 뷰 내재적 특징을 추출합니다.
3. 디코딩 헤드(Decoding Heads): 두 브랜치의 특징은 6개의 디코딩 헤드에 의해 처리됩니다:
   • 깊이(Depth): 결합된 특징을 사용하여 DPT 헤드를 통해 추정됩니다.
   • 가우시안 파라미터: 회전, 스케일, 불투명도는 예측된 깊이를 기반으로 2D 특징을 3D 컨텍스트로 들어 올리는 포인트 트랜스포머(Point Transformer)를 사용하여 정교화됩니다.
   • 재질 및 법선(Materials & Normals): 알베도, 금속성, 거칠기 및 법선은 DPT 헤드를 통해 예측됩니다. 알베도 예측에는 고해상도 이미지 큐(cue)를 위한 스킵 연결이 포함됩니다.
4. 언프로젝션 및 렌더링(Unprojection & Rendering): 예측된 깊이 맵은 3D로 언프로젝션되어 가우시안 중심을 형성합니다. 씬은 미분 가능한 가우시안 래스터라이저를 사용하여 알베도, 금속성, 거칠기, 법선 및 깊이 맵을 생성하도록 렌더링됩니다.

학습

모델은 픽셀 단위 및 지각적 손실(perceptual losses)의 조합을 사용하여 InteriorVerse 데이터셋에서 학습됩니다:

• 재질 감독(Material Supervision): 알베도, 금속성, 거칠기에 대한 $L_1$ 및 LPIPS 손실.
• 깊이 감독(Depth Supervision): 스케일 모호성을 처리하기 위해 MoGe에서 영감을 받은 아핀 불변(affine-invariant) 손실.
• 법선 감독(Normal Supervision): 코사인 유사도 손실.
  학습은 기하 인코더, 내재적 트랜슬레이터 및 디코딩 헤드를 공동으로 최적화합니다.

주요 기여

1. 최초의 피드포워드 역렌더링 프레임워크: InvSplat은 단 한 번의 순방향 패스로 다중 뷰 이미지로부터 물리 기반 3D 가우시안 프리미티브와 내재적 재질 파라미터를 예측하는 최초의 방법이며, 이를 통해 씬별 최적화 과정을 제거했습니다.
2. 통합된 3D 표현: 이미지 기반 재질 추정과 3D 재구성 모델의 사전 지식을 통합함으로써, 실제 데이터에 대해 강력한 일반화 성능을 가진 고품질 3D 재질 속성을 생성합니다.
3. 재조명 및 일관된 NVS 지원: 분리된 3D 가우시안 표현은 분해된 재질을 가진 신규 뷰 합성을 지원하여, 물리 기반 재조명 및 시점 간에 일관된 시점 의존적 효과 모델링을 가능하게 합니다.

결과

합성(InteriorVerse, Structured3D) 및 실제 환경(RealEstate10K, DL3DV) 데이터셋에 대해 실험이 수행되었습니다.

• 정량적 성능: InteriorVerse 테스트 세트에서 InvSplat은 알베도 및 법선에 대해 2D 베이스라인(예: MVInverse)과 대등한 PSNR, SSIM, LPIPS 성능을 달성하는 동시에 명시적인 3D 표현을 제공합니다.
• 다중 뷰 일관성: Structured3D 데이터셋에서 InvS깝은 특히 금속성 및 거칠기와 같은 까다로운 속성에 대해 2D 방법보다 우수한 교차 뷰 일관성(더 낮은 재투영 RMSE)을 보여줍니다.
• 정성적 결과: 시각화 결과, InvSplat은 반사광을 알베도에 "구워 넣는(baking)" 현상을 방지하여, 반사 표면 주변에서 드리프트(drift) 현상이 나타나는 2D 베이스라인에 비해 더 미세한 디테일과 일관된 예측을 생성합니다.
• 효율성: 이 방법은 약 1.5초 만에 재구성을 완료하여 실시간 렌더링을 가능하게 합니다.

의의

본 논문은 InvSplat이 효율적인 피드포워드 추론과 고충실도 역렌더링 사이의 간극을 메운다고 주장합니다. 이미지 공간의 예측에서 내재적 파라미터를 가진 명시적인 3D 가우시안 표현으로 전환함으로써, 이 방법은 기존 학습 기반 접근 방식의 다중 뷰 불일치 문제를 극복하고 최적화 기반 방식의 계산 병목 현상을 해결합니다. 이는 즉각적인 씬 분해를 가능하게 하여, 기존 피드포워드 모델로는 어려웠던 재조명 및 재질 편집과 같은 다운스트림 애플리케이션을 용이하게 합니다.