기술 요약: 역 렌더링을 위한 3D 표면 스플래팅 (3DSS)

문제 정의

역 렌더링은 다중 뷰 사진을 통해 기하학, 재질, 조명을 재구성하여 편집 가능하고 조명 재조정이 가능한 에셋을 생성하는 것을 목표로 합니다. 현재 차분 가능한 렌더링 패러다임들은 상호 보완적인 한계에 직면해 있습니다:

• 삼각형 메쉬 래스터라이저: 명시적인 기하학으로 선명한 이미지를 생성하지만, 위상 변화 (topology evolution) 에는 어려움을 겪습니다. 최적화는 종종 퇴화된 요소, 자기 교차, 불연속 매니폴드를 초래하여 신중한 정규화가 필요합니다.
• 체적 렌더러 (NeRFs/3DGS): 연결성 없는 유연성과 높은 새로운 뷰 합성 품질을 제공합니다. 그러나 이미지 형성 과정이 표면이 아닌 광선을 따라 복사도를 합성합니다. 이러한 체적 블렌딩은 프리미티브 간에 재질 속성 (예: 법선) 을 혼합하여, 단일 물리적 표면의 반사율에 대응하지 않는 픽셀 값을 생성하며, 물리 기반 분해를 훼손합니다.
• 표면 스플래팅: 역사적으로 차분 가능한 역 렌더링에서 부재했던 표면 스플래팅 (특히 타원형 가중 평균 또는 EWA) 은 중간 지점을 제공합니다: 명시적 표면 의미론을 가진 방향성 점 샘플 (surfels) 을 사용하지만, 가시성과 표면 분리를 위한 차분 가능한 공식이 부재합니다. 고전적 방법은 표면을 분리하기 위해 하드하고 불연속적인 깊이 테스트 (ternary z-buffering) 에 의존하는데, 이는 기울기 기반 최적화와 호환되지 않으며 겹치는 가장자리에서 올바른 안티앨리어싱을 방해합니다.

방법론: 3D 표면 스플래팅 (3DSS)

3DSS 는 물리 기반 역 렌더링을 위해 설계된 최초의 차분 가능한 표면 스플래팅 렌더러를 도입합니다. 이는 비구조화된 방향성 surfel 프리미티브 집합으로 장면을 표현하고 EWA 스플래팅을 통해 연속적인 표면을 재구성합니다.

1. Surfel 표현 및 래스터라이제이션

각 surfel 은 중심 위치, 두 개의 접선 벡터 (방향과 이방성 스케일링을 인코딩), 그리고 셰이딩 속성 (알베도, 금속성, 거칠기) 으로 정의됩니다. 표면 법선은 접선들의 외적으로부터 암시적으로 유도됩니다.

• T-행렬: 렌더러는 surfel 파라미터화를 클립 공간으로 매핑하기 위해 4×4 T-행렬을 사용하여, 수치적으로 안정적인 방식으로 분석적 광선-surfel 교차 및 경계 상자 계산을 가능하게 합니다.
• 전방 셰이딩: 지연 셰이딩과 달리, 3DSS 는 분할 합성 이미지 기반 조명 (IBL) 모델을 사용하여 래스터라이제이션 이전 에 각 surfel 을 셰이딩합니다. 이는 재구성된 속성 (예: 법선 평균화) 을 셰이딩할 때 발생하는 비가환성 문제를 피하고 래스터라이제이션 커널을 컴팩트하게 유지합니다.

2. 다중 레이어 표면 분리 (깊이 구간 그룹화)

핵심 혁신은 표면 분리의 재구문화입니다. 이진/ternary 깊이 테스트 대신, 3DSS 는 표면 분리를 구간 병합 문제로 취급합니다:

• 각 surfel 은 깊이와 커널 범위에 기반하여 깊이 구간 $[z - \varepsilon_z, z + \varepsilon_z]$을 차지합니다.
• 프리미티브는 구간 시작 ($z_{start}$) 에 따라 정렬됩니다.
• surfel 들의 깊이 구간이 겹치는 경우 표면 레이어로 그룹화됩니다. 그룹의 누적 최대 깊이와 다음 프리미티브의 시작 사이의 간격은 새로운 표면 레이어를 나타냅니다.
• 이를 통해 단일 래스터라이제이션 패스당 픽셀당 임의의 수의 표면 레이어가 가능해지며, 하드한 결정 없이 자기 가림 및 가시성 불연속성을 해결합니다.

3. 커버리지 기반 합성

렌더러는 각 레이어 내에서 누적된 EWA 재구성 가중치에서 불투명도를 직접 유도합니다:

• 커버리지 불투명도: 레이어의 누적 가중치 $W_k$는 부드러운 함수 ($1 - \exp(-\gamma \cdot W_k / 2\pi)$) 를 사용하여 커버리지 불투명도 $\alpha_k$로 매핑됩니다. 이 가중치는 신호 재구성 과정에서 자연스럽게 발생합니다.
• 합성: 레이어는 표준 "over" 연산자를 사용하여 앞쪽에서 뒤쪽으로 합성되며, 이전 레이어의 잔여 투과율이 더 깊은 레이어의 가시성을 결정합니다.
• 기울기 흐름: 이 메커니즘은 단일 surfel 이 일정한 정규화된 색상을 생성할 수 있는 희소하게 커버된 가장자리 (실루엣) 에서조차, 1 미만의 커버리지 불투명도가 최종 픽셀 값을 변조하도록 보장합니다. 이는 객체 경계에서 기하학 최적화를 위한 정보성 기울기를 제공합니다.

4. 안티앨리어싱 및 밀도 제어

• 객체 공간 MIP 필터링: 샘플링 앨리어싱을 방지하기 위해 3DSS 는 객체 공간 MIP 필터를 사용합니다. 이는 surfel 중심에서 역 공분산 행렬과 정규화 인자를 미리 계산하여 광선-스플래트 교차의 야코비안을 근사화합니다. 이는 완전한 야코비안 평가의 픽셀당 연산 비용 없이 고주파수를 억제합니다.
• 적응형 밀도 제어: 이 방법은 밀도 인식 분할 기준을 통해 "단위 분할" 가정 (겹치는 지지 영역) 을 유지합니다. 이는 전역 장면 임계값이 아닌 국소 샘플 간 간격에 비해 surfel 의 스케일을 비교하며, T-행렬 역방향 패스로부터 직접 화면 공간 기울기 노름을 누적하여 정교화가 필요한 영역을 식별합니다.

주요 기여

1. 다중 레이어 표면 분리: 이진/ternary 깊이 테스트를 대체하고 픽셀당 여러 레이어를 지원하기 위해 구간 병합을 통해 정렬된 프리미티브를 임의의 표면 레이어로 분할하는 알고리즘.
2. 커버리지 기반 차분 가능한 합성: 레이어별 불투명도가 누적된 EWA 가중치에서 유도되어 안티앨리어싱된 실루엣과 희소 가장자리에서 정보성 기울기를 제공하는 모델로, 단일 레이어 공식에서는 제공할 수 없는 기능을 제공합니다.
3. 효율적인 객체 공간 MIP 필터: 시각적 손실은 무시할 수준이고 계산 오버헤드는 최소인 샘플링 앨리어싱을 억제하는 중심 미리 계산 근사법.
4. 메쉬 워크플로우와의 연결: 최적화된 표현 (방향성 점 샘플) 은 확립된 메쉬 재구성 알고리즘 (예: Screened Poisson Surface Reconstruction) 과 네이티브 호환성을 가지며, 점 기반 역 렌더링에서 메쉬 기반 워크플로우로의 직접적인 파이프라인을 용이하게 합니다.

결과

Stanford-ORB 벤치마크 (14 개 객체, 7 개 장면, 정밀 스캔, HDR 이미지, 측정된 조명 포함) 에서 평가된 3DSS 는 메쉬 기반 (NVDiffRec), 암시적 (NeRF, NeRFactor), 가우스 스플래팅 (3DGS 기반) 베이스라인과 비교되었습니다.

• 새로운 뷰 합성: 3DSS 는 모든 지표 (PSNR, SSIM, LPIPS) 에서 최고 점수를 기록하여 메쉬 기반 및 암시적 베이스라인을 모두 능가했습니다. 점 기반 표현의 위상적 유연성은 고정 그리드 메쉬 방법보다 미세한 세부 사항의 더 나은 복구를 가능하게 했습니다.
• 새로운 장면 조명 재조정: 3DSS 는 NVDiffRec 및 암시적 방법을 능가하는 최첨단 구조적 유사성 (SSIM) 및 지각적 (LPIPS) 점수를 달성했습니다. 특히 높은 반사율을 가진 객체에서 정반사 하이라이트와 확산 셰이딩을 더 충실하게 재현했습니다.
• 기하학 재구성: 3DSS 는 가장 강력한 베이스라인 (NVDiffRec, InvRender) 과 동등한 기하학 점수 (깊이, 법선, Chamfer 거리) 를 달성했습니다. 정성적 분석은 메쉬 기반 방법보다 더 매끄럽고 일관된 표면 법선을 보여주었습니다.
• 고정 기하학 검증: surfel 이 고정 기하학을 가진 정밀 스캔에서 샘플링되었을 때, 렌더러는 고품질 셰이딩을 생성하여 기존 메쉬 에셋과의 surfel 표현 호환성과 셰이딩 파이프라인의 물리적 타당성을 확인했습니다.

중요성 및 주장

이 논문은 3DSS 가 점 기반 방법의 연결성 없는 유연성과 메쉬 래스터라이저의 표면 정확한 이미지 형성을 결합함으로써 차분 가능한 렌더링에서 독특하고 실용적으로 가치 있는 위치를 차지한다고 주장합니다.

• 차분 가능성: 표면 분리 및 불투명도를 연속적이고 차분 가능한 과정으로 공식화함으로써, 3DSS 는 메쉬의 위상적 제약이나 체적 블렌딩의 물리적 모호성 없이 모양, 공간적으로 변하는 BRDF, 조명의 공동 최적화를 가능하게 합니다.
• 워크플로우 통합: 이 방법은 최적화된 surfel 을 표준 표면 재구성 알고리즘에 직접 입력할 수 있게 하여, 점 기반 역 렌더링과 다운스트림 메쉬 기반 워크플로우 간의 "직접적인 연결"을 제공합니다.
• 표면 스플래팅의 부활: 이 작업은 가시성 불연속성으로 인해 이전에 방해받았던 표면 스플래팅이 역 렌더링에 성공적으로 적응될 수 있음을 보여주며, 지배적인 메쉬 및 체적 패러다임에 대한 실현 가능한 대안을 제공합니다.

저자들은 단순화된 분할 합성 IBL 셰이딩 모델 (전역 조명 부재) 사용과 불투명 표면 가정과 같은 한계를 지적하지만, 렌더링 백엔드는 셰이딩 모델에 무관하여 더 복잡한 광 수송으로의 향후 확장이 가능함을 강조합니다.