Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization

문제 정의
미분 가능한 렌더링은 3D 재구성 및 새로운 시점 합성(novel view synthesis)의 초석이 되었으나, 최첨단 방법론들은 주로 비-메쉬 표현 방식(예: 신경 복사 필드(Neural Radiance Fields), 3D 가우시안 스플래팅)이나 특화된 미분 가능 렌더러에 의존하고 있습니다. 3D 표면 메쉬는 휴대성, 하드웨어 가속 및 다운스트림 그래픽스 워크플로우 측면에서 산업 표준이지만, 기존의 미분 가능한 메쉬 렌더링 기술은 주로 객체 중심의 장면에 국한되어 있습니다. 이러한 기술들은 종종 전경-배경 마스크를 필요로 하며, 경계가 없는 실제 환경을 처리하는 데 어려움을 겪고, 표준 래스터라이저의 비미분성을 처리하기 위해 커스텀 CUDA 구현이나 확률적 그래디언트 추정(stochastic gradient estimation)에 의존하는 경우가 많습니다. 결과적으로, 실세계 장면에 대해 사진과 같은 사실적인 결과를 동시에 달성하면서 일반적인 그래픽스 도구를 사용하여 메쉬 표현을 직접 최적화할 수 있는 기존의 방법은 존재하지 않습니다.

방법론: Meshtryoshka
저자들은 오프더쉘프(off-the-shelf)의 비미분 가능 삼각형 래스터라이저를 사용하여 경계가 없는 실제 장면의 3D 메쉬 표현을 최적화하는 미분 가능한 렌더링 프레임워크인 Meshtryoshka를 소개합니다. 핵심 혁신은 정점 위치의 최적화와 래스터화 과정을 분리하는 데 있습니다.

1. 장면 파라미터화 및 메쉬 추출:
   장면은 부호 거리 함수(Signed Distance Function, SDF) 값과 시점 의존적 색상을 위한 구면 조화 함수(Spherical Harmonics) 계수로 구성된 희소 그리드(sparse grid)로 표현됩니다. 각 최적화 단계 동안, 이 방법은 미분 가능한 마칭 큐브(Marching Cubes) 알고리즘을 사용하여 SDF로부터 여러 개의 레벨 세트(iso-surfaces)를 추출합니다. 이는 중첩되지만 서로 교차하지 않는 "마트료시카(Matryoshka)" 형태의 중첩된 삼각형 메쉬 쉘들을 생성합니다. 이 쉘들의 각 정점에는 마칭 큐브 과정에서 유도된 보간 가중치를 통해 부호 거리 값과 구면 조화 함수 계수가 할당됩니다.

2. 비미분 래스터화 및 지연 렌더링(Deferred Rendering):
   커스텀 미분 가능 레이 트레이서를 구현하는 대신, 이 방법은 각 메쉬 쉘을 독립적으로 사용하는 표준 비미분 래스터라이저를 사용하여 래스터화합니다. 래스터라이저는 픽셀당 삼각형 ID와 무게 중심 좌표(barycentric coordinates)를 출력합니다. 이들은 이미지 공간에서 각 정점의 SDF 값과 구면 조와 함수 계수를 미분 가능하게 보간하여 효과적으로 프래그먼트 셰이더를 모사하는 데 사용됩니다.
   볼륨 렌더링을 근사하기 위해, 이 방법은 각 쉘에 특정 투과율($T_i$) 값을 할당합니다. 가장 안쪽 쉘은 거의 0에 가까운 투과율(불투명)로 설정되어 이후의 쉘들을 차폐하도록 보장합니다. 최종 이미지는 렌더링된 쉘들을 알파 합성(alpha-compositing)하여 구축됩니다. 그래디언트는 알파 합성 과정과 보간 단계를 거쳐 렌더링 에러로부터 역전파되어 밑바탕이 되는 SDF 및 색상 파라미터를 업데이트하며, 간접적으로 메쉬 기하 구조를 최적화합니다.

3. 경계가 없는 장면에 대한 확장성:
   실제 세계의 경계가 없는 장면을 처리하기 위해 저자들은 다음과 같은 전략을 채택했습니다:

• 희소성(Sparsity): 희소 마칭 큐브 구현을 사용하여 활성 복셀(voxel)과 헬퍼 복셀에 대해서만 파라미터를 저장함으로써, 밀집 그리드에 비해 메모리 사용량을 대폭 줄였습니다.
• 조-세(Coarse-to-Fine) 최적화: 그리드는 저해상도에서 초기화된 후 점진적으로 세분화되며, 빈 공간을 제거하고 필요한 곳에만 기하 구조를 정밀화합니다.
• 비-입방체 그리드(Non-Cubic Grids): 장면은 전경(축 정렬 큐브)과 배경으로 나뉩니다. 배경은 6개의 절단된 절두체(truncated frustums)와 지수적으로 스케일링된 정점을 사용하여 모델링됩니다. 이를 통해 해상도를 효율적으로 할당하여, 마칭 큐브에 적합한 복셀 종횡비를 유지하면서도 먼 영역에는 더 적은 파라미터를 배치할 수 있습니다.

4. 정규화(Regularization):
   안정적인 최적화를 보장하기 위해, 이 방법은 (체커보드 아티팩트를 유발할 수 있는 Eikonal 손실 대신) SDF 값에 대한 라플라시안 평활도 손실(Laplacian smoothness loss)과 관찰되지 않은 영역의 희소성을 장려하는 L1 페널티를 사용합니다. 또한, 모델이 특정 시점에 맞춰 기하 구조를 "속이는" 것을 방지하기 위해 비-DC 구면 조화 성분에 대한 학습률을 낮춥니다.

주요 기여

• 새로운 프레임워크: Meshtryoshka는 전경 마스크 없이 경계가 없는 실제 3D 장면을 재구성할 수 있는 최초의 미분 가능한 메쉬 렌더링 방법입니다.
• 표준 도구와의 호환성: 이 방법은 커스텀 미분 가능 렌더러나 확률적 그래디언트 추정기 없이도 오프더쉘프의 비미분 가능 래스터라이저를 사용하여 고품질의 미분 가능 렌더링이 가능하다는 것을 입증했습니다.
• 고성능 구현: 저자들은 희소 마칭 큐브 알고리즘과 동시에 1억 개 이상의 삼각형을 렌더링할 수 있는 소프트웨어 삼각형 래스터라이저를 포함한 고전적인 그래픽스 알고리즘의 최적화된 구현을 기여합니다.
• 직접적인 메쉬 최적화: 볼륨 표현으로부터 사후적으로 메쉬를 추출하는 방법들과 달리, Meshtryoshka는 메쉬 표현을 직접 최적화하여 최적화 단계의 품질이 최종 메쉬 렌더링과 일치하도록 보장합니다.

결과
이 방법은 NeRF-Synthetic(객체 중심) 및 Mip-NeRF 360(실제 세계) 데이터셋에서 평가되었습니다.

• 객체 중심 장면: NeRF-Synthetic에서 Meshtryoshka는 NeuS2와 같은 최첨단 미분 가능 표면 렌더링 방법들과 경쟁력 있는 성능을 보였으며, 가시성 마스크 없이도 이전의 메쉬 기반 방법들(DMTet/FlexiCubes를 사용하는 nvdiffrec)보다 우수한 성능을 보였습니다.
• 실제 세계 장면: Mip-NeRF 360에서 이 방법은 자전거 바퀴 살이나 나뭇잎과 같은 미세한 디테일을 포착하며 도전적인 경계 없는 장면을 높은 시각적 품질로 성공적으로 재구성했습니다. 정량적 지표(PSNR)에서는 Zip-NeRF나 3D 가우시안 스플래팅과 같은 최상위 비-메쉬 방법들에 약간 뒤처지지만, 일관된 재구성을 생성하는 데 실패했던 이전의 메쉬 기반 접근 방식들을 크게 능가합니다.
• 절제 연구(Ablation Studies): 실험을 통해 고품질 결과를 얻기 위해 지수적 정점 배치, 희소성, 정규화 항 및 다중 쉘 사용이 필수적임을 확인했습니다.

의의 및 주장
본 논문은 Meshtryчески가 미분 가능한 렌더링에 대한 새로운 경로를 제시한다고 주장합니다. 즉, 특화된 미분 가능 렌더러나 비-메쉬 프리미티브에 의존하는 대신, 전통적인 컴퓨터 그래픽스 렌더링 스택(표준 래스터라이저 및 메쉬 표현)에 전적으로 의존함으로써 경쟁력 있는 3D 재구성과 새로운 시점 합성을 달enc할 수 있다는 것입니다. 저자들은 자신들의 작업이 메쉬의 휴대성과 현대적인 미분 가능 렌더링의 성능 사이의 간극을 메워, 실제 세계를 위한 직접적인 메쉬 최적화를 가능하게 한다고 주장합니다. 다만, 저자들은 현재의 한계에 대해 겸허한 태도를 유지하며, 이 방법이 현재 프리미티브 기반 접근 방식보다 더 많은 삼각형을 생성하고, 빠른 NeRF/가우시안 방법보다 학습 시간이 느리며, 관찰이 희소한 영역에서 간혹 "플로터(floater)" 아티팩트를 생성할 수 있음을 인정합니다.