기술 요약: 미분 가능한 다중 평면 이미지(Multiplane Image)를 이용한 빠르고 가벼운 새로운 시점 합성

문제 정의

새로운 시점 합성(Novel View Synthesis, NVS)은 NeRF 및 3D Gaussian Splatting(3DGS)과 같은 방법론을 통해 크게 발전해 왔습니다. 그러나 기존 방식들은 렌더링 속도, 모델 크기, 그리고 학습 효율성 사이에서 결정적인 트레이드오프(trade-off) 문제에 직면해 있습니다.

• NeRF 및 3DGS: 고품질의 합성이 가능하지만, 최적화를 위해 밀집된 다중 뷰 관측치가 필요한 경우가 많습니다. 이들의 학습은 시간이 오래 걸리며, 결과물인 모델은 계산 비용이 높을 수 있습니다.
• 피드포워드(Feed-forward) 3DGS: 최근의 피드포워드 변형 모델들은 최적화 시간을 단축하지만, 일반적으로 각 픽셀이 하나의 가우시안(Gaussian)에 매핑되는 "픽셀 정렬(pixel-aligned)" 형식을 채택합니다. 이는 희소한 입력으로부터 수백만 개의 가우시안을 생성하여 심각한 중복성을 초래하며, 모바일 플랫폼과 같이 자원이 제한된 기기에서의 배포를 저해합니다.
• 전통적인 다중 평면 이미지(MPI): MPI는 평면 레이어를 사용하는 압축적이고 이산적인 표현 방식을 제공하여, 연속적인 볼륨 필드보다 효율적입니다. 그러나 기존의 MPI 방식은 주로 단일 이미지로부터의 피드포워드 예측에 의존하므로, 카메라 프러스텀(frustum) 내로 범위가 제한됩니다. 특히 희소 뷰(sparse-view) 조건이나 넓은 카메라 움직임이 발생하는 상황에서는 가려짐(disocclusion), 깊이 이산화 아티팩트(depth discretization artifacts), 반복적인 텍스처 패턴 등의 문제를 겪습니다.

방법론

저자들은 Multi-view MPI를 제안합니다. 이 프레임워크는 MPI를 다중 뷰 감독(multi-view supervision)을 통해 최적화되는 학습 가능한 미분 가능 표현으로 재정의하고, 여기에 생성형 신경 인핸서(generative neural enhancer)를 결합한 형태입니다.

1. 파운데이션 모델을 통한 기하학적 초기화

희소한 이미지에서 신뢰할 수 있는 기하학적 사전 정보(prior)가 부족한 문제를 해결하기 위해, 본 방법론은 거대 시각 파운데이션 모델(특히 PI3 및 VGGT)을 활용합니다.

• 과정: 희소한 입력 이미지 세트가 주어지면, PI3는 카메라 포즈, 조밀한 깊이 맵(depth maps), 그리고 픽셀당 신뢰도 점수를 추정합니다.
• 초기화: 이러한 출력값들은 3D 포인트 클라우드로 역투영(back-project)됩니다. 포인트 클라우드는 세계 좌표계에 정렬되고 깊이에 따라 세그멘테이션된 후, MPI 구조를 초기화하기 위해 깊이 축을 따라 분포된 여러 평면에 투영됩니다.

2. 확장된 MPI 및 미분 가능한 최적화

가려진 영역을 환각(hallucinate)하는 전통적인 MPI 예측기와 달리, 이 방식은 MPI를 학습 가능한 파라미터 집합으로 취급합니다.

• 확장된 프러스텀(Expanded Frustum): 초기 참조 프러스트럼을 벗어난 뷰를 처리하기 위해, "확장된" 시야각을 채택합니다. 더 넓은 공간 범위를 커버하도록 더 큰 평면들이 정의되지만, 호모그래피 변환(homography transformation)을 통해 렌더링은 타겟 카메라의 시야각(FOV) 내로 제한됩니다.
• 미분 가능한 렌더링: MPI 레이어(밀도 및 색상)는 볼륨 렌더링과 경사 하강법(gradient descent)을 통해 직접 최적화됩니다. 이는 특징을 디코딩하기 위한 MLP(Multi-Layer Perceptrons)를 필요로 하지 않아 효율적인 병렬화와 빠른 수렴을 가능하게 합니다.
• 최적화 목적 함수: 시스템은 렌더링된 뷰와 실제 값(ground truth) 사이, 그리고 렌더링된 의사 뷰(pseudo-views)와 정제된 버전 사이의 평균 제곱 오차(MSE)를 최소화합니다.

3. 단일 단계 확산 모델을 이용한 신경 인핸서(Neural Enhancer)

희소 뷰 합성에서 발생하는 아티팩트(예: 노이즈, 깜빡임, 누락된 기하 구조)를 해결하기 위해, 파이프라인은 두 가지 방식으로 DIFIX(빠른 단일 단계 확산 모델)를 통합합니다.

• 최적화 중 (증류/Distillation): 시스템은 중간 단계의 새로운 뷰를 렌더링하고, 이를 DIFIX에 통과시켜 아티팩트를 제거하고 "깨끗한" 의사 뷰를 생성한 뒤, 이 정제된 이미지를 추가적인 감독 신호로 사용하여 MPI 파라미터를 업데이트합니다. 이를 통해 강력한 생성적 사전 정보를 3D 표현체로 증류합니다.
• 추론 중 (후처리/Post-processing): DIFIX는 경량 후처리기로서 작동하여 최종 렌더링 출력을 더욱 향상시키고, 불충분한 감독으로 인해 발생하는 아티팩트를 줄입니다.

주요 기여

1. Multi-view MPI 프레임워크: MPI를 다중 뷰 감독을 통해 최적화되는 학습 가능한 평면 표현으로 공식화한 새로운 NVS 프레임워크입니다. 이를 통해 더 넓은 뷰 탐색과 3D 일관성 있는 렌더링을 가능하게 하며, 픽셀 정렬 방식의 3DGS가 가진 중복성을 피할 수 있습니다.
2. 이중 역할의 신경 인핸서: 단일 단계 확산 모델(DIFIX)의 통합은 밑바탕이 되는 3D 기하 구조를 정제하기 위한 학습용 사전 정보(prior)와 실시간 후처리기로서의 역할을 모두 수행합니다.
3. 효율성 및 압축성: 높은 렌더링 품질과 낮은 자원 소비 사이의 균형을 달성하여 모바일 배포에 적합하도록 설계되었습니다.

실험 결과

본 방법론은 LLFF(실제 전방향 뷰) 및 NeRF Synthetic 데이터셋에서 NeRF, PixelNeRF, DeepView, AnySplat과 비교 평가되었습니다.

• 렌더링 속도: 제안된 방법은 135.62 FPS를 달 기록하며, NeRF(0.212 FPS)와 AnySplat(103.72 FPS)을 크게 앞질렀습니다.
• 모델 크기: 모델 크기는 22.83 MB로, 이는 AnySplat(153.85 MB)의 약 14.8% 수준이며 PixelNeRF(112.82 MB)보다 작습니다.
• 품질:
  • LLFF 데이터셋에서 본 방법은 비교 대상 중 가장 높은 PSNR(25.469)을 기록했습니다.
  • NeRF Synthetic 데이터셋에서 가장 높은 PSNR(29.161)을 달성했습니다.
  • 정성적 분석 결과, DeepView 및 PixelNeRF와 비교했을 때 더 날카로운 구조와 적은 아티팩트(예: 깊이 이산화, 텍스처 반복)를 보여주었습니다.
• 절제 연구(Ablation Studies): PI3 초기화, 미분 가능한 최적화, 또는 확산 인핸서를 제거했을 때 PSNR이 크게 하락(최대 10.4 dB)하였으며, 이는 각 구성 요소의 필수성을 입증합니다.

의의 및 주장

본 논문은 MPI 표현을 재검토하고 현대적인 파운데이션 모델 및 생성적 사전 정보와 결합함으로써, 연속적인 볼륨 필드(NeRF)와 중복된 명시적 표현(픽셀 정렬 3DGS)의 한계를 극복할 수 있다고 주장합니다.

저자들은 다음과 같이 단언합니다:

• 본 방식은 모델 크기를 획기적으로 줄이고 렌더링 속도를 높임으로써, 고품질 합성와 모바일 기기에서의 실질적인 배포 사이의 간극을 메웁니다.
• 단순한 피드포워드 예측에만 의존하는 대신 미분 가능한 최적화와 다중 뷰 감독을 사용함으로써, 전통적인 MPI 방식의 "환각(hallucination)" 문제를 완화합니다.
• 넓은 카메라 움직임이 발생하는 상황에서도 효과적으로 작동하는 견고한 파이프라인을 제공하여, 기존 MPI 방식이 일반적으로 실패하는 시나리오에서도 3D 일관성 있는 결과를 생성합니다.

이 연구는 현재의 최첨단 방법론들이 가진 무거운 계산 부담 없이, 로보틱스 및 3D 사진 촬영과 같이 빠르고 가벼우며 고충실도의 3D 재구성이 필요한 시나리오를 위한 솔루션을 제시합니다.