기술 요약: PanoPlane

문제 정의

새로운 뷰 합성을 위한 희소 뷰포인트로부터의 실내 장면 재구성은 장면 이해 및 체화 내비게이션과 같은 작업에 필수적입니다. 3D 가우스 스플래팅 (3DGS) 은 밀집된 다중 뷰 커버리지로 사실적인 렌더링을 달성하지만, 희소 입력 (예: 3~9 개의 뷰) 에서는 심각한 어려움을 겪습니다. 이러한 시나리오에서는 장면의 상당 부분이 관찰되지 않아 기하학적 붕괴, 부유 아티팩트, 비일관적인 표면이 발생합니다.

기존의 희소 뷰 방법은 추가적인 훈련 뷰를 생성하기 위해 확산 사전 지식 (diffusion priors) 을 활용함으로써 이를 해결하려 시도합니다. 그러나 이러한 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 제한된 시야각: 퍼스펙티브 기반 생성은 장면의 작은 부분만 포착하여 종종 뷰 간 기하학적 불일치를 초래합니다.
2. 구조적 안내의 부재: 현재 방법론들은 생성 과정에서 확산 모델의 내부 어텐션을 구조적으로 관련된 관찰 영역으로 직접 유도할 수 없습니다. 결과적으로 관찰되지 않은 영역은 근거 있는 표면 외삽 대신 제약 없는 환각을 겪는 경우가 많습니다.

방법론: PanoPlane

PanoPlane 은 파노라마 장면 완성을 통해 폐쇄된 실내 기하학을 재구성하는 기하학적 인식 접근법을 제안합니다. 파편화된 퍼스펙티브 뷰를 생성하는 대신, 장면의 전체 공간 배치에 조건부인 360° 파노라마 완성을 활용합니다.

핵심 파이프라인

1. 평면 인식 초기화:

   • 희소 입력으로 초기 거친 2D 가우스 스플래팅 (2DGS) 모델을 훈련합니다.
   • 비전 - 언어 모델 (VLM) 이 감지된 평면 표면을 배치 평면(벽, 바닥, 천장) 과 비배치 평면(가구, 물체) 으로 분류합니다.
   • 배치 표면에 할당된 픽셀에 대해 레이 - 평면 교차를 사용하여 깊이 지도를 정제하여 기하학적 일관성을 보장합니다.

2. 파노라마 렌더링 및 선택:

   • 거친 2DGS 에서 선택된 뷰포인트에서 이구면 (ERP) 파노라마를 렌더링합니다.
   • 관찰되지 않은 영역은 파노라마에서 "구멍"으로 나타납니다.
   • 가시적인 관찰되지 않은 볼륨의 수, 구멍과 관찰된 영역의 비율, 관찰 영역 내 배치 평면의 다양성을 기반으로 완성을 위한 최적의 파노라마를 선택하는 점수 함수를 적용합니다.

3. 배치 고정 어텐션 유도 (핵심 혁신):

   • 구멍 할당: 잠재 파노라마 공간의 관찰되지 않은 토큰 (구멍) 을 두 가지 보완적 전략을 사용하여 특정 배치 평면에 할당합니다:
     • 기하학적 기반: 3D 공간에서의 레이 - 평면 교차.
     • 경계 기반: 잠재 그리드에서 관찰된 토큰과의 2D 근접성.
   • 어텐션 수정: 추론 중 확산 트랜스포머 (DiT360) 내의 쿼리 ($Q$) 및 키 ($K$) 행렬을 수정하는 훈련 없는 메커니즘을 적용합니다.
     • 각 구멍 토큰에 대해, 쿼리 벡터를 동일한 할당된 배치 평면에 속하는 관찰된 토큰들의 키 벡터 중심을 향해 이동시킵니다.
     • 해당 평면의 관찰된 토큰들의 키를 강화합니다.
   • 이는 통계적 근접성에 의존하는 대신 기하학적으로 일관된 관찰된 콘텐츠에 모델이 주의를 기울이도록 강제하여, 환각을 근거 있는 표면 외삽으로 효과적으로 대체합니다.

4. 정제:

   • 완성된 360° 파노라마를 큐브맵 면으로 분해하여 훈련 세트에 추가합니다.
   • 2DGS 모델을 원래 뷰에 대한 표준 광도학적 손실과 완성된 뷰에 대한 감쇠된 손실의 조합, 그리고 평면 정제 깊이 지도에 대한 기하학적 정규화와 함께 사용하여 정제합니다.

주요 기여

1. 배치 고정 어텐션 유도: 확산 모델의 내부 어텐션을 장면의 3D 배치 (특히 벽, 바닥, 천장) 에 고정함으로써 파노라마 장면 완성을 안내하는 훈련 없는 메커니즘입니다. 이는 관찰되지 않은 영역이 감지된 표면의 기하학적 확장으로서 완성되도록 보장합니다.
2. 의미 인식 평면 할당: 구조적 배치 평면과 비구조적 객체를 구분하기 위해 VLM 기반 추론을 사용하는 파이프라인으로, 가구에 평평한 텍스처가 환각되는 것을 방지하는 선택적 기하학적 유도를 가능하게 합니다.
3. 희소 뷰 재구성을 위한 파노라마 사전 지식: 퍼스펙티브 기반 생성에 비해 360° 파노라마 완성이 더 우수한 전역 문맥을 제공하여 더 높은 충실도의 새로운 뷰 합성으로 이어짐을 입증합니다.

결과

실험은 3, 6, 9 개의 입력 뷰에 걸쳐 Replica, ScanNet++, Matterport3D라는 세 가지 표준 실내 벤치마크에서 수행되었습니다.

• 성능: PanoPlane 은 모든 데이터셋과 뷰 수에서 PSNR, SSIM, LPIPS 에서 최첨단 성능을 달성합니다.
  • 3 개의 입력 뷰를 사용한 Replica 데이터셋에서, 가장 우수한 베이스라인 대비 PSNR 에서 +2.71 dB의 개선을 달성합니다.
  • Matterport3D(6 개 뷰) 에서 가장 강력한 베이스라인 (G4Splat) 보다 +2.60 dB 더 우수한 성능을 보입니다.
• 효율성: 이 방법은 기반 확산 모델의 훈련이나 미세 조정이 필요하지 않습니다. 유도 메커니즘의 추가 실행 시간은 무시할 수 있으며, 총 추론 시간은 다른 생성적 베이스라인과 비교 가능합니다.
• 애블레이션: 배치 유도 메커니즘을 제거하면 성능이 가장 크게 저하됩니다 (약 -1.02 dB), 이는 기하학적 일관성의 주요 동인임을 확인시켜 줍니다. 의미 필터링 또한 결정적인 것으로 나타났습니다. 이를 제거하면 유도 메커니즘이 종종 비배치 표면으로 주의를 돌리게 되어 이점을 무효화합니다.

중요성 및 주장

이 논문은 PanoPlane 이 파편화된 퍼스펙티브 생성에서 전체적인 360° 완성으로 전환함으로써 희소 뷰 실내 재구성을 위한 새로운 패러다임을 확립한다고 주장합니다. 확산 모델의 어텐션을 장면의 근본적인 평면 구조로 명시적으로 유도함으로써, 이 방법은 장면별 미세 조정 없이 기하학적으로 일관된 완성을 달성합니다.

저자들은 이 작업을 관찰 영역을 위한 기하학적 정규화와 관찰되지 않은 영역을 위한 생성적 완성 사이의 교량으로 위치시킵니다. 그들은 이 방법이 감지 가능한 평면 구조를 가정하며, 곡면이 지배적이거나 구조적 외피를 가리는 과도한 혼란이 있는 환경에서는 어려움을 겪을 수 있다고 지적합니다. 향후 작업으로는 적응형 유도 강도와 비평면 원시 요소로의 확장을 포함할 것이 제안됩니다.