기술 요약: VolFill: 단일 뷰 볼륨릭 플로우 매칭을 이용한 단일 뷰 아마달(Amodal) 3D 장면 재구성

1. 문제 정의

본 논문은 단일 RGB 이미지로부터 아마달(amodal) 3D 장면 재구성을 수행하는 과제를 다룹니다. 가시적인 표면(예: 깊이 지도 또는 포인트맵)만을 복구하는 기존의 픽셀 정렬 방식과 달리, 본 연구의 목표는 관측된 시야 프러스텀(frustum) 내에서 전경 객체에 의해 가려진 표면을 포함한 완전한 3D 기하 구조를 예측하는 것입니다.

이 작업은 숨겨진 구조에 대한 시각적 증거가 부족하기 때문에 본질적으로 부적정(ill-posed) 문제입니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 픽셀 정렬 방식(예: MoGe2, DepthPro)은 가시적인 표면에 국한되어 가려진 영역을 추론할 수 없습니다.
• 최적화 기반 방식은 조밀한 다중 뷰 캡처와 장면당 수 시간의 계산 시간을 요구합니다.
• 객체 중심 생성 모델은 복잡하고 경계가 없는(unbounded) 장면에 대응하기 어렵습니다.
• 장면 수준의 아마달 베이스라인(예: LaRI, NOVA3R)은 비구조적 표현이나 고정된 광선-레이어 제약으로 인해 파편화된 메쉬, 레이어 아티팩트("다중 벽" 효과), 또는 노이즈가 많고 붕괴된 포인트 클라우드를 생성하는 경우가 많습니다.

2. 방법론

VolFill은 결정론적인 회귀에 의존하는 대신, 단일 이미지로부터 완전한 절단된 부호 없는 거리 함수(Truncated Unsigned Distance Function, TUDF) 복셀 그리드를 예측하는 생성 프레임워크입니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. TUDF 표현

장면의 기하 구조는 가시적인 표면(가려진 표면 포함)까지의 거리를 최대값 $\tau$까지 절단하여 정의한 연속 스칼라 필드 $V(p)$로 표현됩니다.

• 부호 없는(Unsigned) 공식: 실내 장면은 종종 물이 새지 않는 구조가 아니기 때문에(예: 단면 벽), 부호 있는 거리 함수(SDF)는 기하학적으로 모호할 수 있어 부호 없는 거리 함수를 사용합니다.
• 동적 이산화: 이 방법은 가시적 기하 구조의 바운딩 박스를 기반으로 동적이고 등방성인 복셀 크기를 계산하는 프러스텀 정렬 이산화 전략을 채택하여, 그리드가 즉각적으로 포착된 장면에 집중되도록 보장합니다.

B. 하이브리드 3D VAE

고해상도 TUDF 그리드($256^3$)와 생성 모델링에 필요한 잠재 공간(latent space) 사이의 간극을 메우기 위해, 하이브리드 희소-밀집(Hybrid Sparse-Dense) 3D VAE가 제안되었습니다.

• 인코더(Encoder): 희소한 TUDF 입력을 희소 3D 컨볼루션을 사용하여 압축함으로써, 그리드를 $16\times$ 압축하여 조밀한 잠재 공간($16^3 \times C$)으로 변환합니다.
• 디코더(Decoder): 하이브리드 밀집-to-희소 디코딩 스케줄을 활용합니다:
  1. 밀집 업샘플링(Dense Upsampling): 전치 컨볼루션(Transposed convolutions)을 통해 잠재 공간을 $64^3$으로 업샘플링합니다.
  2. 구조 예측(Structure Prediction): 이진 점유(occupancy) 헤드가 마스크를 예측하여 특징 맵을 희소화하고 빈 영역을 제거합니다.
  3. 희소 업샘플링(Sparse Upsampling): 희소 컨볼루션을 사용하여 특징을 최종 $256^3$ 해상도로 업샘플링합니다.
• 손실 함수(Loss Function): VAE는 활성 복셀에 대한 L1 거리, 점유에 대한 BCE 및 Dice 손실, 그리고 잠재 공간 정규화를 위한 KL-divergence를 포함하는 복합 손실로 학습됩니다.

C. 플로우 매칭을 이용한 잠재 확산 트랜스포머(Latent Diffusion Transformer with Flow Matching)

생성 핵심은 정사파(rectified) 플로우 매칭 목적 함수로 학습된 **확산 트랜스포머(Diffusion Transformer, DiT)**입니다. 이는 노이즈를 장면 TUDF 잠재 분포로 이동시키는 법을 학습합니다.

• 이중 조건화 전략(Dual-Conditioning Strategy): 강력한 일반화와 물리적 타당성을 확보하기 위해, DiT는 두 가지 소스로부터 조건을 부여받습니다:
  1. 전역 기하학적 사전 지식(Global Geometric Priors): 고수준의 공간적 맥락을 제공하기 위해, 프리징된 기하학 기초 모델(MoGe2)의 특징을 크로스 어텐션(cross-attention)을 통해 주입합니다.
  2. 가시적-잠재 인페인팅(Visible-Latent Inpainting): MoGe2의 가시적 포인트 맵을 "가시적 잠재값"($z_{vis}$)으로 인코딩하고, 이를 제로 초기화된 MLP를 통해 노이즈가 섞인 잠재값과 융합합니다. 이는 생성을 관측된 기하 구조에 고정시키면서 가려진 영역의 완성을 유도합니다.
• 추론(Inference): 모델은 오일러 단계(Euler steps)를 사용하여 $t=0$에서 $t=1$까지 학습된 ODE를 통합하며, 이후 VAE를 통한 디코딩을 거쳐 최종 TUDF 그리드를 생성합니다.

3. 주요 기여

1. VolFill 프레임워크: 픽셀 정렬 회귀를 넘어, 단일 뷰 이미지로부터 완전한 장면 수준의 기하 구조를 복구하기 위해 볼륨릭 플로우 매칭을 활용하는 생성 프레임워크를 제시합니다.
2. 하이브리드 3D VAE: 고해상도 TUF 그리드를 압축된 잠재 공간으로 효율적으로 공간 압축할 수 있게 하여, 복잡한 아마달 구조의 고충실도 재구성을 용이하게 하는 아키텍처를 제공합니다.
3. 이중 조건화 전략: 기하 기초 모델(MoGe2)을 활용하여 고수준 이미지 토큰과 명시적인 가시적 기하 구조를 통합함으로써, 아마달 추론을 관측 데이터에 근거하도록 하는 새로운 접근 방식을 제안합니다.

4. 실험 결과

본 방법은 SCRREAM 및 NRGB-D 데이터셋에서 평가되었으며, 현재의 베이스라인들(LaRI, NOVA3R 및 TRELLIS, TripoSG와 같은 객체 중심 모델 포함)을 능가했습니다.

• 정량적 성능: VolFill은 Chamfer Distance (CD) 및 F-score (FS) 지표에서 특히 가려진(occluded) 부분과 완전한(complete) 기하 구조에 대해 최첨단(SOTA) 결과를 달성했습니다. SCRREAM 데이터셋에서 완전한 장면에 대해 CD 3.03, FS0.02 54.83을 기록하여, NOVA3R (CD 3.43, FS 45.12) 및 LaRI (CD 5.19, FS 30.85)를 크게 앞질렀습니다.
• 메트릭 스케일: 메트릭 스케일 평가에서도 VolFill은 F-score에서 베이스라인들을 크게 압도하며(44.90 vs. NOVA3R 22.23), 충실한 메트릭 스케일 재구성을 입증했습니다.
• 정성적 품질: 시각적 비교 결과, VolFill은 날카롭고 고충실도의 기하 구조와 매끄럽고 위상적으로 일관된 메쉬를 생성합니다. 반면, LaRI는 레이어 아티팩트와 구멍이 발생하는 반면, NOVA3R은 노이즈가 많고 구조화되지 않은 포인트 산란을 생성합니다.
• 절제 연구(Ablation Studies):
  • 하이브리드 VAE 설계는 밀집 전용 또는 희소 전용 디코더와 비교했을 때 재구성 품질, 지연 시간 및 메모리 사용량 사이에서 최적의 균형을 제공합니다.
  • 이중 조건화(MoGe2 특징과 가시적 잠재값 결합)는 단일 조건화 전략보다 성능이 현저히 우수합니다.
  • MoGe2는 DINOv2나 VGGT보다 우수한 조건화 기초 모델로 확인되었으며, 이는 일반적인 시맨틱 특징보다 명시적인 3D 공간 앵커의 중요성을 강조합니다.

5. 의의 및 주장

본 논문은 재구성을 결정론적인 픽셀 정렬 추정에서 구조화된 생성 매니폴드로 전환함으로써, 총체적 공간 이해를 위한 강력한 토대를 제공한다고 주장합니다.

• 구조화된 표현: 비구조적 포인트 클라우드 대신 TUDF 그리드를 예측함으로써, VolFill은 노이즈가 많은 후처리(예: Poisson reconstruction) 없이도 아이소서피싱(isosurfacing)을 통한 직접적인 표면 추출을 가능하게 하여 깨끗하고 아티팩트가 없는 메쉬를 생성합니다.
• 확장성: 볼륨릭 접근 방식은 장면의 복잡성에 따라 잘 확장되며, 레이 기반 방식과 달리 복구 가능한 가려진 레이어의 수에 제한을 두지 않습니다.
• 물리적 타당성: 강력한 기하학적 사전 지식에 의해 유도되는 생성 프레임워크는 시각적 증거가 없는 미결정 영역에 대해 물리적으로 타당한 완성을 합성합니다.

한 limitations: 저자들은 시각적 증거의 부재로 인해 관측되지 않은 영역에 작은 구멍이 간혹 남을 수 있음을 인정하며, 반복적인 생성 과정으로 인해 추론 속도가 회귀 기반 베이스라인보다 느리다(RTX 4090 기준 1.4초)는 점을 언급했습니다. 향후 연구로는 모델 용량 증대와 데이터 다양성을 통한 위상적 간극 해결이 제안되었습니다.