기술 요약: PointDiT

문제 정의

단일 RGB 이미지로부터 조밀한 3D 구조를 예측하는 작업인 단안 기하학 추정(Monocular geometry estimation)은 3D 장면 이해의 근본적인 과제입니다. 깊이 지도(Depth map)는 스칼라 거리 값을 제공하지만, 3D 구조를 복원하기 위해서는 알려진 카메라 내부 파라미터(Intrinsics)가 필요합니다. 반면, **포인트 맵(Point maps)**은 카메라 좌표계(X, Y, Z)에서 직접 기하학적 구조를 나타내므로 보정(Calibration) 없이도 즉각적인 3D 재구성을 가능하게 합니다. 그러나 이러한 매핑은 스케일 및 깊이 모호성으로 인해 본질적으로 부적 결정적(Ill-posed)인 문제입니다.

기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

1. 결정론적 회귀 모델(Deterministic Regression Models): 이들은 종종 복잡한 하이브리드 아키텍처(Vision Transformer와 컨볼루션의 결합)와 정교한 손실 함수에 의존합니다. 작업의 모호성 때문에 출력 분포의 평균을 예측하는 경향이 있으며, 이로 인해 복잡하거나 투명한 영역에서 고주파 세부 정보가 결여된 과도하게 매끄러운(Over-smoothed) 기하 구조를 생성합니다.
2. 잠재 확산 모델(Latent Diffusion Models, LDMs): GeometryCrafter와 같은 방법은 생성적 사전 지식(Generative priors)을 활용하지만, VAE를 통해 포인트 맵을 잠재 공간으로 압축해야 합니다. 이는 아키텍처의 오버헤드와 정보 손실을 초래합니다. 기하학적 데이터를 위한 토크나이저(Tokenizer)를 구축하는 것은 매우 까다로우며, VAE 재구성 목표와 확산 생성 목표 간의 상충되는 최적화 목표는 미세한 구조의 충실도를 제한할 수 있습니다.

방법론: PointDiT

저자들은 VAE, 잠재 공간 또는 하이브리드 아키텍처를 필요로 하지 않고, 가공되지 않은 3D 포인트 맵 패치에서 직접 작동하는 미니멀한 **픽셀 공간 확산 트랜스포머(Pixel-space Diffusion Transformer)**인 PointDiT를 소개합니다.

핵심 아키텍처

• 백본(Backbone): 처음부터 학습된 순수한 Vision Transformer(ViT)입니다. LDM과 달리 사전 학습된 토크나이저나 VAE 인코더/디코더를 요구하지 않습니다.
• 입력 표현: 3D 포인트 맵($H \times W \times 3$)은 멀티 채널 이미지로 취급됩니다. 이는 중첩되지 않는 $p \times p$ 패치(기본값 $p=16$)로 패치화된 후 토큰 임베딩으로 투영됩니다.
• 컨디셔닝(Conditioning): 모델은 frozen DINOv3 인코더로부터 추출된 토큰을 사용하여 입력 RGB 이미지에 조건화됩니다. 저자들은 DINOv3의 균등하게 배치된 4개의 중간 레이어로부터 특징을 결합하는 것이 표현 학습과 확산 학습 사이를 연결하는 풍부한 특징 계층을 제공한다는 것을 발견했습니다.
• 퓨전(Fusion): 이미지 토큰과 포인트 맵 토큰은 채널 방향으로 결합(Concatenate)되어 스택된 트랜스포머 블록을 통해 처리됩니다.

학습 전략

• 플로우 매칭(Flow Matching): 모델은 가우시안 노이즈 분포를 포인트 맵의 데이터 분포로 이동시키는 상미분 방정식(ODE)을 학습하는 플로우 매칭 프레임워크를 채택합니다.
• 예측 대상 (x-prediction): 핵심 혁신은 일반적인 확산 모델에서 흔히 쓰이는 속도 예측($v$-prediction)이나 플로우 매칭 타겟 대신, x-prediction(깨끗한 포인트 맵을 직접 예측)을 사용하는 것입니다. 저자들은 x-prediction이 기하학적 데이터에 매우 중요하며, 실질적으로 더 나은 결과를 낸다는 것을 입증했습니다.
• 손실 함수: 주요 목적은 속도 손실(Velocity loss)(추정된 속도와 실제 속도 사이의 MSE)입니다. 타겟 포인트의 크기에 따라 오차를 정규화하여 먼 곳의 포인트가 손실을 지배하지 않고 로컬 디테일이 보존되도록 하는 보조적인 **상대적 포인트 손실(Relative point loss)**이 추가되었습니다.
• 정규화 및 하늘 처리(Normalization & Sky Handling): 노이즈 사전 분포의 스케일에 맞추기 위해 포인트 맵의 중심을 빼고 평균 유클리드 거리로 나누어 표준화합니다. 하늘 포인트(무한대 깊이)는 가상 구체(Virtual sphere) 상에 투영되고 손실 계산 시 가중치를 낮추어, 실내외 장면 모두에서 안정적인 학습을 보장합니다.
• 학습 스케줄: 모델은 $256 \times 256$ 해상도의 합성 데이터(SceneNet-RGBD)에서 대규모 사전 학습을 거친 후, 11개의 고충실도 합성 데이터셋 혼합물을 사용하여 $512 \times 512$ 해상도로 미세 조정(Fine-tuning)됩니다.

추론(Inference)

• 샘플링: 모델은 오일러 솔버(Euler solver)를 사용하여 $t=0$(순수 노이즈)에서 $t=1$(깨끗한 데이터)까지 ODE를 해결합니다.
• 효율성: 놀랍게도 PointDiT는 **단일 단계 추론(Single-step inference)**만으로도 경쟁력 있는 결과를 달로 성취합니다. 추가적인 샘플링 단계는 경계의 선명도를 더욱 정교하게 만듭니다.
• 결정론적 모드: 모델은 모든 값이 0인 상태로 초기화되어(Deterministic) 추론할 수도 있으며, 이는 확률적 샘플링과 유사한 결과를 생성하여 입력 노이즈에 대한 견고함을 보여줍니다.

주요 기여

1. 기하학을 위한 픽셀 공간 확산: 픽셀 공간 확산이 밀집된 3D 기하학을 모델링하는 데 있어 계산적으로 가능할 뿐만 아니라, 잠재 기반 접근 방식보다 날카로운 디테일을 재구성하고 모호성을 해결하는 데 우수함을 입로 증명했습니다.
2. 미니멀한 아키텍처: VAE와 하이브리드 네트워크의 아키텍처 오버헤드를 제거하고, 가공되지 않은 포인트 맵에 대해 처음부터 학습된 순수한 Vi트를 사용합니다.
3. 3D를 위한 x-Prediction: 깨끗한 데이터를 직접 예측하는 것(x-prediction)이 속도 기반 타겟보다 훨씬 효과적임을 입증하여 기하학적 데이터에 대한 우월성을 확립했습니다.
4. 모호성에 대한 강건성: 생성적 정식화(Generative formulation)를 통해 모델이 결정론적 회귀 모델보다 날카로운 고주파 디테일을 포착하고 투명한 물체와 같은 모호한 영역을 더 잘 처리할 수 있게 합니다.

실험 결과

7개의 실제 데이터셋(DIOTE, KITTI, NYUv2, ETH3D, HAMMER, iBims-1, Booster)에 대해 $512 \times 512$ 해상도에서 평가되었습니다:

• 정확도: PointDiT-H는 비교된 모든 방법 중에서 최고의 깊이 정확도($Reld$, $\delta^1_d$)와 포인트 맵 정확도($\delta^1_p$)를 달성했습니다.
• 경계 선명도: PointDiT는 가장 높은 경계 충실도 지표(BF1)를 달성하였으며, 이는 잠재 확산 모델(GeometryCrafter)과 결정론적 회귀 모델(MoGe-2)을 크게 상회하는 수치입니다. 이는 얇은 구조와 날카로운 모서리를 복원하는 능력이 탁월함을 나타냅니다.
• 효율성: PointDiT는 잠재 확산 모델보다 현저히 빠릅니다. 단일 단계 추론 시, PointDiT-H는 72ms가 소요되는 반면, GeometryCrafter는 1,178ms가 소요됩니다.
• 정성적 성능: 시각적 비교 결과, PointDiT는 결정론적 회귀의 과도한 매끄러움이나 VAE 기반 잠재 확산의 노이즈/아티팩트를 피하면서, 복잡한 구조(예: 의자 다리)와 투명한 물체를 더 충실하게 복원합니다.

의의 및 주장

본 논문은 PointDiT가 미래의 3D 및 4D 생성 모델을 위한 더 단순한 패러다임을 제시한다고 주장합니다. 밀집된 기하학이 VAE 없이도 픽셀 공간에서 효과적으로 모델링될 수 있음을 보여줌으로써, 저자들은 이미지 생성과 3D 재구축 사이의 간극을 메웁니다.

저자들은 자사의 접근 방식이 다음과 같음을 강조합니다:

• 복잡한 잠재 기반 확산 모델보다 단순하면서도, 복잡한 하이브리드 결정론적 대안들보다 뛰어납니다.
• 더 날카로운 기하 구조를 생성하며, 매우 모호한 영역에서도 더 강건합니다.
• 픽셀 공간 확산이 자연스러운 이미지에서 구조화된 기하 신호로 자연스럽게 확장될 수 있음을 시사하며, VAE가 없는 엔드투엔드 3D 및 4D 생성의 길을 열어줍니다.

논문은 현재 모델이 고정된 해상도에서 학습된다는 점과 실외 장면에서의 성능을 높이기 위해 더 다양한 학습 데이터가 필요하다는 점 등 한계점에 대해서는 겸허하게 언급하고 있습니다. 또한 향후 연구로서 순수한 Vi트 백본을 확장하여 RGB 외형을 공동 출력하거나 다중 뷰 생성을 처리할 수 있을 것을 제안합니다.