기술 요약: TRACE-GS

문제 정의

희소 뷰(Sparse-view) 3D 가우시안 스플래팅(3DGS) 재구성은 입력 뷰가 제한될 때(예: 3~9장의 이미지) 심각한 기하학적 미결정성(under-constrained geometry) 문제를 겪습니다. 이는 플로터(floaters), 파편화된 기하 구조, 흐릿한 텍스처와 같은 아티팩트로 이어집니다. 최근의 접근 방식들은 사전 학습된 확산 모델(diffusion models)을 생성적 프라이어(generative priors)로 활용하여 3DGS 정교화를 위한 새로운 뷰 렌더링을 복원하려고 하지만, 이들은 근본적인 훈련-추론 불일치(training-inference mismatch) 문제에 직면합니다:

1. 오프-폴리시 상태 불일치(Off-Policy State Mismatch): 기존 방법들은 깨끗한 타겟으로부터 유도된 독립적으로 전방향 노이즈가 추가된 상태(forward-noised states)에서 모델을 감독합니다. 그러나 추론 시, 모델은 자신의 디노이징 예측에 의해 구동되는 순차적 롤아웃(sequential rollout)을 따릅니다. 결과적으로 모델은 훈련 목적 함수에서 다루지 않은 스스로 생성한 상태들을 마주하게 됩니다.
2. 누적되는 기하학적 편향(Compounding Geometry Bias): 희소 뷰 설정에서는 초기 기하 구조가 미결정 상태입니다. 초기 디노이징 단계에서의 아티팩트는 후속 방향에 편향을 일으키며, 이러한 편향은 롤아웃을 따라 누적됩니다. 오프-폴리시 감독은 추론 중에 실제로 방문하는 상태를 감독하지 않기 때문에 이러한 편향을 교정하는 데 실패합니다.

방법론: TRACE-GS

TRACE-GS(특권적 기하학적 조건부 정보를 이용한 온-폴리시 궤적 증류)는 희소 뷰 복원을 특권 정보 활용 학습(Learning Using Privileged Information, LUPI) 문제로 공식화하여 이러한 문제를 해결합니다. 이 프레임워크는 훈련 중에만 사용 가능한 "특권(privileged)" 기하학적 정보에 접근할 수 있는 교사-학생(teacher-student) 구조를 채택합니다.

1. 기하학적 비대칭 LUPI 공식화

• 설정: 주어진 장면에 대해 두 가지 3DGS 재구성이 생성됩니다: 하나는 희소 입력 뷰($V_s$)로부터, 다른 하나는 사용 가능한 모든 훈련 뷰($V_d$, 여기서 $V_s \subset V_d$)로부터 생성된 것입니다.
• 특권 정보: 밀집 뷰 재구성($R_d$)은 희소 뷰 재구성($R_s$)에 비해 더 풍부하고 신뢰할 수 있는 기하 구조와 적은 아티팩트를 제공합니다. 이 기하학적 충실도 격차가 바로 특권 정보가 됩니다.
• 구조: 단일 속도 예측 백본($v_\theta$)이 **교사(Teacher)**와 학생(Student) 간에 공유됩니다.
  • 교사: 밀집 뷰 렌더링($R_d$)을 조건으로 합니다. 이는 특권 있는 가이드 역할을 합니다.
  • 학생: 희소 뷰 렌더링($R_s$)을 조건으로 합니다. 이는 배포 가능한 모델입니다.
  • 두 모델은 동일한 동결된 백본과 동일하게 초기화된 학습 가능한 LoRA 어댑터를 공유하지만, 오직 조건부 입력(conditioning inputs)에서만 차이가 납니다.

2. 훈련 전략

훈련 과정은 학생을 특권 있는 교사와 정렬하기 위해 두 가지 주요 단계로 구성됩니다:

• 특권 방향 정렬 (Warm-up):
  독립적으로 샘플링된 전방향 노이즈 상태에서, 학생의 예측($v_S$)은 교사의 예측($v_T$)과 정렬됩니다. 이는 희소 기하 격차로 인한 초기 방향 편향을 줄여줍니다.
  $$\mathcal{L}_{align} = \mathbb{E}[\|v_S - \text{sg}[v_T]\|_2^2]$$
  (여기서 sg는 stop-gradient를 의미함).

• 온-폴리시 궤적 증류 (On-Policy Trajectory Distillation):
  이전 방법들과 달리, TRACE-GS는 학생 자신의 롤아웃 궤적($Z_S$)을 따라 모델을 감독합니다.

  • 학생 롤아웃: 학생은 노이즈로부터 시작하여 자신의 예측을 사용하여 상태의 궤적($z^S_{t'}$)을 생성합니다.
  • 교사 쿼리: 학생이 방문한 각 상태에서, 동결된 교사는 동일한 상태와 특권 있는 밀집 기하($R_d$)를 사용하여 타겟 속도($u^T_i$)를 생성하도록 쿼리됩니다. 교사는 자체적인 롤아웃을 수행하지 않습니다.
  • 궤적 손실: 학생의 속도 예측은 이 방문된 상태들에서의 교사 타겟과 정렬됩니다:
    $$\mathcal{L}_{traj} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|u^S_i - \text{sg}[u^T_i]\|_2^2\right]$$

• 온-폴리시 검색 정렬 (On-Policy Retrieval Alignment):
  학생이 단순히 속도 방향뿐만 아니라 교차 뷰 증거를 올바르게 활용하도록 보장하기 위해, 프레임워크는 방문된 상태에서 학생과 교사의 교차 주의(cross-attention) 검색 응답을 정렬합니다.
  $$\mathcal{L}_{ret} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|\bar{F}^S_i - \text{sg}[\bar{F}^T_i]\|_2^2\right]$$
  여기서 $\bar{F}$는 정규화된 검색 응답을 나타냅니다.

3. 배포

배포 시에는 희소 조건부 학생 모델만 유지됩니다. 이 모델은 희소 뷰 3DGS로부터 아티팩트가 있는 렌더링을 복원합니다. 이렇게 복원된 렌더링은 3DGS 표현을 반복적으로 정교화하기 위한 의사 관측치(pseudo-observations)로 사용됩니다. 추론 중에는 특권 기하학이나 교사 계산이 필요하지 않습니다.

핵심 기여

1. 결합된 한계점 식별: 저자들은 오프-폴리시 불일치와 기하학적 유도 편향이 희소 뷰 3DGS 복원에서 결합되어 발생함을 식별하였으며, 이를 위해 추론 중에 실제로 방문하는 상태에서의 감독이 필요함을 밝혔습니다.
2. 기하학적 비대칭 LUPI: 본 논문은 풍부한 기하학적 조건(밀집 뷰)을 가진 교사로부터 희소한 조건(희소 뷰)을 가진 구조적으로 동일한 학생에게 지식이 전달되는 새로운 LUPI 설정을 제안합니다.
3. 희소 3DGS를 위한 최초의 온-폴리시 감독: TRACE-GS는 특권 있는 밀집 뷰 기하로부터 온-폴리시 감독을 도출하여, 교사의 롤아웃을 요구하지 않고도 학생의 롤아웃을 따라 디노이징 방향과 검색 응답을 정렬하는 최초의 방법입니다.

실험 결과

이 방법은 DL3DV-Benchmark(인도메인), Mip-NeRF 360, NeRF-Busters(아웃오브도메인)의 세 가지 데이터셋에 대해 3, 6, 9개의 입력 뷰를 사용하여 평가되었습니다.

• 정량적 성능: TRACE-GS는 모든 데이터셋과 희소성 수준에서 PSNR, SSIM, LPIPS에 대해 최첨단(SOTA) 성능을 달성했습니다.
  • DL3DV-Benchmark에서, TRACE-GS는 (3-뷰 설정에서) 이전 최고 모델인 GSFixer보다 PSNR에서 0.47 dB 높은 성능을 보였습니다.
  • 아웃오브도메인 데이터셋에서도 모든 지표에서 일관되게 앞섰으며, 특히 도전적인 3-뷰 설정에서 우수했습니다 (예: Mip-NeRF 360에서 GSFixer 대비 +0.73 dB).
• 정성적 개선: 시각적 비교를 통해 TRACE-GS는 베이스라인 모델들이 흐릿함이나 기하학적 파편화를 보이는 지점에서도 더 선명한 디테일과 일관된 구조(예: 텍스트, 반사, 물체 윤곽선)를 복원함을 보여줍니다.
• 절제 연구 (Ablation Studies):
  • 특권 기하학: 교사에 사용되는 뷰 수를 늘림에 따라(3개에서 전체 사용 가능 뷰까지) 성능이 단조 증가하였으며, 이는 기하학적 격차의 가치를 확인시켜 줍니다.
  • 온-폴리시 vs 오프-폴리시: 오프-폴리시 감독(독립적으로 샘플링된 상태)으로 교체했을 때, 특히 오류가 누적되는 후기 디노이징 단계에서 성능이 낮아졌습니다. 이는 방문된 상태를 감독하는 것의 필요성을 입증합니다.
  • 검색 정렬: 검색 정렬을 추가하면 일관된 이득이 제공되어, 더 나은 교차 뷰 일관성을 보장합니다.

의의 및 주장

본 논문은 TRACE-GS가 희소 뷰 복원에 있어 근본적인 변화를 나타낸다고 주장합니다. 더욱 정교한 복원 구조를 추구하는 것에서 벗어나, 확산 기반 프라이어의 핵심 한계인 훈련-추론 불일치 문제를 해결합니다.

그 의의는 3DGS에 적용된 특권 정보 활용 학습(LUPI) 프레임워크에 있습니다:

• 훈련 시의 기하학적 이점(밀집 뷰)을 활용하여, 배포 시에는 희소 뷰로만 작동하는 모델을 가이드합니다.
• 가이드가 모델이 가장 필요로 하는 곳, 즉 실제 추론 궤적을 따라 적용되도록 보장합니다.
• 이 방법은 추가적인 뷰나 계산 오버헤드 없이도 다양한 데이터셋과 희소성 수준에 걸쳐 강력한 일반화 성능을 달성하는 "드롭인(drop-in)" 정교화 단계로 제시됩니다.