Splat and Distill: Augmenting Teachers with Feed-Forward 3D Reconstruction For 3D-Aware Distillation

[기술 요약] Splat and Distill (SnD)

1. 문제 정의 (Problem Statement)

최근 DINOv2와 같은 시각 기초 모델(Vision Foundation Models, VFMs)은 2D 작업에서 뛰어난 성능을 보이지만, 3D 인식 능력(3D awareness)이 부족하다는 치명적인 한계가 있습니다. 즉, 단안 깊이 추정(monocular depth estimation), 표면 법선 추정(surface normal estimation), 다중 뷰 대응(multi-view correspondence)과 같이 기하학적 구조 이해가 필수적인 작업에서 성능이 제한적입니다.

기존 연구들은 2D 특징을 3D로 리프팅(lifting)하여 최적화하는 방식을 사용했으나, 이는 다음과 같은 문제를 가집니다:

• 비효율성: 장면마다 별도의 최적화 과정이 필요하여 속도가 매우 느림.
• 일관성 결여: 서로 다른 뷰에서 추출된 2D 특징들이 일관되지 않아, 최적화 과정에서 특징들이 평균화(averaging)되어 기하학적 세부 사항이 뭉개지는(blurring) 현상이 발생함.

2. 제안 방법론 (Methodology)

본 논문은 **'Splat and Distill (SnD)'**라는 프레임워크를 제안합니다. 핵심 아이디어는 교사(Teacher) 모델을 피드포워드(feed-forward) 3D 재구성 파이프라인으로 증강하여, 3D적으로 일관된 특징을 생성하고 이를 학생(Student) 모델에게 증류(Distillation)하는 것입니다.

주요 단계:

1. 3D 교사 증강 (3D-Aware Teacher Augmentation):
   • 사전 학습된 피드포워드 3D 재구성 모델(MVSplat)을 사용하여 컨텍스트 뷰(context views)로부터 3D 가우시안(3D Gaussians) 기하 구조를 즉시 예측합니다.
   • 교사 모델이 추출한 2D 특징을 이 3D 가우시안에 결합(Lifting)하여 '특징이 포함된 3D 장면'을 구축합니다.
2. 마스크 인식 특징 리프팅 (Mask-Aware Feature Lifting):
   • 2D 특징 맵과 3D 가우시안 사이의 해상도 차이로 인한 블러링을 방지하기 위해, 세그멘테이션 마스크를 활용하여 객체의 경계를 보존하며 특징을 업스케일링합니다.
3. 의미론적 블렌딩 (Semantic Blending):
   • 재구성된 3D 장면을 새로운 시점(target view)에서 렌더링할 때 발생하는 기하학적 노이즈를 줄이기 위해, 동일한 객체 영역 내에서 특징을 부드럽게 평균화하여 일관된 지도 신호(supervisory signal)를 생성합니다.
4. 학생-교사 증류 (Student-Teacher Distillation):
   • 학생 모델은 타겟 이미지의 2D 특징을 추출하고, 교사 모델이 3D 장면으로부터 렌더링한 '3D적으로 일관된 특징 맵'을 모방하도록 학습됩니다.
   • 교사 모델의 가중치는 학생 모델의 지수 이동 평균(EMA)으로 업데이트되어, 학습이 진행됨에 따라 교사와 학생의 일관성이 함께 향상됩니다.

3. 주요 기여 (Key Contributions)

• 피드포워드 방식 도입: 기존의 느린 최적화 기반 방식 대신 빠른 피드포워드 3D 재구성을 사용하여 확장성과 효율성을 확보했습니다.
• 3D 일관성 강제: 3D 가우시안 스플래팅(3DGS)을 활용해 2D 특징을 3D 공간에 투영하고 다시 렌더링함으로써, 모델이 기하학적 구조를 직접 학습하도록 유도했습니다.
• 경계 보존 기술: 마스크 인식 업스케일링과 세만틱 블렌딩을 통해 3D 재구성 과정에서 발생할 수 있는 특징의 왜곡과 경계 뭉개짐 문제를 해결했습니다.

4. 실험 결과 (Results)

다양한 다운스트림 태스크에서 기존 SOTA(State-of-the-art) 모델들을 압도하는 성능을 보였습니다:

• 단안 깊이 추정 (Depth Estimation): ScanNet++, ScanNet, NYUv2 데이터셋 모두에서 RMSE 및 상대 오차(Rel)를 크게 낮추며 가장 높은 정확도를 기록했습니다.
• 표면 법선 추정 (Surface Normal): NYUv2 데이터셋에서 기존 모델 대비 약 4~5%의 RMSE 개선을 달гах했습니다.
• 다중 뷰 대응 (Multi-view Correspondence): 시점 변화가 커져도 높은 Recall을 유지하며 뛰어난 기하학적 일관성을 입증했습니다.
• 의미론적 풍부함 (Semantic Richness): 3D 인식을 강화하면서도 세그멘테이션(Segmentation) 성능이 저하되지 않고 오히려 향상되어, 기하학적 정보와 의미론적 정보가 동시에 강화됨을 보여주었습니다.
• OOD(Out-of-Distribution) 일반화: 학습 데이터와 다른 환경(ADE20k, KITTI 등)에서도 우수한 성능을 유지하며 강력한 일반화 능력을 증명했습니다.

5. 의의 (Significance)

본 연구는 **"2D 기초 모델에 어떻게 하면 효율적으로 3D 지식을 주입할 것인가?"**라는 질문에 대해 매우 실용적이고 강력한 해답을 제시했습니다. 특히 최적화 없이 피드포워드 방식으로 3D 일관성을 학습할 수 있음을 보여줌으로써, 향후 3D 인식이 가능한 범용 시각 모델을 구축하는 데 중요한 방법론적 토대를 마련했습니다.