Lifting Unlabeled Internet-level Data for 3D Scene Understanding

1. 문제 정의 (Problem)

• 레이블된 3D 데이터의 부족: 3D 장면 이해 (Scene Understanding) 의 발전은 대규모로 정밀하게 주석 (Annotation) 이 달린 3D 데이터셋 (예: ScanNet, ARKitScenes) 에 의존해 왔습니다. 그러나 이러한 데이터는 특수 하드웨어 (RGB-D 센서, LiDAR 등) 와 수동 주석 작업이 필요하여 획득 비용이 매우 높고 양이 제한적입니다.
• 인터넷 데이터의 활용 부재: 반면, 인터넷에는 무수히 많은 레이블 없는 비디오가 존재하지만, 이를 3D 이해를 위한 학습 데이터로 효과적으로 변환하는 체계적인 방법이 부족했습니다.
• 기존 접근법의 한계: 기존 연구들은 주로 2D 이미지를 3D 로 변환하거나, 특정 내비게이션 작업에 국한된 데이터 생성에 집중했으며, 3D 장면 이해의 전 범위 (기하학적 인식부터 고수준 추론까지) 를 아우르는 자동화된 데이터 파이프라인과 그 효율성/효과성에 대한 체계적인 분석이 결여되어 있었습니다.

2. 방법론 (Methodology)

저자들은 **SceneVerse++**이라는 대규모 데이터셋을 구축하기 위해 인터넷 비디오에서 학습 데이터를 자동 생성하는 **데이터 엔진 (Data Engines)**을 설계했습니다.

A. 데이터 큐레이션 파이프라인 (Data Curation Pipeline)

1. 비디오 전처리: YouTube 및 Bilibili 등의 플랫폼에서 수집한 8,217 개의 장편 비디오를 TransNetV2 를 이용해 샷 (Shot) 단위로 분할합니다.
2. 필터링: 검은 화면, 시각적 노이즈, 사람, 야외 장면 등을 제거하고, 3D 재구성에 적합한 실내 장면을 선별합니다.
3. 키 프레임 추출 및 SfM (Structure-from-Motion): 균일 샘플링 대신 시차 (Parallax) 기반의 키 프레임 선택을 통해 삼각측량을 최적화합니다. Mast3R-SFM 과 유사한 밀도 높은 픽셀 매칭과 번들 어저스트먼트 (Bundle Adjustment) 를 통해 카메라 포즈와 희소 3D 점군을 생성합니다.
4. 품질 검증: 자동화된 필터링 후, 인간 주석 (<10 초/장면) 을 통해 공간 커버리지, SfM 결과의 정확도 등을 최종 검증하여 6,687 개의 고품질 장면을 확보합니다.

B. 3D 데이터 자동 생성 엔진

• 밀도 높은 재구성 (Dense Reconstruction): SfM 의 희소 점군을 기반으로 PriorDA 를 활용한 메트릭 깊이 추정 (Metric Depth Estimation) 을 수행하고, TSDF (Truncated Signed Distance Function) 를 사용하여 방수 (Watertight) 3D 메쉬를 생성합니다. 이는 신경 렌더링의 높은 계산 비용과 End-to-end 프레임워크의 아티팩트 문제를 균형 있게 해결합니다.
• 인스턴스 분할 (Instance Segmentation): CropFormer 를 이용해 2D 마스크를 생성한 후, 인접 프레임 간의 뷰 컨센서스 (View Consensus) 와 공간적 합의를 통해 3D 공간으로 리프팅 (Lifting) 합니다. Describe Anything 및 Qwen2-VL 을 활용해 각 3D 인스턴스에 대한 텍스트 설명과 ScanNet 카테고리 라벨을 자동 생성합니다.
• 고수준 추론 데이터 생성:
  • 3D 공간 VQA: 생성된 3D 장면 그래프 (Scene Graph) 를 기반으로 객체 수, 상대적 거리/방향, 크기, 절대 거리, 방 크기, 경로 계획 등에 대한 질문 - 답변 쌍을 자동 생성합니다.
  • 3D VLN (Vision-Language Navigation): 룸 투어 (Room-tour) 비디오의 카메라 궤적을 분석하여, 불필요한 회전과 백트래킹을 제거하고 R2R (Room-to-Room) 벤치마크 형식에 맞는 이산적 행동 (이동, 회전) 과 자연어 지시문으로 변환합니다.

3. 주요 기여 (Key Contributions)

1. SceneVerse++ 데이터셋 구축: 인터넷 비디오에서 자동 생성된 6,687 개의 실세계 3D 장면 (이미지, 카메라 포즈, 밀도 재구성, 인스턴스 분할, 고수준 추론 주석 포함) 을 공개했습니다. 이는 기존 데이터셋보다 더 많은 장면 수와 넓은 공간, 다양한 객체 분포를 가집니다.
2. 자동화 데이터 생성의 체계적 분석: 3D 데이터 자동 생성 파이프라인의 병목 현상을 분석하고, 효율성과 효과성을 결정하는 핵심 요소 (예: 재구성 품질, 분할 민감도, 도메인 간격) 를 규명했습니다.
3. 다양한 작업에서의 검증: 3D 객체 탐지, 인스턴스 분할, 3D 공간 VQA, VLN 등 3 가지 다른 수준의 작업에서 자동 생성 데이터의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 3D 객체 탐지 및 분할:
  • SceneVerse++ 로 학습된 모델은 ScanNet 및 ARKitScenes 에서 Zero-shot 성능을 보이며, 기존 합성 데이터 학습 모델보다 우수한 성능을 기록했습니다.
  • ScanNet 에서 파인튜닝 (Finetuning) 시 F1@0.25 점수가 38.0 에서 58.6으로 크게 향상되었습니다.
  • 인스턴스 분할 (Mask3D) 의 경우, 데이터 도메인 편향 (Sensor/Reconstruction 파이프라인 차이) 에 민감하지만, 파인튜닝 후 전 성능 지표에서 향상되었습니다.
• 3D 공간 VQA (VSI-Bench):
  • VLM(Qwen2.5-VL) 에 SceneVerse++ 데이터를 학습시켰을 때, 공간 추론 능력이 크게 향상되었습니다 (3B 모델 기준 +14.9 점).
  • 일반 공간 지식 (상대적 거리/방향) 에서는 Ground-truth 데이터와 유사한 일반화 성능을 보였으나, 도메인 특화 지식 (객체 수, 방 크기) 에서는 벤치마크 편향으로 인해 성능 격차가 존재함을 확인했습니다.
• 3D VLN (R2R 벤치마크):
  • SceneVerse++ 로 사전 학습 (Pre-train) 하고 R2R 에서 파인튜닝한 모델은 Success Rate (SR) 가 0.228로, R2R 만 학습한 모델 (0.088) 보다 약 2.6 배 높은 성능을 보였습니다.
  • NaVILA(Youtube 기반 VLN 데이터) 와 비교 시, 데이터 양은 적었으나 구조화된 궤적 덕분에 더 나은 내비게이션 성능을 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 3D 공간 지능의 새로운 패러다임: 고비용의 수동 주석 데이터에 의존하지 않고, 방대한 인터넷 비디오를 자동화 엔진을 통해 고품질 3D 학습 데이터로 변환할 수 있음을 증명했습니다.
• 확장성 (Scalability): 모델 아키텍처와 데이터 특성에 따라 확장성이 달라질 수 있음을 지적했습니다. (예: Raw 모달리티 기반 모델은 잘 확장되나, 특정 세그먼트에 의존하는 모델은 도메인 편향에 취약함).
• 미래 방향: 자동화된 데이터 생성 파이프라인의 모듈 (SfM, 분할, 언어 정렬 등) 이 개별 작업 성능뿐만 아니라 전체 파이프라인의 신뢰성을 고려하여 개발되어야 함을 강조합니다. 또한, 인터넷 데이터의 윤리적 사용과 프라이버시 보호가 중요함을 언급했습니다.

이 논문은 레이블 없는 웹 규모의 데이터를 활용하여 3D 장면 이해 시스템의 능력을 획기적으로 향상시킬 수 있는 가능성을 제시하며, 향후 3D 공간 지능 (Spatial Intelligence) 연구의 중요한 방향성을 제시합니다.