1. 문제 정의 (Problem)

• 3D 데이터의 확장성 한계: 3D 자기지도학습 (Self-Supervised Learning, SSL) 의 발전은 대규모 3D 장면 스캔 데이터의 부재에 의해 제한받고 있습니다. 실제 3D 스캔 (LiDAR, RGB-D 등) 을 수집하고 수동으로 주석을 다는 것은 비용이 매우 많이 들고 노력이 많이 들어갑니다. 현재 널리 사용되는 실내 장면 데이터셋 (예: ScanNet) 은 약 5 천 개의 고유한 장면으로 제한되어 있어, 2D 비전 (DINOv2 등) 에서 달성한 수준의 대규모 사전 학습 (Pre-training) 을 3D 영역에서 달성하기 어렵습니다.
• 기존 방법의 한계: 기존 3D-SSL 방법론들은 합성 데이터와 실제 데이터를 혼합하더라도 학습 규모가 제한적이며, 여전히 실제 3D 스캔 데이터에 의존하고 있습니다.

2. 제안 방법 (Methodology)

이 논문은 실제 3D 센서 없이 unlabeled 비디오로부터 3D 표현을 학습할 수 있음을 입증하고, 이를 위한 새로운 프레임워크 LAM3C와 데이터셋 RoomTours를 제안합니다.

가. RoomTours (데이터셋)

• 구성: 웹 (유튜브 등) 에서 수집된 실내 투어 비디오 (부동산 투어 등) 를 기반으로 구축된 비디오 생성 포인트 클라우드 (VGPC, Video-Generated Point Clouds) 데이터셋입니다.
• 규모: 총 49,219 개의 장면을 포함하며, 다양한 조명, 카메라 경로, 건축 스타일을 다룹니다.
• 생성 파이프라인:
  1. 비디오 수집: "실내 투어", "부동산" 등의 키워드로 전 세계 도시의 비디오를 수집합니다.
  2. 장면 분할: CLIP 모델을 사용하여 프레임을 '실내/실외'로 분류하고, 거실/침실/욕실로 세분화하여 장면 시퀀스를 생성합니다.
  3. 3D 재구성: 오프더셸 (off-the-shelf) 피드포워드 재구성 모델인 $\pi3$를 사용하여 비디오 시퀀스에서 포인트 클라우드를 생성합니다.
  4. 정렬 (Alignment): 생성된 VGPC 는 좌표계, 스케일, 간격이 불일치할 수 있으므로, Z 축 정렬, 스케일 정규화 (ScanNet 분포 기반), 노이즈 제거 (SOR 필터) 등을 수행하여 기하학적 일관성을 확보합니다.

나. LAM3C (학습 프레임워크)

• 핵심 아이디어: VGPC 는 노이즈와 누락된 영역이 존재하므로, 기존 클러스터링 기반 SSL 방법론 (Sonata 등) 을 그대로 적용하면 불안정합니다. 이를 해결하기 위해 **노이즈 정규화 손실 (Noise-regularized Loss)**을 도입합니다.
• 아키텍처: Teacher-Student 구조 (EMA 업데이트) 를 따르며, Sinkhorn-Knopp 클러스터링을 기반으로 합니다.
• 새로운 손실 함수:
  1. 라플라시안 스무딩 손실 (Laplacian Smoothing Loss): VGPC 의 국소 기하학적 구조를 활용합니다. k-NN 그래프를 구성하여 인접한 점들이 유사한 임베딩을 갖도록 강제합니다. 노이즈가 있는 점에는 가중치를 낮게 부여하여 임베딩의 불안정성을 줄입니다.
  2. 노이즈 일관성 손실 (Noise Consistency Loss): 동일한 장면의 서로 다른 뷰 (노이즈 증강된 뷰 vs 마스킹된 뷰) 가 임베딩 공간에서 일관된 글로벌 표현을 갖도록 강제합니다. 이를 통해 노이즈가 있더라도 안정적인 표현을 학습합니다.
• 총 목적 함수: 기존 클러스터링 손실 + 라플라시안 스무딩 + 노이즈 일관성 손실의 가중 합입니다.

3. 주요 기여 (Key Contributions)

1. RoomTours 데이터셋: 웹 비디오에서 추출한 49k 개의 VGPC 장면으로 구성된 대규모 데이터셋을 구축했습니다.
2. LAM3C 프레임워크: 불완전하고 노이즈가 많은 VGPC 에서 안정적인 표현 학습을 가능하게 하는 자기지도학습 방법론을 제안했습니다.
3. 실제 스캔 없는 3D-SSL 가능성 입증: 실제 3D 스캔 데이터를 전혀 사용하지 않고도, VGPC 만으로 사전 학습한 모델이 기존 실제 데이터 기반 방법론보다 우수한 성능을 보임을 증명했습니다.

4. 실험 결과 (Results)

• 평가 데이터셋: ScanNet, ScanNet++, ScanNet200, S3DIS 등 주요 실내 3D 데이터셋에서 시맨틱 세그멘테이션 및 인스턴스 세그멘테이션 작업을 수행했습니다.
• 성능 비교:
  • 시맨틱 세그멘테이션: LAM3C(49k VGPC 로 학습) 는 실제 3D 스캔 데이터로 학습된 SOTA 방법론인 Sonata를 능가하거나 동급의 성능을 보였습니다 (예: ScanNet Full-FT 에서 77.7 mIoU vs Sonata 79.4 mIoU, LAM3C Large 변형은 79.5 mIoU).
  • 인스턴스 세그멘테이션: S3DIS Area 5 에서 LAM3C(49k) 는 45.7 mAP 를 기록하여 Sonata(45.5 mAP) 보다 높은 성능을 달성했습니다.
  • 데이터 효율성: 학습 데이터 양이 제한된 상황 (10% ScanNet) 에서도 LAM3C 는 기존 방법론보다 우수한 일반화 성능을 보여주었습니다.
• 결론: VGPC 는 실제 3D 스캔을 대체할 수 있을 뿐만 아니라, 대규모 데이터 확보를 통해 3D 표현 학습의 확장성을 가능하게 합니다.

5. 의의 및 중요성 (Significance)

• 3D 데이터 수집의 패러다임 전환: 고비용의 실제 3D 스캔에 의존하지 않고, 웹에 존재하는 방대한 unlabeled 비디오를 3D 학습 데이터로 활용할 수 있음을 증명했습니다.
• 확장성 (Scalability): 비디오 기반 데이터 생성은 비용 효율적이며 무한히 확장 가능하므로, 2D 비전 분야에서 이루어진 대규모 사전 학습의 성공을 3D 영역으로 가져올 수 있는 길을 열었습니다.
• 노이즈 내성 학습: 불완전한 3D 재구성 데이터에서도 효과적으로 학습할 수 있는 새로운 정규화 기법을 제시하여, 향후 3D 컴퓨터 비전 연구에 중요한 통찰을 제공합니다.

이 논문은 **"3D 스캔 없이 3D 를 이해할 수 있다"**는 것을 입증하며, 3D AI 모델의 대규모 학습을 위한 새로운 데이터 소스와 방법론을 제시했다는 점에서 매우 중요합니다.