Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence

이 논문은 인간의 개입 없이 원시 비디오 데이터로부터 대규모 3D 가우시안 스플래팅 (3DGS) 재구성과 다양한 공간적 추론 질문 - 답변 쌍을 자동 생성하는 최초의 대규모 멀티모달 데이터셋인 'Holi-Spatial'을 제안하고, 이를 통해 기존 벤치마크의 확장성 한계를 극복하고 시각 - 언어 모델의 공간 지능 성능을 획기적으로 향상시켰음을 보여줍니다.

핵심

🎨 홀리-스페이스 (Holi-Spatial): 비디오를 3D 지능으로 바꾸는 마법 같은 공장

이 논문은 **"우리가 스마트폰으로 찍은 평범한 동영상들을, 로봇이나 AI 가 3D 공간을 완벽하게 이해할 수 있는 '지능'으로 바꾸는 새로운 방법"**을 소개합니다.

기존의 방식은 비유하자면 **"수공예품"**과 같았습니다. 전문가들이 하나하나 손으로 3D 장면을 만들고, 물체의 위치를 일일이 표시해 주어야 했죠. 이는 시간이 너무 오래 걸리고 비용도 많이 들어, AI 가 배울 수 있는 데이터가 매우 부족했습니다.

하지만 이 논문이 제안한 **'Holi-Spatial'**은 마치 **"자동화 공장"**이나 **"지능적인 요리사"**와 같습니다. 사람의 손길 없이, raw(생) 비디오만 넣으면 자동으로 정교한 3D 지도와 설명서를 만들어냅니다.

---

🏭 핵심 아이디어: "자동화 3D 공장"의 3 단계 과정

이 시스템은 비디오를 3D 지능으로 변환하는 3 단계 공정을 거칩니다.

1 단계: 뼈대 만들기 (기하학적 최적화)

• 비유: 흐릿한 사진에서 선명한 입체 구조를 잡는 것.
• 설명: 처음에 AI 는 동영상을 보고 대략적인 깊이 (Depth) 를 추정합니다. 하지만 이때는 마치 안개가 낀 것처럼 물체가 흔들리거나 (플로터링), 형태가 뭉개지는 경우가 많습니다.
• 해결책: 이 시스템은 **3D 가우스 스플래팅 (3DGS)**이라는 기술을 이용해, 여러 각도에서 본 영상을 합쳐서 물체의 '뼈대'를 단단하게 다집니다. 마치 흐릿한 초상화를 여러 각도에서 찍어 합치면 선명한 얼굴이 나오는 것처럼, 안개 같은 3D 구조를 깨끗하게 정리합니다.

2 단계: 눈과 이름 붙이기 (이미지 수준의 인식)

• 비유: 카메라가 물체를 보고 "저건 소파야, 저건 책상이야"라고 이름을 붙이고 모양을 가리는 것.
• 설명: 정리된 뼈대 위에, 최신 AI(VLM) 가 등장합니다. 이 AI 는 영상 속의 물체를 보고 "의자", "등받이", "꽃병" 같은 이름을 붙이고, SAM3라는 도구를 이용해 물체의 정확한 윤곽선 (마스크) 을 그립니다.
• 특이점: 기존에는 정해진 이름 (의자, 책상) 만 알아봤지만, 이 시스템은 "빨간색 무늬가 있는 소파"처럼 새로운 이름도 스스로 만들어낼 수 있습니다 (Open-Vocabulary).

3 단계: 다듬기 및 정리 (장면 수준의 정제)

• 비유: 여러 각도에서 찍은 같은 물체를 하나로 합치고, 틀린 것을 골라내는 '검수' 과정.
• 설명:
  • 합치기: 같은 소파가 여러 프레임에서 여러 개로 나뉘어 보일 수 있습니다. 이 시스템은 "아, 이건 같은 소파구나!"라고 판단해서 하나로 합칩니다.
  • 검수 (Agent): AI 가 "이건 쓰레기야"라고 잘못 판단한 경우를 위해, 또 다른 AI 에이전트가 "잠깐, 이걸 확대해서 다시 봐보자"라고 확인합니다.
  • 설명서 작성: 최종적으로 남은 물체들에게 "이 소파는 창문 왼쪽에 있고, 빨간색이며..."라는 상세한 설명과, "소파가 의자보다 어디에 있나요?" 같은 질문과 답변 (QA) 쌍을 자동으로 만들어냅니다.

---

📦 결과물: 홀리-스페이스 -4M (Holi-Spatial-4M)

이 공장을 가동해서 만든 거대한 데이터셋은 다음과 같습니다:

• 12,000 개의 3D 장면: 완벽하게 정리된 3D 공간.
• 130 만 개의 2D 마스크: 물체의 정확한 모양.
• 32 만 개의 3D 박스: 물체의 위치와 크기.
• 120 만 개의 질문과 답변: "소파가 책상보다 어디에 있나?", "의자가 어디로 회전했나?" 같은 공간 지능 훈련용 데이터.

🚀 왜 이것이 중요한가요? (기존과 비교)

• 기존 방식: "수제 비누"처럼 한 번에 몇 개만 만들 수 있고, 품질도 일정하지 않음. (데이터 부족, 비용 과다)
• 이 방식: "공장 생산"처럼 무한히 확장 가능하고, 품질이 매우 높음.
  • 실험 결과, 기존 최고의 방법들보다 3D 물체 탐지 정확도가 64%나 향상되었고, 깊이 추정 정확도도 크게 개선되었습니다.

🤖 실제 효과: AI 가 3D 공간을 이해하게 되다

이 데이터로 Qwen3-VL 같은 거대 AI 모델을 훈련시켰더니, 놀라운 변화가 일어났습니다.

• 공간 추론 능력 향상: "의자가 소파의 왼쪽에 있고, 소파가 창문 앞에 있다면, 의자는 창문 기준으로 어디에 있나?" 같은 복잡한 질문도 잘 답합니다.
• 실제 적용: 로봇이 방을 돌아다니며 물건을 집거나, 증강현실 (AR) 앱이 가구를 정확한 위치에 배치하는 등 실생활에 바로 쓸 수 있는 3D 지능을 갖게 되었습니다.

💡 한 줄 요약

"Holi-Spatial 은 사람의 손이 전혀 필요 없는 자동 공장처럼, 평범한 동영상만 넣어도 로봇이 3D 공간을 완벽하게 이해하고 설명할 수 있는 '지능'을 만들어내는 혁신적인 기술입니다."

이 기술은 앞으로 우리가 로봇과 함께 살아가는 세상, 혹은 증강현실이 일상이 되는 세상을 앞당기는 핵심 열쇠가 될 것입니다. 🌟

기술 요약

1. 문제 정의 (Problem)

• 공간 지능 (Spatial Intelligence) 의 한계: 대규모 멀티모달 모델 (LMM) 이 실제 3D 세계를 이해하고 추론하기 위해서는 방대하고 세밀한 3D 데이터가 필수적입니다.
• 기존 방법의 부족:
  • 기존 연구들은 주로 ScanNet, ScanNet++ 등 소수의 수동 주석 (Manually Annotated) 데이터셋에서 질문 - 답변 (QA) 쌍을 생성하는 방식에 의존합니다. 이는 확장성이 매우 제한적입니다.
  • 웹에서 수집된 원시 비디오 데이터를 대규모로 체계적으로 주석화하는 자동화 파이프라인이 부재합니다.
  • 기존 데이터셋은 도메인 간격 (Domain Gap) 이 크고, 클래스 수가 제한적 (예: ScanNet 의 50 개 클래스) 이며, 인간 개입이 필요하여 비용이 많이 듭니다.

2. 방법론 (Methodology)

저자들은 Holi-Spatial을 제안했습니다. 이는 인간의 개입 없이 원시 비디오 스트림을 고충실도 (High-fidelity) 3D 기하학적 구조 및 통합된 의미론적 주석으로 변환하는 완전 자동화된 대규모 데이터 큐레이션 파이프라인입니다. 파이프라인은 크게 3 단계로 구성됩니다.

1 단계: 기하학적 최적화 (Geometric Optimization)

• 입력: 원시 비디오 스트림.
• 초기화: Depth-Anything-V3 와 같은 단안 깊이 추정 모델을 사용하여 밀도 높은 점 구름 (Point Cloud) 을 초기화합니다.
• 3DGS 최적화: 3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS) 을 사용하여 장면별 최적화를 수행합니다.
• 목적: 다중 뷰 일관성 (Multi-view consistency) 을 강제하여 깊이 추정 시 발생하는 노이즈, 아웃라이너 (Outliers), 그리고 '플로터 (Floaters, 떠다니는 가상의 점)'를 제거하고 물리적으로 정확한 표면 구조를 복원합니다.

2 단계: 이미지 수준 지각 (Image-level Perception)

• 키프레임 샘플링: 비디오에서 핵심 프레임을 추출합니다.
• 개체 인식 및 분할:
  • VLM(Vision-Language Model, 예: Gemini3-Pro) 을 사용하여 오픈 보카불러리 (Open-vocabulary) 카테고리 이름을 추론하고, 이전 프레임의 레이블을 기억하여 일관성을 유지합니다.
  • SAM3(Segment Anything Model 3) 을 사용하여 고화질의 오픈-셋 2D 마스크를 생성합니다.
• 2D 에서 3D 로 리프팅 (Lifting):
  • 최적화된 3DGS 렌더링 깊이를 사용하여 2D 마스크를 3D 공간으로 투영합니다.
  • 정제 전략: 2D 분할 경계 오류와 3D 깊이 불연속성으로 인한 오류를 줄이기 위해 마스크 침식 (Erosion) 과 메쉬 기반 깊이 필터링을 적용하여 정밀한 3D 방향 바운딩 박스 (OBB) 를 생성합니다.

3 단계: 장면 수준 정제 (Scene-level Refinement)

• 다중 뷰 병합 (Multi-View Merge): 서로 다른 뷰에서 감지된 동일한 객체들을 3D IoU(Intersection over Union) 를 기준으로 병합하여 객체 분할 (Fragmentation) 문제를 해결합니다.
• 신뢰도 기반 필터링 및 에이전트 검증:
  • 높은 신뢰도 ($\ge 0.9$) 인 경우 유지, 낮은 신뢰도 ($< 0.8$) 인 경우 폐기합니다.
  • 경계선 사례 (Borderline cases): 중간 신뢰도 영역의 경우, VLM 기반 에이전트가 이미지를 확대 (Zoom-in) 하고 SAM3 를 재실행하여 재검증 (Verification) 합니다. 이는 잘못된 분류를 제거하고 중요한 객체를 누락하지 않도록 합니다.
• 세밀한 주석 생성: 검증된 인스턴스에 대해 Qwen3-VL 을 사용하여 상세한 캡션 (Caption) 을 생성하고, 템플릿 기반으로 3D Grounding 및 공간 추론 (Spatial Reasoning) QA 쌍을 대량 생성합니다.

3. 주요 기여 (Key Contributions)

1. Holi-Spatial 파이프라인: 인간의 개입 없이 원시 비디오를 고충실도 3D 기하학 및 통합 공간 주석으로 변환하는 최초의 완전 자동화 프레임워크.
2. Holi-Spatial-4M 데이터셋:
   • 규모: 12,000 개의 최적화된 3DGS 장면, 130 만 개의 2D 마스크, 32 만 개의 3D 바운딩 박스, 32 만 개의 인스턴스 캡션, 120 만 개의 3D Grounding 인스턴스, 120 만 개의 공간 QA 쌍.
   • 다양성: ScanNet, ScanNet++, DL3DV-10K 등 다양한 소스에서 추출되었으며, 오픈 보카불러리를 지원하여 수천 개의 세부적인 객체 클래스를 포함합니다.
   • 품질: 기존 수동 주석 (ScanNet 등) 보다 더 정밀한 분할 마스크와 더 넓은 클래스 범위를 제공합니다.
3. 다양한 태스크 지원: 3D 재구성, 깊이 렌더링, 2D 분할, 3D 객체 감지, 3D Grounding, 공간 추론 (QA) 등을 아우르는 통합적인 멀티모달 데이터셋 제공.

4. 실험 결과 (Results)

• 큐레이션 품질 평가 (ScanNet, ScanNet++, DL3DV):
  • 깊이 추정: ScanNet++ 에서 다중 뷰 깊이 추정 F1 점수를 기존 방법 (M3-Spatial 등) 대비 0.5 포인트 향상 (0.39 $\to$ 0.89).
  • 3D 객체 감지: ScanNet++ 에서 3D Detection AP50 을 64% 향상 (기존 3D-VLM 대비 약 10 배 이상 성능 개선).
  • 2D 분할: IoU 에서 기존 SA2VA 대비 0.64로 우수한 성능 달성.
• VLM 파인튜닝 효과:
  • Holi-Spatial-4M 으로 Qwen3-VL 을 파인튜닝한 결과, 공간 추론 벤치마크 (MMSI-Bench, MindCube) 에서 7.9%~15% 의 정확도 향상을 보였습니다.
  • 특히 3D Grounding 태스크에서 AP50 을 27.98로 기록하여 기존 최강 베이스라인 대비 14.48 포인트의 개선을 이루었습니다.
  • 단일 뷰 데이터로 학습된 모델의 시점 편향 (Viewpoint Bias) 을 해결하고 다양한 각도에서의 객체 위치 파악 능력을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 확장성 (Scalability): 수동 주석에 의존하던 기존 방식의 병목 현상을 해결하고, 웹 비디오라는 무한한 자원을 활용하여 대규모 3D 공간 지능 데이터를 자동 생성할 수 있음을 입증했습니다.
• 데이터 피드백 루프: 고품질의 자동화된 데이터 파이프라인은 모델 성능을 향상시키고, 이는 다시 더 나은 데이터 생성으로 이어지는 '데이터 플라이휠 (Data Flywheel)' 효과를 기대할 수 있습니다.
• 실제 응용: 로봇 조작, 내비게이션, 증강현실 (AR), 장면 편집 등 실제 3D 세계와 상호작용이 필요한 분야에서 필수적인 공간 추론 능력을 갖춘 차세대 멀티모달 모델 개발의 기반을 마련했습니다.

이 연구는 3D 공간 이해를 위한 데이터의 양적, 질적 한계를 극복하고, 완전 자동화된 파이프라인을 통해 차세대 공간 지능 AI 를 위한 새로운 표준을 제시했다는 점에서 의의가 큽니다.