기술 요약: SpaceVista – 밀리미터에서 킬로미터까지의 전 스케일 시각적 공간 추론

1. 문제 제기

현재 시각적 공간 추론 분야의 발전은 주로 실내 장면과 특정 객체 크기에 집중되어 있으며, 종종 노동 집약적인 3D 스캔과 수동 주석에 의존하고 있습니다. 기존 모델들은 밀리미터 스케일의 제조부터 킬로미터 스케일의 드론 감지까지 다양한 실세계 응용 분야에서 어려움을 겪고 있습니다. 이 분야는 두 가지 주요 과제를 안고 있습니다:

1. 데이터 한계: 실내 3D 스캔에 대한 과도한 의존과 다양한 스케일 (mm~km) 에 걸쳐 정밀한 물리적 주석이 포함된 대규모 '와일드 (wild)' 비디오 데이터셋을 큐레이션하는 데 드는 높은 비용.
2. 모델 한계: 전 스케일 모델링의 부재는 단일 장면 (주로 실내) 에 대한 과적합을 초래하고, 모델이 극도로 다른 스케일 간 추론을 시도할 때 지식 충돌 (예: 나사와 건물의 크기 혼동) 을 유발합니다. 현재 멀티모달 대규모 언어 모델 (MLLM) 은 마이크로 객체에서 매크로 장면까지의 공간적 이해를 일반화하는 능력이 부족한 경우가 많습니다.

2. 방법론

저자들은 새로운 데이터셋, 벤치마크, 그리고 전문화된 모델 아키텍처로 구성된 포괄적인 솔루션을 제안합니다.

2.1. 데이터셋 구축: SpaceVista-1M

데이터 부족과 주석 비용 문제를 해결하기 위해 저자들은 전문가 모델을 활용하여 자동화 파이프라인을 개발했습니다. 이를 통해 38,000 개의 비디오 장면에서 파생된 100 만 개의 공간 QA 쌍을 포함하는 SpaceVista-1M 데이터셋을 구축했습니다.

• 스케일 커버리지: 이 데이터셋은 5 가지 공간 스케일을 포괄합니다: Tiny Tabletop (mm), Tabletop (cm), Indoor (m), Outdoor (10m), Drone (100m+).
• 작업 다양성: 일반 공간 추론 (거리, 계수, 관계) 과 스케일별 작업 (예: 테이블탑을 위한 조작 계획, 드론 뷰를 위한 면적 추정) 을 포함하여 19 가지 다양한 작업을 다룹니다.
• 주석 전략: 이 파이프라인은 카메라 내부/외부 파라미터, Metric3Dv2 와 UniDepthV2 와 같은 모델을 활용한 메트릭 깊이 추정, 그리고 SAM 2 와 Grounding DINO 를 활용한 객체 추적을 통합하여 구조화된 2D/3D 주석을 생성합니다.
• 품질 관리: 훈련 데이터셋은 인간 검증을 통한 자동 생성 방식 (~83% 의 글로벌 정확도 달성) 을 사용하지만, 평가 벤치마크는 엄격한 수동 측정과 출처 검증을 기반으로 합니다.

2.2. 벤치마크: SpaceVista-Bench

물리적 세계와 정렬된 정밀한 평가를 보장하기 위해 저자들은 SpaceVista-Bench를 수동으로 제작했습니다.

• 구축: 이 벤치마크는 작음/테이블탑 장면의 경우 실세계 객체를 수동으로 기록하고 측정하며, 랜드마크 및 야외 장면의 경우 위키피디아나 공식 설계 문서와 같은 권위 있는 데이터를 검색하여 구성됩니다.
• 범위: 이는 5 가지 스케일을 모두 포괄하는 약 300 개의 고유한 비디오 장면에 걸쳐 약 1,600 개의 QA 쌍으로 구성됩니다.

2.3. 모델 아키텍처: SpaceVista-7B

제안된 모델인 SpaceVista-7B는 Qwen2.5-VL-7B 기반 위에 구축되었으며, 전 스케일 추론을 처리하기 위해 세 가지 주요 혁신을 도입했습니다:

1. 의미를 넘어선 접근 (Dense Feature Fusion): 의미론적 토크나이저의 한계를 극복하기 위해, 모델은 깊이와 법선 표현으로 알려진 자기지도 학습 비전 모델인 DINOv3의 밀집 특징을 통합합니다. 이러한 특징은 교차 주의를 통해 표준 시각 인코더와 융합되어 기하학적 및 깊이 기반의 공간적 이해를 제공합니다.
2. 스케일 인지 전문가 (LoRA-like): 서로 다른 스케일에서 유사한 시각적 패턴이 다른 물리적 현실을 의미하는 '지식 충돌'을 완화하기 위해, 모델은 전문가 혼합 (Mixture of Experts, MoE) 방식을 채택합니다. 구체적으로, Scale Router에 의해 동적으로 라우팅되는 다양한 스케일을 위한 LoRA 유사 어댑터를 사용합니다. 이를 통해 모델은 매개변수 효율성을 유지하면서도 각 스케일에 대한 독립적인 지식을 유지할 수 있습니다.
3. 점진적 보상 RL: 훈련 전략은 **Group Relative Policy Optimization (GRPO)**을 활용한 강화 학습 (RL) 단계를 포함합니다. 보상 함수는 인간과 유사한 추론 과정을 강제하기 위해 '앵커 (anchors)'로 설계되었습니다:
   • 의미론적 앵커: 참조 객체 식별.
   • 스케일 앵커: 전역 장면 스케일 추정.
   • 답변 앵커: 최종 답변이 논리적으로 유도되었는지 확인.
     이 점진적 보상 구조는 모델이 결론으로 바로 뛰는 것이 아니라 신뢰할 수 있는 사고의 사슬 (Chain-of-Thought, CoT) 경로를 탐색하도록 안내합니다.

3. 주요 기여

1. SpaceVista-1M: 5 가지 스케일과 19 가지 작업에 걸쳐 100 만 개의 QA 쌍을 특징으로 하는 최초의 오픈소스 전 스케일 공간 추론 데이터셋으로, 논리와 함께 하는 지도 미세 조정 (SFT) 과 강화 학습 (RL) 을 모두 지원합니다.
2. SpaceVista-7B: 풍부한 기하학적 정보를 통합하고 점진적 보상 훈련 전략을 통해 스케일별 전문가를 활용하여 스케일 간 충돌을 완화하는 공간 추론 모델.
3. SpaceVista-Bench: 수동 측정과 권위 있는 출처 검색을 통해 구축된 모든 스케일을 아우르는 고정밀 인간 주석 벤치마크로, 신뢰할 수 있는 평가 기준을 제공합니다.

4. 실험 결과

저자들은 SpaceVista-7B 를 다섯 가지 벤치마크에 걸쳐 최첨단 폐쇄형 (예: GPT-5, Gemini-2.5-pro) 및 오픈소스 모델 (예: InternVL, Qwen2.5-VL, SpaceR) 과 비교 평가했습니다.

• 성능: SpaceVista-7B 는 기존 벤치마크 (예: VSI-Bench) 에서 경쟁력 있는 성능을 보여주며, 전 스케일 SpaceVista-Bench 에서는 현저히 우수한 결과를 달성했습니다.
• 향상: SpaceVista-Bench 에서 이 모델은 독점 및 오픈소스 베이스라인보다 평균 3% 이상 우수한 성과를 보였으며, 유사한 크기의 오픈소스 모델 대비 포괄적인 전 스케일 추론에서 약 6% 의 두드러진 개선을 이루었습니다.
• 절대적 연구 (Ablation Studies):
  • 스케일 전문가: 스케일별 LoRA 전문가의 도입이 성능을 크게 향상시켜, 스케일 수준 지식을 분리함으로써 간섭을 완화한다는 것을 확인했습니다.
  • 점진적 보상: 제약 없는 추론 경로보다 앵커 기반 보상 설계가 더 높은 성능을 보였습니다.
  • 모달리티: VGGT 를 사용하는 것보다 DINOv3 특징을 통합하는 것이 더 큰 향상을 제공하여, 공간 작업에 있어 자기지도 학습 밀집 특징의 가치를 강조했습니다.

5. 중요성과 주장

이 논문은 SpaceVista 가 강건한 전 스케일 공간 지능을 향한 기초적인 단계라고 주장합니다. 밀리미터 스케일의 조작부터 킬로미터 스케일의 원격 감지까지의 간극을 메움으로써, 이 작업은 지능형 에이전트가 제약 없는 실세계 환경에서 지각하고 추론할 수 있게 합니다.

저자들은 그들의 작업을 다음과 같은 다양한 분야의 촉매제로 위치시킵니다:

• 마이크로 스케일: 정밀 제조 및 의료 수술.
• 매크로 스케일: 자율 주행, 드론 기반 감지, 그리고 측도학.

이 논문은 현재 모델들이 실내 또는 단일 스케일 설정에 제한되어 있는 반면, SpaceVista 는 물리적 스케일의 전체 스펙트럼에 걸친 공간 추론을 발전시키기 위해 필요한 데이터, 벤치마크, 그리고 아키텍처 패러다임을 제공한다고 강조합니다. 저자들은 현재 커버리지가 광범위하지만 나노미터 반도체 생산이나 10km 이상의 위성 측도학과 같은 극단적인 스케일을 아직 완전히 다루지는 못했으며, 이는 향후 확장의 여지를 남긴다고 지적합니다.