💻 computer science

SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning

이 논문은 3D 공간 추론의 한계를 극복하기 위해 비전, 기하학, 언어 표현을 모델 계층 전반에 걸쳐 점진적으로 정렬하는 계층적 융합 프레임워크인 SpatialStack 을 제안하고, 이를 통해 다양한 3D 공간 추론 벤치마크에서 최첨단 성능을 달성한 VLM-SpatialStack 모델을 소개합니다.

원저자: Jiang Zhang, Shijie Zhou, Bangya Liu, Achuta Kadambi, Zhiwen Fan

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiang Zhang, Shijie Zhou, Bangya Liu, Achuta Kadambi, Zhiwen Fan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"SpatialStack(스페이셜 스택)"**이라는 새로운 기술을 소개합니다. 쉽게 말해, **"인공지능이 3D 공간을 더 잘 이해하고, 거리나 방향을 정확히 파악하도록 돕는 새로운 방법"**입니다.

기존의 인공지능 (VLM) 은 그림을 보고 "소파가 어디 있냐?"라고 물으면 대략적인 위치는 알 수 있어도, **"소파와 책상 사이의 거리가 정확히 몇 미터인지"**나 **"내가 서 있는 방향에서 소파가 왼쪽인지 오른쪽인지"**를 정확히 계산하는 데는 약점이 있었습니다. 마치 평면 지도만 보고 3D 세상을 상상하는 것과 비슷했죠.

이 문제를 해결하기 위해 저자들은 SpatialStack을 개발했습니다. 이를 이해하기 위해 몇 가지 비유를 들어보겠습니다.

1. 기존 방식의 문제점: "한 번에 다 보는 눈" vs "세부적인 눈"

기존의 인공지능 모델은 그림 (Vision) 과 3D 모양 (Geometry) 정보를 합칠 때, 가장 마지막 단계의 정보만 가져다 썼습니다.

비유: 요리사가 요리를 할 때, 모든 재료를 다 넣고 끓인 뒤 최종적으로 맛본 한 숟가락의 국물만 보고 "이 요리에 소금이 얼마나 들어갔는지, 당근이 얼마나 잘게 썬 건지"를 추측하는 것과 같습니다.
문제점: 마지막 국물만 보면 전체적인 맛 (전체적인 공간감) 은 알 수 있어도, 소금의 양 (정밀한 거리) 이나 당근의 크기 (세부적인 형태) 같은 미세한 정보는 잃어버리게 됩니다. 그래서 AI 는 "소파가 저기 있어"는 알 수 있어도 "소파까지 2 미터 떨어져 있어"라고 정확히 말하지 못했습니다.

2. SpatialStack 의 혁신: "층층이 쌓아 올린 레이어"

SpatialStack 은 이 문제를 층 (Layer) 을 쌓는 방식으로 해결합니다.

비유: 이제 요리사는 **재료 준비 단계 (얕은 층), 끓이는 중간 단계 (중간 층), 완성 단계 (깊은 층)**의 정보를 모두 기록해 둡니다.
- 얕은 층 (Shallow Layers): 당근이 얼마나 잘게 썰렸는지, 소금 알갱이가 어디에 있는지 같은 미세한 세부 사항을 담습니다. (정밀한 거리 측정, 물체 경계 파악)
- 깊은 층 (Deep Layers): 이 요리가 어떤 종류의 요리인지, 전체적인 맛의 균형은 어떤지 같은 거시적인 맥락을 담습니다. (전체 공간 구조, 복잡한 관계 추론)
방법: SpatialStack 은 이 모든 층의 정보를 AI 의 두뇌 (언어 모델) 에 단계별로 주입합니다. 마치 AI 가 요리를 할 때, 재료를 다듬는 순간부터 끓이는 순간까지, 모든 과정을 실시간으로 지켜보며 배우는 것과 같습니다.

3. 왜 이것이 중요한가? (실생활 예시)

이 기술이 적용되면 AI 는 다음과 같은 일을 훨씬 잘하게 됩니다.

정밀한 거리 측정: "소파와 책상 사이 거리가 얼마나 될까?"라고 물으면, AI 는 단순히 "가까워"라고 말하는 게 아니라, 정확한 미터 수를 계산해 낼 수 있습니다. (얕은 층의 미세한 정보 활용)
복잡한 방향 지시: "소파로 가는데, 문이 왼쪽에 있고 책상이 오른쪽에 있어. 그 사이를 지나가라"라고 하면, AI 는 3D 공간에서의 정확한 경로를 이해하고 따라갈 수 있습니다. (깊은 층의 전체적 맥락 활용)
로봇의 행동: 로봇이 물건을 들어 올리거나, 장애물을 피하며 이동할 때, 실제 물체의 모양과 거리를 정확히 파악하여 넘어지지 않고 안전하게 움직일 수 있습니다.

4. 핵심 요약

기존 방식: 3D 정보를 한 번에, 마지막에만 보아서 세부적인 거나 전체적인 맥락 중 하나를 놓쳤습니다.
SpatialStack: 3D 정보를 얕은 층부터 깊은 층까지 모두 AI 의 두뇌에 단계별로 주입합니다.
결과: AI 는 이제 **세부적인 정밀함 (거리, 크기)**과 **거시적인 이해 (방향, 관계)**를 동시에 갖게 되어, 3D 세상에서 훨씬 똑똑하고 안전하게 행동할 수 있게 되었습니다.

한 줄 요약:

"SpatialStack 은 AI 에게 3D 세상을 볼 때, '전체 그림'만 보는 게 아니라 '세부적인 디테일'까지 층층이 쌓아 올려서 완벽하게 이해하게 해주는 새로운 안경입니다."

이 기술은 로봇이 우리 집 거실을 돌아다니거나, 증강현실 (XR) 에서 정확한 정보를 보여주는 등, 물리적인 세상과 상호작용하는 AI의 미래를 여는 중요한 열쇠가 될 것입니다.

1. 문제 정의 (Problem)

대규모 시각 - 언어 모델 (VLM) 은 물리적 세계를 이해하고 행동하는 데 필수적인 3D 공간 추론 (Spatial Reasoning) 능력에서 여전히 한계를 보입니다.

기존의 한계: 기존 VLM 은 주로 이미지 수준의 의미론적 정렬에 초점을 맞추고 있으며, 3D 기하학적 구조와 공간적 관계를 효과적으로 인코딩하지 못합니다.
단일 계층 융합의 병목 현상: 최근 연구들은 기하학 인코더 (Geometry Encoder) 를 VLM 에 통합하기 시작했으나, 대부분 기하학 인코더의 마지막 계층 (Deep-layer) 특징만 시각 특징과 융합합니다.
계층적 정보의 손실: 기하학 인코더 (예: DPT 아키텍처) 는 얕은 계층에서 정밀한 국소 기하학적 정보 (깊이, 경계) 를, 깊은 계층에서 전역적인 의미론적 맥락을 추출합니다. 기존 방식은 중간 계층의 풍부한 계층적 신호를 버리게 되어, 미세한 공간 이해 (Low-level) 와 고차원 추론 (High-level) 모두에 제약을 줍니다.

2. 방법론 (Methodology)

이 논문은 SpatialStack이라는 새로운 계층적 융합 프레임워크를 제안합니다. 이는 시각, 기하학, 언어 표현을 모델의 전체 계층에 걸쳐 점진적으로 정렬 (Align) 하는 방식입니다.

핵심 아키텍처 및 동작 원리

다중 계층 기하학 특징 추출:
- VGGT (Visual Geometry Grounded Transformer) 와 같은 멀티뷰 기하학 인코더를 사용합니다.
- 마지막 계층뿐만 아니라 얕은 계층 (Shallow), 중간 계층 (Middle), 깊은 계층 (Deep) 에서의 특징을 모두 추출합니다.
- 분석 결과: 얕은 계층은 정밀한 국소 기하학적 단서 (예: 두 점 사이의 거리, 깊이) 에 유리하고, 깊은 계층은 전역적인 공간 관계 (예: 물체 간 상대적 위치, 경로 계획) 에 유리함을 발견했습니다.
계층적 기하학 - 언어 융합 (Layered Geometry-Language Fusion):
- 기존 방식처럼 시각 인코더 (Vision Encoder) 에만 특징을 주입하는 것이 아니라, LLM 디코더의 각 계층에 기하학 특징을 계층적으로 주입합니다.
- 매핑 전략:
  - 기하학 인코더의 얕은 계층 특징 $\rightarrow$ LLM 디코더의 초기 계층 (Low-level 이해 담당)
  - 기하학 인코더의 깊은 계층 특징 $\rightarrow$ LLM 디코더의 후기 계층 (High-level 추론 담당)
- 적용 방식: 추출된 기하학 토큰은 비주얼 토큰과 정렬된 후, LLM 디코더의 해당 계층 hidden state 에 가산 잔차 (Additive Residual) 형태로 주입됩니다.
구현 (VLM-SpatialStack):
- Qwen2.5-VL 및 Qwen3.5 를 베이스 모델로 사용하여 구현되었습니다.
- 비전 인코더와 기하학 인코더는 고정 (Frozen) 하고, 융합 모듈과 LLM 디코더만 학습합니다.

3. 주요 기여 (Key Contributions)

체계적인 계층 분석: 시각 인코더, 기하학 인코더, LLM 디코더 간의 융합 계층이 공간 추론의 정밀도에 미치는 영향을 최초로 체계적으로 분석했습니다. "얕은 계층은 세부 사항, 깊은 계층은 전역 구조"라는 계층적 대응 관계를 규명했습니다.
SpatialStack 프레임워크 제안: 단일 계층 융합의 한계를 극복하기 위해, 다중 계층 기하학 특징을 LLM 디코더 계층에 점진적으로 정렬하는 일반화된 프레임워크를 제안했습니다. 이는 국소적 정밀도와 전역적 맥락을 동시에 포착할 수 있게 합니다.
SOTA 성능 달성: Qwen 시리즈를 기반으로 한 VLM-SpatialStack은 여러 3D 공간 추론 벤치마크에서 기존 오픈소스 모델 및 상용 모델을 능가하는 최고 성능 (State-of-the-Art) 을 기록했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (VSI-Bench, SPAR-Bench, BLINK, CV-Bench 등) 에서 광범위한 실험을 수행했습니다.

종합 성능: SpatialStack-5B (Qwen3.5 기반) 는 오픈소스 모델 중 VSI-Bench, SPAR-Bench, CV-Bench에서 모든 항목에서 최고 점수를 기록했습니다.
과제별 성능:
- 저수준 (Low-level): 깊이 추정, 상대적 거리 측정 등 정밀한 기하학적 인식에서 기존 단일 계층 융합 (GVF) 보다 우월한 성능을 보였습니다.
- 고수준 (High-level): 경로 계획, 객체 간 관계 추론 등 복잡한 공간 추론에서도 뛰어난 성능을 발휘했습니다.
- Zero-shot 일반화: 경로 계획 (Route Planning) 데이터로 학습하지 않았음에도 해당 태스크에서 모든 오픈소스 시스템을 능가하여 강력한 제로샷 일반화 능력을 입증했습니다.
일반 능력 유지: 공간 추론 특화 학습에도 불구하고, MMBench, Video-MME 등 일반 멀티모달 및 시공간 추론 능력에서 성능 저하 (Catastrophic Forgetting) 가 없음을 확인했습니다.

5. 의의 및 중요성 (Significance)

패러다임의 전환: 기존의 "시각 - 언어" 융합에서 "시각 - 기하학 - 언어"의 계층적 통합으로의 전환을 제시했습니다. 이는 단순한 특징 결합을 넘어, 모델의 내부 계층 구조가 공간 인식의 다양한 수준 (미세 vs 전역) 을 어떻게 처리해야 하는지에 대한 새로운 통찰을 제공합니다.
물리적 AI 시스템의 진보: 로봇 내비게이션, 조작 (Manipulation), XR 환경에서의 공간 보조 등 실제 물리적 세계와 상호작용해야 하는 Embodied AI 시스템의 핵심 능력인 3D 공간 이해력을 획기적으로 향상시킵니다.
확장 가능성: SpatialStack 은 모델에 구애받지 않는 (Model-agnostic) 프레임워크이므로, 향후 다양한 멀티모달 LLM 에 적용하여 차세대 물리적 AI 시스템의 표준 설계 패러다임으로 자리 잡을 것으로 기대됩니다.

결론적으로, SpatialStack 은 3D 공간 추론의 핵심 병목 현상이었던 '단일 계층 기하학 특징 융합'을 해결하고, 다중 계층의 기하학 정보를 LLM 의 계층 구조에 맞춰 정교하게 주입함으로써, VLM 이 물리적 세계를 더 정밀하고 논리적으로 이해할 수 있게 한 획기적인 연구입니다.