SSR: Pushing the Limit of Spatial Intelligence with Structured Scene Reasoning

이 논문은 2D 와 3D 표현을 경량 정렬 메커니즘으로 통합하고 국소적 삼중항 기반의 장면 그래프 생성 파이프라인을 도입하여 대규모 사전 학습 없이도 7B 파라미터 규모에서 최첨단 공간 추론 능력을 달성한 'SSR(구조화된 장면 추론)' 프레임워크를 제안합니다.

핵심

🧠 1. 문제: "눈은 좋지만, 공간감은 둔한 AI"

지금까지의 Multimodal Large Language Model(MLLM, 멀티모달 거대 언어 모델) 들은 책이나 그림을 보고 내용을 설명하는 데는 천재였습니다. 하지만 "이 책상과 의자 사이의 거리가 정확히 몇 미터일까?" 혹은 "이 방을 360 도 돌아보면 어떤 모양일까?" 같은 공간적, 기하학적 질문에는 엉뚱한 답을 하거나 아예 망설였습니다.

기존 모델들은 마치 2 차원 평면 사진만 보고 3 차원 세상을 상상하려 하는 사람처럼, 깊이감이나 정확한 거리를 느끼는 능력이 부족했습니다. 또한, 3 차원 데이터를 학습시키려면 엄청난 비용과 시간이 들어가는 '무거운' 훈련 과정이 필요하다는 문제도 있었습니다.

🚀 2. 해결책: "SSR, 공간의 건축가가 되다"

저자들은 이 문제를 해결하기 위해 SSR이라는 모델을 만들었습니다. 이 모델은 두 가지 핵심 아이디어로 작동합니다.

① 가벼운 연결고리 (Lightweight Alignment)

기존 모델들은 3D 데이터를 이해하려면 처음부터 다시 배우는 (Pre-training) 엄청난 노력이 필요했습니다. 하지만 SSR 은 **"이미 눈으로 본 2D 이미지 지식"**을 바탕으로 3D 공간 감각을 붙여줍니다.

• 비유: 마치 이미 한국어 (2D 이미지) 를 유창하게 하는 사람이, 새로운 외국어 (3D 공간) 를 배울 때 문법만 살짝 수정해서 빠르게 습득하는 것과 같습니다. 별도의 거대한 훈련 없이도 2D 와 3D 정보를 자연스럽게 섞어 이해할 수 있게 해줍니다.

② '마음속 지도' 그리기 (Structured Scene Reasoning)

이 모델의 가장 큰 특징은 복잡한 장면을 한 번에 다 보려 하지 않고, 작은 조각 (LocalCogMap) 으로 나누어 하나씩 그려나간다는 점입니다.

• 비유: 거대한 도시 지도를 한 번에 외우려 하면 혼란스럽지만, **"내 집 앞의 우체국과 은행의 위치"**를 먼저 정하고, 그 다음 **"은행과 슈퍼마켓의 위치"**를 정하는 식으로 작은 삼각형 (세 점) 단위로 공간을 조각조각 맞춰 나갑니다.
• 이 모델은 장면을 10x10 의 작은 격자 (LocalCogMap) 로 나누어, "의자는 소파의 오른쪽 3 칸, 책상은 의자의 왼쪽 2 칸"처럼 상대적인 위치를 숫자로 정확히 계산해냅니다. 이렇게 하면 AI 가 머릿속에 **정교한 3D 구조의 '마음속 지도 (Mental Scaffold)'**를 그릴 수 있게 됩니다.

🏗️ 3. 어떻게 작동할까요? (핵심 기술)

1. 쌍둥이 브랜치 (Dual-Branch):

   • 한쪽 눈은 **이미지 (2D)**를 보고, 다른 쪽 눈은 **공간 구조 (3D)**를 봅니다.
   • 이 두 정보를 교차해서 (Interleaved) 섞어줍니다. 마치 "이미지 - 공간 - 이미지 - 공간"처럼 번갈아 가며 읽으면, AI 가 두 정보가 서로 어떻게 연결되는지 더 잘 이해하게 됩니다.

2. 점진적인 지도 그리기 (Incremental Generation):

   • AI 는 모든 물체를 한 번에 다 그리지 않습니다. 먼저 두 개의 물체 (예: 소파와 TV) 를 기준으로 삼고, 그 사이에 있는 세 번째 물체 (예: 테이블) 의 위치를 계산합니다.
   • 이렇게 작은 조각을 하나씩 이어붙여 전체 방의 3D 구조를 완성합니다. 마치 레고 블록을 하나씩 쌓아 성을 짓는 것과 같습니다.

3. 정확한 위치 잡기 (3D Global Grounding):

   • 단순히 "왼쪽"이라고만 말하는 게 아니라, **"정확히 1.5 미터 앞, 30 도 왼쪽"**처럼 미터 단위 (Metric Precision) 로 정확한 좌표를 말해줍니다.

🏆 4. 결과: 작은 몸집, 거대한 능력

이 모델은 파라미터 수가 **70 억 (7B)**으로, GPT-4 나 Gemini 같은 초대형 모델 (수천 억 개) 에 비해 훨씬 작습니다. 하지만 VSI-Bench라는 공간 추론 테스트에서 압도적인 1 위를 차지했습니다.

• 핵심 성과: 거대한 모델이 73.9 점에 못 미치는 점수를 받을 때, 이 작은 SSR 모델은 73.9 점을 받아 최상위권을 기록했습니다.
• 의미: "무조건 큰 모델이 좋은 게 아니다. 올바른 구조 (공간 감각) 와 효율적인 학습이 있다면, 작은 모델도 공간 지능의 한계를 뛰어넘을 수 있다"는 것을 증명했습니다.

💡 요약: 왜 이 연구가 중요한가?

이 논문은 AI 가 단순히 "무엇이 있는지"를 아는 것을 넘어, **"세상이 어떻게 생겼는지" (공간적 구조)**를 이해하는 새로운 길을 열었습니다.

• 로봇 공학: 로봇이 복잡한 방을 돌아다니며 물건을 찾을 때, 이 기술을 쓰면 훨씬 정확하게 이동할 수 있습니다.
• 자율 주행: 차가 주변 환경을 3 차원으로 정확히 파악하여 사고를 예방할 수 있습니다.
• 가상 현실 (VR/AR): 사용자가 가상 공간에서 자연스럽게 물건을 배치하고 상호작용할 수 있게 합니다.

결론적으로, SSR 은 AI 에게 **"눈 (이미지 인식)"**뿐만 아니라 **"손과 몸 (공간 감각)"**을 길러주어, 이제 AI 도 우리처럼 세상을 입체적으로 이해하고 추론할 수 있는 첫걸음을 내디뎠습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 멀티모달 대규모 언어 모델 (MLLM) 은 일반적인 의미 이해와 대화에서는 탁월한 성능을 보이지만, 복잡한 기하학적 추론에 필수적인 **'공간 감각 (Spatial Sense)'**이 부족합니다.
• 주요 한계점:
  1. 높은 정렬 비용: 기존 모델들은 3D 포인트 클라우드나 깊이 지도와 같은 외부 공간 표현을 언어 모델에 통합하기 위해 대규모의 모달리티 정렬 (Modality Alignment) 전학습이 필요하여 계산 비용과 데이터 라벨링 비용이 매우 큽니다.
  2. 미세 구조 모델링 부재: 기존 모델들은 장면 수준의 설명이나 단순한 수치 질문 위주로 학습되어, 복잡한 추론을 위한 **미세한 구조화된 장면 표현 (Fine-grained Structured Scene Representation)**이 결여되어 있습니다. 인간이 주변 환경을 정신적으로 재구성 (Mental Scaffolding) 하는 과정과 달리, 모델은 체계적인 내부 모델을 구축하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 **SSR (Structured Scene Reasoning)**이라는 새로운 프레임워크를 제안하여 2D 비주얼과 3D 기하학을 경량화된 정렬 메커니즘으로 통합합니다.

가. 효율적인 3D 인식 아키텍처 (Efficient 3D-Aware Architecture)

• 이중 분기 구조 (Dual-Branch): 2D 외관 (Appearance) 과 3D 기하학적 특징을 동시에 처리하는 두 개의 분기를 가집니다.
• 경량 정렬 전략:
  • 3D 특징 융합: 2D 비주얼 특징 (이미지 기반) 은 이미 LLM 과 정렬되어 있으므로, 이를 기반으로 3D 공간 특징 (VGGT 에서 추출) 을 정렬합니다.
  • 교차 모드 덧셈 (Cross-modal Addition): 3D 공간 특징을 2D 비주얼 특징에 더하여 (Element-wise addition) LLM 의 임베딩 공간에 주입합니다.
  • 교차 삽입 토큰 (Interleaved Token Insertion): 기존 방식처럼 모든 비주얼 토큰 뒤에 모든 공간 토큰을 붙이는 대신, 프레임 단위 (Frame-by-frame) 로 비주얼 토큰과 공간 토큰을 번갈아 배치합니다. 이는 동일한 시간적 인스턴스의 특징이 LLM 토큰 공간에서 인접하게 위치하도록 하여, 대규모 정렬 전학습 없이도 미세한 교차 모드 상호작용을 가능하게 합니다.

나. 구조화된 정신 모델링 패러다임 (Structured Mental Modeling Paradigm)

• LocalCogMap (국소 인지 지도): 복잡한 전역 장면을 LLM 이 생성하기 쉬운 형태로 변환하기 위해 제안된 장면 그래프 표현입니다.
  • 로컬 트리플릿 (Local Triplets): 전체 장면을 독립적인 로컬 트리플릿 (Anchor 2 개 + Target 1 개) 의 연쇄로 분해합니다.
  • 10x10 그리드 정규화: 각 트리플릿 내에서 대상 객체의 위치를 10x10 그리드 상의 상대 좌표로 정규화하여 추상적인 기하학을 이산적 (Discrete) 인 형식으로 변환합니다.
  • 증분 생성 알고리즘: 전역 일관성을 유지하며 객체를 하나씩 추가하는 알고리즘을 통해, 모델이 복잡한 전역 장면을 일관된 로컬 좌표로 분해하도록 학습시킵니다.
• 3D 글로벌 그라운딩 (3D Global Grounding): 로컬 구조에 절대적 측정 정밀도를 부여하기 위해, 7-DoF(자유도) 3D 바운딩 박스 좌표 생성 태스크를 파인튜닝 단계에 포함시킵니다.

다. 데이터 및 학습 전략

• 데이터: 2D 지각과 3D 기하학적 추론 간의 격차를 해소하기 위해 약 19 만 개의 구조화된 장면 표현 데이터와 300 만 개의 QA 쌍 (SPAR-7M, ScanRefer 등) 을 통합하여 대규모 학습 세트를 구성했습니다.
• 2 단계 학습 프로토콜:
  1. Stage 1: 2D 입력만 사용하여 약 560 만 개의 샘플로 기본 추론 능력을 학습 (SSR-2D).
  2. Stage 2: Stage 1 의 가중치를 초기값으로 사용하여, 3D 공간 특징을 융합하고 장면 그래프 생성 및 3D 그라운딩 태스크를 포함한 약 91 만 개의 샘플로 학습 (SSR-3D).

3. 주요 기여 (Key Contributions)

1. 효율적인 3D 인식 아키텍처: 대규모 정렬 전학습 없이도 2D 비주얼 프리어 (Prior) 와 교차 삽입 토큰 전략을 통해 2D/3D 특징을 효과적으로 정렬하는 경량 아키텍처를 제안했습니다.
2. 구조화된 정신 모델링 (LocalCogMap): LLM 이 생성 가능한 구조화된 장면 그래프 (LocalCogMap) 와 전역 3D 그라운딩을 결합하여, 복잡한 공간 추론을 위한 강력한 인지적 기초 (Cognitive Foundation) 를 마련했습니다.
3. 고품질 데이터 및 오픈소스 모델: 대규모 구조화된 장면 데이터셋과 7B 파라미터 규모의 고효율 공간 지능 모델을 공개하여 연구 커뮤니티에 기여했습니다.
4. 최고 수준의 성능 (SOTA): 다양한 벤치마크에서 35 배 이상 큰 규모의 모델들을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• VSI-Bench 성능: 7B 파라미터 규모의 SSR-3D 모델이 73.9 점을 기록하여, 이전 SOTA 였던 241B 파라미터 모델 (InternVL3.5) 보다 4.4 점 높았으며, 7B 모델인 SenseNova-SI 보다 5.2 점 높았습니다.
• SSR-2D 의 놀라운 성과: 3D 입력 없이 2D 만을 사용하는 SSR-2D 모델조차도 71.9 점으로 241B 모델보다 높은 성능을 보여주어, 구조화된 추론의 중요성을 입증했습니다.
• 3D 그라운딩 정밀도: 3D 바운딩 박스 예측 오차가 기존 모델 (Qwen3-VL) 에 비해 [0, 0.7]m 범위로 크게 감소하여 절대적 측정 정밀도가 향상됨을 보였습니다.
• 데이터 스케일링 법칙: 학습 데이터 양이 증가함에 따라 성능이 꾸준히 향상되는 스케일링 법칙이 공간 지능 영역에서도 유효함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 **효율적인 특징 정렬 (Efficient Feature Alignment)**과 **구조화된 장면 추론 (Structured Scene Reasoning)**이 진정한 공간 지능의 핵심임을 입증했습니다.

• 파라미터 효율성: 거대한 모델 크기에 의존하지 않고, 체계적인 구조 (LocalCogMap) 와 효율적인 아키텍처를 통해 소규모 모델 (7B) 이 초대규모 모델보다 뛰어난 공간 추론 능력을 발휘할 수 있음을 보였습니다.
• 인지적 접근: 인간이 주변 환경을 '정신적 발판 (Mental Scaffold)'으로 구축하는 방식과 유사하게, 모델을 구조화된 장면 그래프 생성을 통해 학습시킴으로써 복잡한 공간 문제 해결 능력을 획기적으로 개선했습니다.
• 미래 방향: 현재는 2D 특징 기반의 3D 인식과 조류 시점 (Bird's-eye-view) 기반의 LocalCogMap 에 국한되어 있으나, 향후 더 포괄적인 3D 특징 통합과 볼륨etric 장면 표현으로 확장될 것으로 기대됩니다.

요약하자면, SSR 은 MLLM 의 공간 지능 한계를 극복하기 위해 구조화된 장면 표현과 경량화된 멀티모달 정렬을 결합한 획기적인 프레임워크를 제시하며, 공간 추론 분야에서 새로운 기준을 제시했습니다.