Thinking with Spatial Code for Physical-World Video Reasoning

이 논문은 RGB 비디오를 명시적인 3D 공간 코드로 변환하고 강화 학습을 통해 공간적 추론 능력을 향상시킨 'Thinking with Spatial Code' 프레임워크를 제안하여 VSI-Bench 에서 최첨단 성능을 달성했다고 요약할 수 있습니다.

핵심

🎬 핵심 아이디어: "영상은 영화가 아니라, 3D 지도입니다"

기존의 최신 AI(멀티모달 모델) 들은 영상을 볼 때, 마치 사람이 TV 화면을 바라보는 것과 비슷합니다.

• 기존 AI: "아, 소파가 있고 테이블이 있네. 소파가 테이블 옆에 있구나." (오직 2 차원 화면상의 위치만 봄)
• 문제점: "소파를 등지고 서 있는 사람 입장에서 테이블이 어디에 있지?"라고 물으면 헷갈려 합니다. 화면의 '왼쪽'이 실제 공간의 '앞'인지 '뒤'인지 구분하지 못하기 때문입니다.

이 논문이 제안한 **'스페이셜 코드 (Spatial Code)'**는 AI 에게 VR 게임의 3D 지도를 보여주는 것과 같습니다.

• 새로운 방식: AI 는 영상을 볼 때, 화면 속 사물을 **'3D 좌표 (위치, 크기, 방향)'**가 적힌 디지털 명함으로 변환합니다.
  • 예: "소파는 (x:10, y:2, z:5) 에 있고, 크기는 2x1x1 이며, 북쪽을 향해 있다."

이렇게 명확한 3D 데이터를 만든 후, AI 는 이 데이터를 바탕으로 수학처럼 정확한 추론을 합니다.

---

🛠️ 어떻게 작동할까요? (두 단계 프로세스)

이 시스템은 크게 두 명의 전문가가 팀을 이뤄 작동합니다.

1 단계: "3D 건축가" (Spatial Encoder)

영상을 입력받으면, 이 건축가는 영상을 분석해서 3D 공간 지도를 그립니다.

• 무엇을 하나요? 영상 속 사물 (소파, 테이블, 사람) 을 찾아내서 각각의 **3D 박스 (상자)**로 감싸고, 그 상자의 정확한 위치, 크기, 회전 각도를 숫자로 기록합니다.
• 비유: 마치 건설 현장의 감리원이 드론으로 영상을 찍고, "여기 기둥은 3 미터 높이에 있고, 45 도 기울어져 있다"라고 측량 데이터를 작성하는 것과 같습니다.

2 단계: "수학 천재" (LLM - 언어 모델)

이제 건축가가 만든 **3D 데이터 (스페이셜 코드)**를 언어 모델에게 줍니다.

• 무엇을 하나요? 언어 모델은 영상을 직접 보는 게 아니라, 숫자와 좌표가 적힌 텍스트를 읽습니다.
• 비유: 건축가가 "소파는 북쪽을 보고 있고, 테이블은 소파에서 동쪽으로 2 미터 떨어져 있다"라고 적힌 메모지를 건네주면, 언어 모델은 **"그럼 소파를 등지고 서 있는 사람은 테이블을 왼쪽으로 볼 수 있겠네!"**라고 논리적으로 계산해냅니다.

---

🏆 왜 이것이 중요한가요? (기존 AI 와의 차이)

논문은 VSI-Bench라는 테스트에서 기존 최고의 AI 들 (GPT-5, Gemini 등) 보다 훨씬 좋은 성적을 냈다고 합니다.

• 기존 AI 의 실수: "화면 왼쪽에 있는 물체"를 "내 왼쪽"이라고 착각하거나, 물체의 방향을 무시하고 단순히 모양만 보고 답을 맞춥니다. (우연히 맞출 수도 있지만, 원리를 모릅니다.)
• 이 연구의 성공: 3D 좌표를 직접 계산하기 때문에, "소파를 등지고 서 있는 사람"의 관점에서 방향을 정확히 계산할 수 있습니다.
  • 예시: "세탁기가 식기세척기 왼쪽에 있는데, 내가 식기세척기 앞에 서서 테이블을 바라본다면 세탁기는 내 시계 방향일까?"
  • 이 질문은 2 차원 화면으로는 헷갈리지만, 3D 좌표 계산으로는 정확한 답이 나옵니다.

---

🚀 핵심 교훈: "크기보다 질 (Quality)"

이 논문이 가장 강조하는 점은 **"AI 의 두뇌 크기 (파라미터 수) 만으로는 부족하다"**는 것입니다.

• 비유: 아무리 두뇌가 큰 천재 (거대 AI) 라도, 눈이 나빠서 3 차원 공간을 제대로 보지 못하면 (2 차원 영상만 봄) 공간 추론을 잘할 수 없습니다.
• 결론: AI 가 **정확한 3D 공간 인식 (지각)**을 할 수 있게 도와주는 것이, AI 의 크기를 키우는 것보다 훨씬 중요합니다. 이 연구는 정확한 3D 지도를 만들어주는 '건축가'를 먼저 훈련시킨 덕분에, 상대적으로 작은 AI 도 공간 추론에서 거대 AI 를 이길 수 있었습니다.

💡 한 줄 요약

"AI 에게 영상을 '2 차원 그림'으로 보게 하지 말고, '3 차원 지도'로 읽게 하세요. 그래야 AI 는 물리 세계를 진짜로 이해하게 됩니다."

이 기술은 자율주행, 로봇이 집안일을 돕는 것, 혹은 가상 현실에서의 상호작용 등 실제 물리 세계와 연결된 AI를 만드는 데 큰 획을 그을 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 대규모 멀티모달 모델 (MLLMs) 은 비디오 기반의 물리적 세계 시각 질문 답변 (VQA) 에서 다음과 같은 한계를 보입니다.

• 2D 외관 중심의 추론: 모델이 비디오를 단순한 프레임의 연속으로 인식하여, 2D 외관 특징이나 관찰자 중심의 편향 (viewer-centric bias) 에 의존합니다.
• 명시적 3D 구조 부재: 물체의 3D 위치, 크기, 방향 (Orientation), 그리고 시간에 따른 공간적 연속성을 명시적으로 표현하지 못합니다.
• 공간 추론 실패: "소파의 관점에서 테이블이 어디에 있는가?", "물체의 방향에 따른 상대적 위치"와 같은 관점 (perspective) 이나 방향 (orientation) 을 고려해야 하는 복잡한 공간 추론 작업에서 성능이 떨어집니다.

2. 제안 방법 (Methodology)

저자들은 "Thinking with Spatial Code" 라는 새로운 프레임워크를 제안합니다. 이는 RGB 비디오를 명시적이고 시간적으로 일관된 3D 공간 코드 (Spatial Code) 로 변환한 후, 이를 언어 모델 (LLM) 에 입력하여 추론하게 하는 지각 (Perception) - 추론 (Reasoning) 분리 아키텍처입니다.

A. 공간 인코더 (Spatial Encoder)

비디오를 구조화된 공간 코드로 변환하는 핵심 모듈입니다.

• 듀얼 인코더 아키텍처:
  • SAM-2 (Semantic Encoder): 객체 수준의 시맨틱 특징과 객체 추적 (Tracking) 을 담당합니다.
  • Depth Anything 3 (Geometric Encoder): 3D 인식 가능한 기하학적 특징 (Depth) 을 추출합니다.
• 3D 검출 헤드 (3D Detection Head): 융합된 특징을 기반으로 각 객체의 6D 공간 정보 (3D 위치, 크기, 3D 방향/쿼터니언) 를 예측합니다.
• 깊이 헤드 (Depth Head): 객체뿐만 아니라 배경 영역까지 밀도 있는 (dense) 깊이 지도와 카메라 파라미터를 예측하여 기하학적 학습을 강화합니다.
• 출력 (Spatial Code): 각 객체에 대해 시맨틱 라벨, 3D 바운딩 박스 (위치, 크기, 방향) 를 포함하는 구조화된 텍스트 코드로 생성됩니다.

B. LLM 프롬프팅 및 강화 학습 (RL)

• 명시적 추론: 생성된 공간 코드를 텍스트 형태로 LLM 에 입력합니다. LLM 은 raw 비디오 대신 명시적인 좌표와 기하학적 정보를 바탕으로 추론을 수행합니다.
• 공간 루브릭 보상 (Spatial Rubric Reward): 기존 결과 기반 보상 (정답 여부) 에 더해, 추론 과정의 질을 평가하는 새로운 보상 함수를 도입했습니다.
  • 평가 요소: 관점 인식 (Perspective-aware), 방향 인식 (Orientation-aware), 좌표계 일관성, 세계 좌표계 혼동 방지 등.
  • 효과: 모델이 단순히 정답을 맞추는 것이 아니라, 올바른 공간적 논리 (예: 국소 좌표계 변환, 벡터 연산) 를 따르도록 강화 학습 (GRPO) 을 통해 미세 조정 (Finetuning) 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임: 비디오 스트림을 명시적인 3D 공간 코드로 파싱하여 LLM 기반 추론을 가능하게 하는 프레임워크 제안.
2. 실증적 학습 레시피: 이중 인코딩, 6D 객체 파싱/추적, 기하학적 밀도화 (Geometric Densification) 를 통합하여 RGB 비디오에서 구조화된 공간 코드를 생성하는 방법 제시.
3. 공간 루브릭 보상: LLM 의 공간 추론 능력을 향상시키기 위해 관점과 기하학적 근거를 강조하는 새로운 강화 학습 보상 설계.
4. 성능 입증: VSI-Bench 및 Video-RoboSpatial 벤치마크에서 SOTA 달성 및 지각의 질이 추론 성능의 병목임을 규명.

4. 실험 결과 (Results)

• VSI-Bench (Video Spatial Reasoning):
  • 제안된 모델 (Qwen3-4B 기반) 은 GPT-5o, Gemini-2.5-Pro, Qwen3-VL-8B 등 주요 상용 및 오픈소스 MLLM 을 능가하는 SOTA 성능을 기록했습니다.
  • 특히 상대 방향 (Relative Direction) 및 경로 계획 (Route Planning) 과 같은 관점 의존적 작업에서 큰 개선을 보였습니다.
  • 강화 학습 (Spatial Rubric Reward) 을 적용하면 성능이 추가로 3.4~3.5% 향상되었습니다.
• 3D 지각 능력 (3D Perception):
  • ARKitScenes 및 ScanNet 데이터셋에서 3D 객체 검출 (F1@0.25) 성능이 기존 이미지 기반 검출기 및 포인트 클라우드 기반 방법보다 우수했습니다.
  • 핵심 발견: 모델의 규모 (Parameter Count) 를 키우는 것보다 **3D 공간 표현의 질 (Representation Quality)**이 공간 추론 성능의 결정적 병목 요소임을 입증했습니다. (예: 4B 모델이 230B 모델보다 공간 코드를 통해 더 좋은 성능을 냄)

5. 의의 및 결론 (Significance)

이 연구는 물리적 세계 이해를 위해 지각 (Perception) 과 추론 (Reasoning) 을 분리하고, 명시적인 3D 기하학적 표현을 중간 계층으로 도입함으로써 MLLM 의 공간 추론 한계를 극복했습니다.

• 병목 현상 규명: 단순히 모델 크기를 키우는 것만으로는 공간 추론 성능이 한계에 부딪히며, 고품질의 3D 공간 표현이 핵심임을 증명했습니다.
• 실용성: 비디오 입력만으로 3D 센서 (LiDAR 등) 없이도 정밀한 3D 공간 이해가 가능함을 보여주어, 로봇 공학 및 자율 주행 등 물리적 상호작용이 필요한 분야에 중요한 기여를 할 것으로 기대됩니다.
• 오픈소스: 코드, 모델, 학습 레시피를 공개하여 관련 연구의 발전을 촉진할 예정입니다.

요약하자면, 이 논문은 **"비디오를 3D 공간 코드로 변환하여 LLM 에게 명시적인 기하학적 정보를 제공하면, 추론의 정확도가 획기적으로 향상된다"**는 것을 증명했습니다.