💬 NLP

SpatialThinker: Reinforcing Scene Graph-Grounded Spatial Reasoning via Dense Rewards

SpatialThinker는 밀집된 공간 보상을 활용한 온라인 강화 학습을 통해 장면 그래프 생성(Scene Graph Generation)과 시각적 추론을 단일 패스 내에서 통합함으로써, 제한된 학습 데이터로도 공간 벤치마크에서 최첨단 성능을 달성하는 새로운 멀티모달 거대 언어 모델이다.

원저자: Hunar Batra, Haoqin Tu, Hardy Chen, Yuanze Lin, Cihang Xie, Ronald Clark

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hunar Batra, Haoqin Tu, Hardy Chen, Yuanze Lin, Cihang Xie, Ronald Clark

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 SpatialThinker 논문을 쉬운 개념과 창의적인 비유를 사용하여 풀어낸 설명입니다.

거대한 문제: AI는 공간에 대해 "눈이 멀어" 있다

매우 똑똑하지만 약간은 서투른 로봇에게 지저든 책상 사진을 보여주며 이렇게 묻는다고 상상해 보세요. "빨간 불빛이 노트북 바로 위에 있나요?"

현재의 AI 모델들(이 논문의 예시에 등장하는 모델들처럼)은 종종 일반적인 '느낌'에 의존해 추측하곤 합니다. 그들은 "음, 보통 조명은 물체 위에 있으니까 그렇겠지"라고 답하거나, 왼쪽과 오른쪽을 헷ful려 하기도 합니다. 이들은 사물을 완벽하게 묘사할 수는 있어도, 3D 공간 속에서 사물들이 서로 어디에 위치해 있는지 이해하는 데 어려움을 겪습니다. 이들은 축구 팀의 모든 선수 이름을 알고 있지만, 누가 누구 앞에 서 있는지는 말하지 못하는 사람과 같습니다.

해결책: "SpatialThinker"

연구진은 새로운 AI인 SpatialThinker를 개발했습니다. 이 AI를 단순한 챗봇이 아니라, 질문에 답하기 전에 먼저 지도를 그리는 지도 제작자라고 생각해보세요.

단순히 사진을 보고 추측하는 대신, SpatialThinker는 이미지를 볼 때마다 엄격한 4단계 과정을 따릅니다:

관찰(Observe): 사진을 봅니다.
맵 만들기 (장면 그래프/Scene Graph): 머릿속으로 "점 잇기" 지도를 그립니다. "노트북", "조명" 같은 사물을 식별하고, 그 사이에 "위", "왼쪽", "뒤"와 같은 라벨을 붙여 선을 긋습니다.
사고(Think): 이 지도를 사용하여 질문을 추론합니다.
답변(Answer): 추측이 아닌, 지도를 바탕으로 최종 답변을 내놓습니다.

핵심 비결: "밀집 보상(Dense Rewards)" (GPS 트레이너)

AI가 이 지도를 올바르게 그리도록 어떻게 가르쳤을까요? 단순히 수천 장의 사진을 보여주고 최종 정답을 맞혔을 때 "잘했어"라고 말하는 방식을 사용하지 않았습니다. 그것은 마치 운전자가 길을 잘못 들었을 때 교정해주지 않고, 목적지에 도착했을 때만 "도착했다!"라고 알려주는 방식으로 운전을 가르치는 것과 같습니다.

대신, 그들은 **밀집 보상(Dense Rewards)**을 사용했습니다. 이는 마치 끊임없이 피드백을 주는 GPS 트레이너와 같습니다:

형식 보상(Format Reward): "지도를 올바른 형식으로 그렸는가?" (예/아니오)
개수 보상(Count Reward): "사물의 개수를 제대로 세었는가?" (의자가 2개인데 3개라고 답하면 점수를 잃습니다.)
정확도 보상(Accuracy Reward): "최종 정답을 맞혔는가?"
공간 보상(Spatial Reward): "지도상의 적절한 위치에 사물을 배치했는가?"

AI는 최종 답변뿐만 아니라 과정의 모든 단계가 올러올 때마다 점수를 받습니다. 이는 AI가 단순히 '무엇(what)'이 아닌, 세상의 '어디(where)'와 '어떻게(how)'를 학습하도록 강제합니다.

학습 데이터: 작지만 고품질인 도서관

대부분의 AI 모델은 학습을 위해 수백만 권의 책을 읽거나(또는 수백만 장의 이미지를 봐야) 합니다. SpatialThinker는 다릅니다.

연구진은 STVQA-7K라는 특별한 데이터셋을 만들었습니다.
여기에는 단 7,000개의 예시만 들어 있습니다 (다른 모델들이 사용하는 수십억 개의 데이터에 비하면 아주 작은 양입니다).
하지만 모든 예시는 매우 고품질이며, "지도"가 완벽한지 확인하기 위해 두 개의 서로 다른 AI 시스템에 의해 검증되었습니다.

비유: 체스 선수를 가르친다고 상상해 보세요. 무작위로 1,000,000 판의 게임을 하게 하는 대신, 모든 수가 설명된 7,000개의 완벽하게 분석된 마스터 게임을 주는 것입니다. 그러면 선수는 훨씬 더 빠르게, 그리고 더 잘 원리를 배울 수 있습니다.

결과: 작은 데이터, 큰 두뇌

이 논문은 인상적인 결과를 주장합니다:

거인들을 이기다: 70억 개의 파라미터를 가진 SpatialThinker 버전(상대적으로 작은 모델)은 공간 작업에서 GPT-5나 GPT-4o와 같은 거대하고 독점적인 모델들과 대등하거나 더 나은 성능을 보였습니다.
300억 개의 강력함: 더 큰 버전인 30B 모델은 14가지 테스트 전반에서 GPT-5와 Claude 4 Sonnet을 앞질렀습니다.
일반화(Generalization): SpatialThinker는 단순히 패턴을 암기하는 것이 아니라 공간의 구조(지도의 개념)를 배웠기 때문에, 특정 훈련 질문뿐만 아니라 일반적인 현실 세계의 질문에도 더 뛰어난 성능을 보였습니다. 또한, 답변을 하기 위해 지도상의 특정 지점을 반드시 지목해야 했기에 "환각(Hallucination, 사실이 아닌 것을 지어내는 현상)"이 줄어들었습니다.

요약

SpatialThinker는 질문에 답하기 전, 사물 간의 관계를 나타내는 정신적 지도를 먼저 그려냄으로써 공간을 "보는" 법을 배우는 AI입니다. 모든 올바른 매핑 단계를 보상하는 "GPS 스타일"의 엄격한 학습 시스템을 통해, 이 AI는 다른 모델의 극히 일부 데이터만을 사용하고도 3D 공간과 사물의 위치를 이해하여 훨씬 더 크고 비싼 AI 시스템들을 능가하는 성과를 거두었습니다.

기술 요약: SpatialThinker

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 시각-언어 작업에서 상당한 진전을 이루었으나, 특히 3D 공간에서의 공간 추론(spatial reasoning) 능력에서는 여전히 어려움을 겪고 있습니다. 이러한 능력은 임바디드 AI(embodied AI), 내비게이션, 증강 현실에 필수적입니다. 공간 추론을 개선하기 위한 기존의 접근 방식들은 대개 다음 중 하나에 의존합니다:

데이터 집약적 파이프라인: 3D 장면 그래프(scene graphs) 또는 포인트 클라우드로부터 방대한 양의 합성 데이터셋(수십만 개에서 수백만 개의 샘로 구성)을 생성합니다.
아키텍처 수정: 명시적인 3D 입력(깊이 지도, 포인트 클라우드)이나 보조적인 공간 토큰을 추가합니다.
희소 강화 학습(Sparse Reinforcement Learning, RL): 시각적으로 근거가 있는 추론을 유도하기에는 불충분한, 단순한 정확도 기반의 보상만을 사용합니다.

장면 그래프 생성(Scene Graph Generation, SGG)을 추론 과정에 직접 통합하는 데 있어 결정적인 격차가 존재합니다. 현재의 방법들은 SGG를 데이터 큐레이션을 위한 분리된 전처리 단계로 취급하거나 고립된 생성 목표로 다루며, 구조화된 장면 표현을 사용하여 엔드투엔드로 추론 과정을 가이드하는 데 실패하고 있습니다. 또한, 기존의 RL 방식은 정밀한 공간적 위치 파악과 관계적 이해를 강제하는 데 필요한 조밀하고 구조적인 피드로백이 부족합니다.

방법론: SpatialThinker

저자들은 **온라인 강화 학습(online RL)**을 통해 장면 그래프 생성(SGG)과 시각적 추론을 단일 패스로 통합한 최초의 MLLM인 SpatialThinker를 제안합니다. 이 프레임워크는 작업 관련 객체와 관계의 "정신적 장면 그래프(mental scene graph)"를 구축한 뒤, 이 구조화된 표현을 바탕으로 추론하여 답을 도출함으로써 인간과 유사한 공간 지각을 시뮬레이션합니다.

1. 핵심 아키텍처 및 학습

기반 모델: Qwen2.5-VL (3B, 7B) 및 Qwen3-VL (30B)을 기반으로 구축되었습니다.
학습 패러다임: 모델은 내부 비평가(critic) 네트워크 없이 그룹 내 비교를 통해 이점을 추정하는 온라인 RL 방식인 **그룹 상대 정책 최적화(Group-Relative Policy Optimization, GRPO)**를 사용하여 학습됩니다.
SFT 미사용: 모델은 학습 데이터셋에 대한 사전 지도 미세 조정(Supervised Fine-Tuning, SFT) 없이 RL 목적 함수를 통해 직접 학습됩니다.
추론: 모델은 <observe>, <scene> (JSON 형식의 장면 서브그래프), <thought>, <answer>를 포함하는 구조화된 응답을 생성합니다.

2. 다중 목적 조밀 보상 설계

핵의 혁신은 관찰(observe) → 위치 파악(localize) → 추론(reason) → 답변(answer)의 구조화된 추론 과정을 가이드하는 **조밀하고 사전적 순서에 따른 다중 목적 보상 함수( $R_{total}$ )**입니다. 보상은 네 가지 구성 요소로 이루어집니다:

형식 보상 ( $R_f$ ): 구조화된 추론 템플릿을 강제합니다. <scene> 태그 내부의 JSON을 검증하여 파싱 가능 여부, 필수 필드(ID, bounding box)의 존재 여부, 유효한 주어-술어-목적어 삼중항(triplet)을 확인합니다.
개수 보상 ( $R_c$ ): 예측된 객체 및 관계의 개수와 실제 정답(ground-truth) 간의 편차에 대해 벌점을 부여합니다. 이는 모델이 무작위적인 공간 매칭을 극대화하기 위해 과도한 객체를 생성하는 "보상 해킹(reward hacking)"을 방지합니다.
정확도 보상 ( $R_a$ ): 정답과의 정확한 문자열 일치 여부에 따른 이진 점수입니다. 이는 작업의 정확성을 우선시하기 위해 가장 높은 가중치( $w=0.5$ )를 가집니다.
공간 보상 ( $R_s$ ): 최종 답변이 정답일 때만(사전적 게이팅을 통해) 계산됩니다. 예측된 객체와 실제 객체를 완전 IoU(Complete IoU, CIoU) 및 의미론적 유사성을 기반으로 매칭하기 위해 헝가리안 알고리즘(Hungarian algorithm)을 사용합니다. 이는 객체 위치 파악에 대한 조밀한 감독을 제공합니다.

사전적 게이팅(Lexicographic Gating): 보상은 형식 ≻ {개수, 정확도} ≻ 공간 순으로 정렬됩니다. 모델은 형식을 먼저 충족해야 하며, 그 다음 개수와 정확도를 최적화해야 합니다. 공간 보상은 답변이 정답일 때만 받게 됩니다. 이는 공간적 근거(grounding)가 유효한 추론을 대체하는 것이 아니라 이를 강화하도록 보장합니다.

3. 데이터셋: STVQA-7K

보상 정렬 학습을 용이하게 하기 위해 저자들은 고품질의 공간 VQA 데이터셋인 STVQA-7K를 구축했습니다:

출처: Visual Genome의 인간 주석 장면 그래프에서 유도되었습니다.
규모: 7,587개의 공간적으로 근거가 있는 멀티 초이스 VQA 쌍으로 구성됩니다.
내용: 9가지 추론 유형(관계, 크기, 방향, 거리, 깊이, 도달 범위, 위치, 개수, 존재 여부)을 다루며 3D 추론 질문(예: 깊이, 방향)을 포함합니다.
품질 관리: 초기 56,224개의 샘플 풀에서 상위 7,587개만을 추출하기 위해 듀얼 LLM 검증 파이프라인(Claude Sonnet 4가 생성하고 GPT-4o가 검증)을 사용합니다.
확장성: 이 파이프라인은 최대 약 108K 개의 샘플을 생성할 수 있습니다.

주요 기여

SGG와 추론의 통합: SpatialThinker는 SGG를 전처리 단계로 취급하는 대신, 온라인 RL을 통해 장면 그래프 구축을 추론 체인 내에 직접 통합한 최초의 MLLM입니다.
STVQA-7K 데이터셋: 효율적인 학습을 가능하게 하는 확장 가능한 합성 파이프라인을 갖춘, 고품질의 장면 그래프 기반 공간 VQA 데이터셋입니다. 단 7,000개의 샘플만으로 효과적인 학습이 가능합니다.
조밀한 공간 보상 설계: 구조적 근거를 강제하는 사전적 게이팅이 포함된 새로운 다중 목적 보상 시스템입니다. 이 설계는 분포 내(in-distribution) 및 분포 외(OOD) 일반화 성능을 모두 향상시키며, 희소 RL 베이스라인의 성능 향상 폭을 거의 두 배로 높입니다.

실험 결과

저자들은 14개의 벤치마크(8개 공간, 6개 실제 세계/일반 VQA)에서 SpatialThinker를 평가하고, 독점 모델(GPT-5, GPT-4o, Claude 4 Sonnet) 및 오픈 소스 베이스라인과 비교했습니다.

제한된 데이터에서의 성능: 단 7K 개의 샘플로 학습되었음에도 불구하고, SpatialThinker-7B는 공간 벤치마크 전반에서 GPT-5와 대등한 성능을 보였으며 GPT-4o와 Claude 4 Sonnet을 능가했습니다.
스케일링 효과: SpatialThinker-30B는 평균적으로 GPT-5와 Claude 4 Sonnet을 모두 앞질렀으며, CV-Bench 3D(93.6%, GPT-5 대비 +3.3%) 및 3DSRBench에서 최고 수준(SOTA)의 결과를 달성했습니다.
일반화: SpatialThinker는 실제 세계 VQA 작업(예: RoboSpatial-Home, HallusionBench)에서 우수한 OOD 일반화 능력을 보여줍니다.
- 희소 RL vs. 조밀 RL: 희소 RL(Vanilla GRPO)이 베이스 모델을 약 4.4% 개선하는 반면, 조밀한 공간 보상 설계는 약 7.7%의 개선을 달려냈습니다(이는 1.7배의 이득입니다).
- 실제 세계 전이: SpatialThinker-7B는 희소 RL의 +1.9% 개선과 비교하여 실제 세계 벤치마크에서 +5.3%의 개선을 달성하여, 구조화된 공간적 근거가 광범위한 시각적 지각을 강화하고 환각을 줄인다는 것을 확인했습니다.
절제 연구(Ablation Studies): 개수 보상을 제거하면 보상 해킹이 발생하여 정확도가 23.7%로 떨어졌습니다. 사전적 게이팅과 RoI 필터링을 추가하면 성능이 76.3%로 회복되며, 듀얼 LLM 데이터셋 필터링을 통해 검증 세트에서 87.9%까지 상승했습니다.

의의 및 주장

본 논문은 조밀한 보상을 통한 구조적 공간 근거화가 제한된 데이터로도 강력한 공간 이해를 가능하게 한다는 점을 주장하며, 이는 고수준의 공간 추론을 위해 대규모 사전 학습이나 명시적인 3D 입력이 반드시 필요하다는 통념에 도전합니다.

효율성: 모델은 기존의 공간 MLLM들이 흔히 사용하는 수백만 개의 샘플에 비해 훨씬 적은 7,000개의 합성 샘플만을 사용하여 최고 수준의 결과를 달성했습니다.
창발적 3D 추론: 2D RGB 이미지와 2D 보상을 통해 학습되었음에도 불구하고, 관계적 장면 그래프 감독은 깊이 및 방향과 연결된 단서들을 인코딩하여 모델이 창발적인 3D 추론 능력을 발달시키도록 합니다.
일반화: 이 접근 방식은 공간 작업뿐만 아니라 일반적인 시각적 지각 및 실제 세계 VQA를 개선하며, 이는 구조화된 추론을 강제하는 것이 환각을 줄이고 미세한 시각적 구별 능력을 날카롭게 만든다는 것을 시사합니다.

저자들은 결론적으로, **보상 정렬된 추론(reward-aligned reasoning)**이 **장면 그래프 근거화(scene graph grounding)**와 결합될 때 MLLM에서 강력한 공간 이해를 위한 실행 가능하고 효율적인 경로가 됨을 입증한다고 밝히고 있습니다.