SCOUT: Unlocking Enhanced Spatial Reasoning via Structured Chain-of-Thought and Multi-Objective Process Reward

로봇에게 지저ка로운 방을 통과하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 의자와 탁자의 사진을 보여줄 수 있지만, 만약 로봇이 평면적인 그림만을 본다면 실제로는 탁자가 의자 뒤로 3피트나 떨어져 있음에도 불구하고 의자가 탁자 바로 옆에 있다고 생각할 수도 있습니다. 이것이 많은 현재의 "시각-언어 모델(Vision-Language Models, VLMs)"이 가진 큰 문제입니다. 즉, 사진을 보고 텍스트를 읽는 데 매우 똑똑한 AI임에도 불구하고, 사물들이 3D 공간에서 어디에 있는지, 얼마나 떨어져 있는지, 그리고 깊이(depth)와 관련하여 서로 어떤 관계를 맺고 있는지 이해하는 능력인 공간 추론(spatial reasoning) 능력은 부족하다는 점입니다.

이를 해결하기 위해 과학자들은 두 가지 주요 기술을 시도했습니다. 첫 번째는 **지도 미세 조정(Supervised Fine-Tuning, SFT)**으로, 이는 마치 학생에게 교과서를 천 번 읽으며 통째로 암기하도록 강요하는 것과 같습니다. 이 방법은 어느 정도 효과가 있지만, 학생이 논리를 실제로 이해하는 것이 아니라 단순히 정답을 암기해 버릴 수 있어, 시험 문제가 바뀌면 혼란에 빠지게 됩니다. 두 번째 기술은 **강화 학습(Reinforcement Learning, RL)**인데, 이는 AI가 시행착오를 통해 배우며 최종 정답을 맞혔을 때만 "보상"(디지털 쿠키 같은 것)을 받는 방식입니다. 여기서 문제는 AI가 자신의 사고 과정 중 어느 단계가 쿠키를 얻게 했는지 알지 못한다는 것입니다. 깊이를 제대로 측정했나요? 아니면 물체의 개수를 제대로 셌나요? 아니면 그저 운 좋게 정답을 맞힌 것일까요? 어떤 단계가 좋았는지 알 수 없다면, AI는 자신의 구체적인 추론 능력을 향상시키는 법을 배울 수 없습니다.

여기서 SCOUT라는 새로운 논문이 등장합니다. 연구진은 AI가 인간처럼 단계별로 생각하고 3D로 "볼" 수 있도록 만들고자 했습니다. 그들은 AI가 구조화된 이야기를 통해 사고를 분해하도록 강제하는 시스템을 구축했습니다. 먼저 장면을 설명하고, 그다음 물체의 깊이와 위치를 측정하며, 마지막으로 그 측정값을 사용하여 퍼즐을 푸는 방식입니다. 또한 그들은 단순히 최종 정답에 대해서만 "쿠키"(보상)를 주는 것이 아니라, 사고 과정의 모든 단계에 보상을 주는 새로운 방법을 발명했습니다. 이를 통해 그들은 AI가 단순히 추측하는 것이 아니라, 물리적 세계를 실제로 이해하도록 만들었습니다.

문제점: 깊이를 "볼" 수 없는 AI

강아지와 공이 있는 사진을 보고 있다고 상상해 보세요. 일반적인 AI는 "강아지와 공이 있다"라고 말할 수 있습니다. 하지만 만약 당신이 "공이 강아지보다 카메라에 더 가까운가요?"라고 묻는다면, 표준 AI는 2D 이미지만을 보고 있기 때문에 틀릴 수 있습니다. 이들에게는 내장된 깊이 감각이 없기 때문입니다.

이를 해결하려는 이전의 시도들에는 결함이 있었습니다. 어떤 방법들은 AI에게 수백만 개의 예시를 보여주어 가르치려 했지만(SSFT), AI는 물리 법칙을 배우는 대신 패턴을 암기해 버렸습니다. 다른 방법들은 강화 학습을 사용했지만, 오직 마지막에만 보상을 주었습니다. 이는 수학 시험을 채점하면서 최종 숫자만 보고 점수를 주는 것과 같아서, 학생이 계산을 제대로 했는지 아니면 그냥 찍었는지는 무시하는 것과 같습니다. AI는 자신이 깊이 측정에 능숙한 것인지, 아니면 마지막 정답을 맞히는 데 운이 좋았던 것인지 알 수 없었습니다.

해결책: SCOUT의 "구조적 사고"

SCOUT(Structured Chain-of-Thought Utilizing Process-Supervised RL Training)의 연구진은 게임의 규칙을 바꾸기로 했습니다. 그들은 AI가 자유롭게 말하게 두는 대신, 엄격한 템플릿을 제공했습니다.

SCOUT를 범죄 현장을 조사하는 탐정이라고 생각해 보세요. AI는 단순히 추측을 외칠 수 없습니다. 반드시 다음의 특정 스크립트를 따라야 합니다:

1. 캡션(The Caption): 먼저, 전체 장면을 평이한 언어로 설명합니다.
2. 장면(The Scene): 다음으로, 레이저 스캐너처럼 행동합니다. 모든 물체를 식별하고, 경계 상자(bounding box)를 그리며, 그것이 얼마나 멀리 떨어져 있는지(깊이)를 추정합니다.
3. 분석(The Analysis): 그런 다음, 그 측정값들을 사용하여 수학적 계산을 수행합니다. "강아지는 깊이 2.5미터에 있고, 공은 1.5미터에 있다. 따라서 공이 더 가깝다."
4. 정답(The Answer): 마지막으로, 정답을 제시합니다.

이러한 구조는 AI가 문제를 풀기 전에 실제로 세상을 "측정"하도록 강제합니다.

비결: 공적을 인정하는 법

SCOUT의 진짜 마법은 단순히 템플릿에 있는 것이 아니라, AI가 더 나아지도록 가르치는 방식에 있습니다. 그들은 매우 엄격한 코치 역할을 하는 특별한 강화 학습 방법을 사용했습니다.

기존 방식에서는 AI가 최종 정답을 맞히면 보상을 받았고, 틀리면 아무것도 받지 못했습니다. SCOUT는 탐정의 작업 모든 부분에 대해 보상을 줌으로써 이를 바꿉니다:

• 물체를 정확하게 찾아냈는가? (그라운딩 보상 - Grounding Reward)
• 깊이를 정확하게 측정했는가? (깊이 보상 - Depth Reward)
• 논리가 타당한가? (추론 일관성 보상 - Reasoning Consistency Reward)
• 템플릿의 규칙을 준수했는가? (형식 보상 - Format Reward)

농구 선수를 지켜보는 코치를 상상해 보세요. 코치는 공이 골대에 들어갔을 때만 환호하는 것이 아니라, 선수가 드리블을 잘하고, 패스를 정확히 하고, 위치를 잘 잡을 때도 박수를 칩니다. 이런 방식으로 선수는 단순히 이기는 법이 아니라, 어떻게 이기는지를 배웁니다. SCOUT는 이 "다중 목적"(multi-objective) 보상 시스템을 사용하여, 깊이와 논리에 정밀해지는 것이 최종 정답을 맞히는 것만큼 중요하다는 것을 AI에게 가르칩니다.

발견한 사실: 결과

연구팀은 SCOUT-3B와 SCOUT-7B(숫자는 모델의 크기를 나타냄)라는 이름의 새로운 AI 모델을 테스트했습니다. 그들은 이 모델들을 유명한 GPT-4o를 포함한 다른 최고 수준의 AI 모델들과 대결시켰습니다.

결과는 인상적이었습니다. 공간 이해에 관한 일반 테스트에서 SCOUT-3B 모델은 기본 버전보다 16.85% 향상된 성능을 보였습니다. 더욱 놀라운 점은, 더 큰 모델인 SCOUT-7B가 공간 추론 작업에서 GPT-4o를 4.28% 차이로 앞질렀다는 것입니다. 이는 GPT-4o가 보통 기준점이 되는 거대하고 독점적인 모델이라는 점에서 매우 큰 성과입니다.

또한 연구진은 이 AI가 단일 이미지로만 학습되었음에도 불구하고, 학습한 내용을 비디오나 여러 장의 이미지에 적용할 수 있을 만큼 똑똑하다는 것을 발견했습니다. 이는 마치 아이에게 평평한 진입로에서 자전거 타는 법을 가르친 뒤, 아이가 언덕에서도 넘어지지 않고 내려가는 것을 보는 것과 같습니다. 모델은 자신이 배운 3D 공간에 대한 이해를 새롭고 더 복잡한 상황에 일반화할 수 있음을 보여주었습니다.

이것이 왜 중요한가

이 논문은 AI가 진정으로 물리적 세계를 이해하게 만드는 핵심이 단순히 모델을 더 크게 만들거나 더 많은 데이터를 주입하는 것이 아니라는 점을 시사합니다. 그것은 바로 AI에게 생각하는 법을 가르치는 것입니다. AI가 명시적으로 깊이를 측정하고 논리적인 사고 과정을 따르도록 강제하고, 그 과정의 모든 단계에 보상을 줌으로써, SCOUT는 공간 추론 능력이 훨씬 뛰어난 모델을 만들어냅니다.

저자들은 이것이 중요한 진전이지만 완벽한 해결책은 아니라는 점을 분명히 하고 있습니다. 그들의 모델은 여전히 특정 학습 데이터와 구조화된 형식에 의존합니다. 그러나 결과는 차세대 AI를 향한 명확한 경로를 보여줍니다. 즉, 단순히 사진을 "보는" 것이 아니라, 그 안의 3D 세계를 진정으로 이해하는 시스템입니다. 로봇이 어지러운 방을 통과하도록 돕든, 자율주행차가 보행자와의 거리를 이해하도록 돕든, 이러한 종류의 공간 지능은 많은 실생활 응용 분야에서 결여된 핵심 요소입니다.