SpatialBench: Benchmarking Multimodal Large Language Models for Spatial Cognition

이 논문은 기존 벤치마크의 한계를 극복하기 위해 공간 인식을 5 단계 계층 구조로 세분화하고 15 가지 과제를 포함한 대규모 벤치마크 'SpatialBench'를 제안하며, 이를 통해 다중 모달 대규모 언어 모델이 지각적 근거는 강하지만 추상적 추론 및 계획 능력에서는 인간과 뚜렷한 격차를 보임을 규명했습니다.

핵심

🚗 1. 문제: "눈은 좋지만, 뇌는 아직 초보인 AI"

지금까지의 인공지능 (MLLM) 은 사진이나 영상을 보면 "저건 차야", "저건 나무야"라고 잘 말해줍니다. 마치 시력이 아주 좋은 사람처럼요. 하지만, "그 차가 주차장에서 어떻게 빠져나갈 수 있을까?"라고 물으면 당황합니다.

기존 시험지들은 "차 몇 대 있니?", "색깔이 뭐니?" 같은 아주 쉬운 질문만 냈습니다. 하지만 현실은 훨씬 복잡하죠. 차가 움직이는 방향을 예측하고, 장애물을 피하고, 목적지에 도달하는 길을 계획해야 합니다.

🏗️ 2. 해결책: "5 단계 계단식 공간 지능 시험 (SpatialBench)"

연구팀은 인공지능의 공간 지능을 측정하기 위해 5 단계로 구성된 계단을 만들었습니다. 마치 게임을 레벨업하듯이요.

1. 1 단계 (관찰): "저기 빨간 차가 있네." (단순히 눈으로 보는 것)
2. 2 단계 (관계): "빨간 차는 파란 차 옆에 있고, 문은 저쪽에 있네." (물체들 사이의 위치 파악)
3. 3 단계 (상징 추론): "화살표는 '출구'를 의미하고, '금지' 표지판은 멈춰야 한다는 뜻이야." (기호나 규칙을 이해)
4. 4 단계 (인과 관계): "차가 갑자기 급정거하면 뒤에 있는 차가 들이받을 수 있어." (무엇이 일어나면 어떤 결과가 나올지 예측)
5. 5 단계 (계획): "출구로 가려면 3 번 차를 우회해서 좌회전하고, 직진해야 해." (목표를 달성하기 위한 전체 경로 설계)

이 시험지 SpatialBench는 실제 주차장, 숲길, 도시 거리 등 다양한 곳에서 찍은 실제 영상을 바탕으로 15 가지 종류의 어려운 질문을 던집니다.

📉 3. 결과: "시력은 천재, 추론은 초보"

이 시험을 다양한 최신 AI 모델들에게 시켰더니 놀라운 결과가 나왔습니다.

• 눈은 좋았어요: 1 단계 (관찰) 와 2 단계 (관계) 는 거의 완벽하게 잘했습니다. 물체를 보고 위치를 파악하는 건 아주 잘해요.
• 하지만 뇌는 멈췄어요: 3 단계 이상으로 갈수록 점수가 뚝 떨어졌습니다. 특히 **"왜 그런 일이 일어날까?"(인과 관계)**를 추리하거나, **"어떻게 가야 할까?"(계획)**를 세우는 능력은 인간과 비교할 수 없을 정도로 부족했습니다.

🧠 4. 인간 vs AI: "목표 지향적" vs "모든 것에 집중"

연구팀은 인간과 AI 의 사고방식을 비교했습니다.

• 인간: "차가 오른쪽으로 돌아서 직진하면, 검은 벤츠 옆을 지나가겠지."라고 핵심만 쏙쏙 골라 목적에 맞게 생각합니다. 불필요한 정보는 무시합니다.
• AI: "왼쪽엔 Citroen 이 있고, 오른쪽엔 SUV 가 있고, 앞엔 차가 있고..."라고 모든 것을 다 나열합니다. 하지만 정작 "어디로 가야 하는가?"라는 핵심 질문에 대한 답을 못 찾습니다. 마치 모든 사물을 똑같이 쳐다보느라, 길을 잃어버린 관광객 같습니다.

💡 5. 결론: "이제 진짜 지능을 위한 첫걸음"

이 연구는 AI 가 단순히 "보는 것"을 넘어 "생각하고 계획하는" 진정한 지능을 갖추기 위해 무엇을 해야 하는지 보여줍니다.

• 현재: AI 는 사진 속 사물을 잘 인식하지만, 그 사물이 움직일 때 어떤 일이 일어날지, 어떻게 움직여야 하는지 상상하는 능력이 부족합니다.
• 미래: 이 'SpatialBench'라는 새로운 시험지를 통해, AI 가 인간처럼 공간을 이해하고 스스로 길을 찾을 수 있도록 훈련해야 합니다.

한 줄 요약:

"지금의 AI 는 사진을 잘 보는 카메라는 되었지만, 길을 찾아주는 내비게이션이 되려면 아직 '공간을 이해하고 계획을 세우는 뇌'를 더 키워야 합니다."

기술 요약

1. 문제 제기 (Problem Statement)

• 현황: 멀티모달 대규모 언어 모델 (MLLMs) 은 시각적 및 언어적 정보를 통합하는 데 큰 진전을 이루었으나, 기존 벤치마크들은 공간 인지 (Spatial Cognition) 능력을 평가하는 데 한계가 있습니다.
• 한계점:
  • 단순화: 공간 인지를 단일 차원의 지표로 축소하여, 공간 능력의 계층적 구조와 상호 의존성을 포착하지 못함.
  • 파편화된 평가: 특정 비전 - 언어 작업 (예: 객체 인식, 위치 파악) 에만 초점을 맞추어, 체계적인 공간 추론 능력을 평가하지 못함.
  • 데이터의 부재: 합성 데이터나 제한된 실내 장면 위주로 구성되어, 실제 세계의 복잡성과 시각적 다양성이 부족함.
• 핵심 질문: MLLM 이 실제 환경에서 물리적 공간과 상호작용하기 위해 필요한 계층적 공간 인지 능력 (지각부터 고차원 계획까지) 을 어떻게 체계적으로 측정하고 평가할 수 있는가?

2. 방법론 (Methodology)

가. 계층적 공간 인지 프레임워크 (Hierarchical Spatial Cognition Framework)

저자들은 신경과학의 **'인지 지도 (Cognitive Map) 이론'**에 영감을 받아, 공간 인지를 5 단계의 점진적으로 복잡해지는 수준으로 분해하는 프레임워크를 제안했습니다.

1. 관찰 (Observation, L1): 시각 입력에서 객체와 속성 (크기, 색상, 모양 등) 을 식별하는 기본 지각 단계.
2. 위상 및 관계 (Topology & Relation, L2): 객체 간의 인접성, 포함, 방향, 연결성 등 공간적 관계 구조를 이해.
3. 기호 추론 (Symbolic Reasoning, L3): 화살표, 표지판 등 시각적 기호를 추상적 의미와 연결하고 규칙 기반 추론 수행.
4. 인과성 (Causality, L4): 물리적 상호작용, 객체 이동, 환경 변화에 따른 결과 (인과 관계) 를 예측.
5. 계획 (Planning, L5): 지각, 관계 이해, 인과 추론을 통합하여 목표 지향적인 행동 순서나 항해 전략을 수립.

나. SpatialBench 데이터셋 구축

• 데이터 수집: 기존 합성 데이터가 아닌, 직접 구축한 센싱 플랫폼 (RGB 카메라 + 3D LiDAR) 을 사용하여 **1 인칭 시점 (Egocentric)**의 실제 비디오를 촬영했습니다.
• 범위: 실내/실외, 정적/동적 장면을 아우르는 50 개의 비디오와 1,347 개의 질문 - 답변 쌍 (QA) 으로 구성됨.
• 태스크: 위 5 단계 인지 수준에 맞춰 설계된 15 가지 공간 추론 태스크 (예: 객체 카운팅, 상대적 거리, 경로 계획, 인과적 추론 등) 를 포함.
• 어노테이션 품질 관리: 인간 어노테이터의 협업 검증, LiDAR 기반의 정밀 3D 측정 (거리/크기), 그리고 최신 MLLM 을 활용한 답변 생성 및 증거 요약 (Evidence Summary) 과정을 통해 데이터의 정확성을 확보했습니다.

다. 평가 지표 (Evaluation Metrics)

• 태스크별 지표: 객관식 (MCA) 에는 정확도 (ACC), 수치형 (NA) 에는 평균 상대 정확도 (MRA) 를 사용.
• 통합 점수 (Overall Score): 5 단계의 인지 수준별 성능을 통합하기 위해 고차원 능력 지향적 (Capability-oriented) 가중치 부여 방식을 제안했습니다. 단순 평균이 아닌, 각 수준의 난이도와 모델 간 분산을 고려하여 적응형 가중치를 계산하고, 복잡도가 높은 상위 수준 (L4, L5) 에 더 큰 가중치를 두는 알고리즘을 적용했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 프레임워크: MLLM 의 공간 지능을 평가하기 위해 인지 지도 이론에 기반한 최초의 계층적 (5 단계) 프레임워크를 정립했습니다.
2. SpatialBench 데이터셋: 실제 세계의 복잡성을 반영한 대규모 멀티모달 벤치마크를 구축하여, 15 가지 태스크를 통해 공간 인지의 미세한 단계를 평가할 수 있는 기반을 마련했습니다.
3. 새로운 평가 메트릭 및 통찰: 고차원 능력 지향적 점수를 도입하여 모델의 강점과 약점을 계층별로 분석하고, 인간과 모델의 추론 방식 차이를 규명했습니다.

4. 실험 결과 (Results)

가. 모델 성능 분석

• 전반적 경향: 현재 MLLM 들은 **관찰 (L1)**과 위상/관계 (L2) 수준에서는 높은 성능을 보이지만, 기호 추론 (L3), 인과성 (L4), 계획 (L5) 수준으로 갈수록 성능이 급격히 저하됩니다.
• 모델 비교:
  • 상용 모델: Gemini-2.5-pro 가 전체적으로 가장 우수한 성능을 보였으며, 특히 고차원 추론에서 강점을 보였습니다.
  • 오픈소스 모델: Qwen 시리즈 등 일부 모델은 L1L2 수준에서 경쟁력 있는 성능을 보였으나, L4L5 수준에서는 한계를 드러냈습니다.
  • 규모의 영향: 모델 크기가 커질수록 전반적인 성능이 향상되지만, 크기만으로 고차원 공간 추론이 보장되지는 않습니다 (아키텍처 및 학습 전략의 중요성).

나. 인간 vs 모델 비교

• 인간 성능: 인간은 거의 모든 태스크에서 96.40 점의 높은 점수를 기록했으며, 특히 고차원 추론 (기호, 인과, 계획) 에서 100% 에 가까운 정확도를 보였습니다.
• 차이점:
  • 인간: 목표 지향적이고 선택적인 추론을 수행하며, 불필요한 세부 사항에 집중하지 않고 핵심 공간 관계를 파악합니다.
  • MLLM: 장면의 세부 사항에 과도하게 주의를 기울이는 (Over-attention) 경향이 있으며, 일관된 공간 의도 (Spatial Intent) 없이 표면적 특징에 기반한 연상을 통해 추론합니다.

다. One-Shot 학습 효과

• 일부 모델 (GPT-5, Qwen 등) 은 Few-shot 또는 One-shot 프롬팅을 통해 공간 추론 능력이 크게 향상되었으나, Gemini-2.5-pro 와 같은 최상위 모델은 자체적인 컨텍스트 이해력이 높아 프롬팅의 도움 없이도 높은 성능을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 한계 규명: 현재 MLLM 은 정적인 객체 인식이나 단순한 관계 파악에는 능숙하지만, 동적인 환경에서의 인과 추론과 다단계 계획 수립에는 여전히 심각한 한계가 있음을 입증했습니다.
• 향후 방향: 단순한 인식 능력을 넘어, 3D 장면 재구성, 연속성 추적, 에고센트릭 (자신 중심) 좌표계 변환 능력을 강화해야 함을 시사합니다.
• 기반 마련: SpatialBench 는 향후 공간 지능을 갖춘 에이전트 (로봇, 자율주행 등) 개발을 위한 표준 벤치마크이자, MLLM 의 공간 인지 능력을 진단하고 개선하기 위한 중요한 토대를 제공합니다.

이 논문은 MLLM 이 단순한 "시각적 설명자"를 넘어 실제 물리 세계와 상호작용하는 "공간적 사고자"가 되기 위해 해결해야 할 과제를 체계적으로 제시했다는 점에서 의의가 큽니다.