OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models

이 논문은 인지심리학에 기반하여 동적 추론, 복잡한 공간 논리, 공간 상호작용, 시점 전환 등 50 개의 세부 범주로 구성된 포괄적인 벤치마크 'OmniSpatial'을 제안하고, 현재 시각 - 언어 모델들의 공간 추론 한계를 규명하며 이를 개선하기 위한 두 가지 전략을 제시합니다.

핵심

이 논문은 **"오미스페이셜 (OmniSpatial)"**이라는 새로운 시험지를 소개하는 연구입니다. 이 시험지는 인공지능 (AI) 이 세상을 얼마나 잘 '이해'하고 '생각'하는지, 특히 공간 감각이 얼마나 뛰어난지를 측정하는 도구예요.

기존의 AI 시험지들은 "왼쪽이 뭐야?", "이게 몇 개야?" 같은 아주 기초적인 질문만 했어요. 마치 초등학생에게 "1+1 은?"만 물어보는 것과 비슷하죠. 최신 AI 는 이 정도는 다 맞출 수 있어서, 더 이상 새로운 것을 배울 필요가 없는 상태 (포화 상태) 가 되었어요.

하지만 현실 세계는 훨씬 복잡하죠. "문이 닫히기 전에 빨리 지나가야 해", "이 상자를 접으면 어떤 모양이 될까?", "내가 아니라 저 사람이 봤을 때 이 물체는 어디에 있을까?" 같은 복잡한 상황들이 많아요.

이 논문은 바로 이 복잡한 공간 추론 능력을 테스트하기 위해 4 가지 주요 영역으로 나눈 새로운 시험지를 만들었습니다.

🧩 오미스페이셜의 4 가지 핵심 영역 (비유로 설명)

1. 동적 추론 (Dynamic Reasoning): "예측하는 눈"

   • 비유: 도로를 운전하는 상황이라고 생각해보세요. 앞차가 갑자기 급정거하면 어떻게 될지, 보행자가 건너편으로 넘어오면 어떻게 될지 미래를 예측하는 능력입니다.
   • 내용: 물체가 어떻게 움직일지, 어떤 방향으로 갈지, 충돌할지 등을 판단하는 능력입니다.

2. 복잡한 공간 논리 (Complex Spatial Logic): "마법의 접기"

   • 비유: 종이 접기 (오리가미) 나 퍼즐을 떠올려보세요. 3 차원 물체를 2 차원 평면으로 펼치거나, 반대로 평면으로 된 것을 3 차원으로 접었을 때 어떤 모양이 될지 머릿속으로 상상하는 능력입니다.
   • 내용: 기하학적 모양을 회전시키거나, 잘라내거나, 조립했을 때의 결과를 논리적으로 추론하는 능력입니다.

3. 공간 상호작용 (Spatial Interaction): "현실의 길잡이"

   • 비유: 복잡한 지하철 역이나 복잡한 도로에서 길을 찾을 때, 지도를 보고 내 위치를 파악하고 장애물을 피해 목적지까지 가는 능력입니다.
   • 내용: 교통 규칙을 이해하고, 위험을 감지하며, 실제 환경에서 물체와 상호작용하는 방법을 찾는 능력입니다.

4. 관점 수용 (Perspective Taking): "타인의 눈"

   • 비유: 내가 서 있는 위치가 아니라, 상대방의 눈으로 세상을 바라보는 능력입니다. "내가 뒤에서 보면 이 책상은 왼쪽에 있는데, 선생님이 앞쪽에서 보면 오른쪽에 보일 거야"라고 생각할 수 있어야 합니다.
   • 내용: 내 시점이 아닌 다른 사람의 시점이나, 가상의 위치에서 상황을 이해하는 능력입니다.

📊 시험 결과: AI 는 아직 초보생?

이 새로운 시험지를 최신 AI 모델들 (구글의 제미나이, 오픈AI 의 오3 등) 에게 풀어보게 했더니 놀라운 결과가 나왔습니다.

• 기존 시험지: AI 들이 90% 이상을 맞췄어요. (초등학교 수준은 다 통과한 셈)
• 오미스페이셜: AI 들의 평균 점수는 50~57% 정도였어요. 인간은 90% 이상을 맞췄는데 말이죠.
• 결론: AI 는 여전히 "머릿속으로 그림을 그리거나", "다른 사람의 입장이 되어 생각하거나", "복잡한 3 차원 구조를 이해하는" 데는 인간보다 훨씬 뒤처져 있습니다. 특히 기하학적 추론과 타인의 시점을 이해하는 데서 가장 큰 어려움을 겪었어요.

🛠️ 해결책: AI 를 도와주는 두 가지 방법

연구팀은 AI 가 이 시험을 더 잘 볼 수 있도록 두 가지 방법을 제안했습니다.

1. 포인트그래프 (PointGraph): "눈에 보이는 지도"
   • AI 가 물체의 위치를 헷갈려할 때, 컴퓨터가 물체들의 위치를 점과 선으로 연결한 간단한 지도를 먼저 보여줍니다. 마치 복잡한 미로에 길을 그려주는 것과 같아요.
2. 스페이셜 코트 (SpatialCoT): "머릿속 시뮬레이션"
   • AI 가 문제를 풀 때, 단순히 글로만 생각하게 하지 않고, 다른 각도에서 본 사진을 함께 보여줍니다. 예를 들어, "이 물체를 옆에서 보면 어떨까?"라는 질문에 답할 때, 옆에서 본 사진을 AI 가 직접 만들어내게 해서 상상력을 돕는 방식입니다.

이 두 방법을 쓰니 AI 의 점수가 조금씩 올라갔지만, 여전히 인간 수준에는 미치지 못했습니다.

🚀 왜 이 연구가 중요할까요?

이 연구는 단순히 AI 점수를 올리는 것을 넘어, 로봇이 실제 세상에서 안전하게 일할 수 있도록 만드는 첫걸음입니다.

• 자율주행차: 복잡한 도로 상황에서 보행자의 행동을 예측하고 사고를 막을 수 있습니다.
• 서비스 로봇: 집안일을 하다가 물건을 부수지 않고, 사람과 안전하게 상호작용할 수 있습니다.
• 증강현실 (AR): 가상의 물체가 실제 공간에 자연스럽게 배치되도록 도와줍니다.

한 줄 요약:

"지금까지 AI 는 '사물을 보는' 능력은 뛰어나지만, '세상을 이해하고 상상하는' 능력은 아직 초보 수준입니다. 이 논문은 AI 가 인간처럼 세상을 똑똑하게 이해할 수 있도록 돕기 위한, 가장 까다롭고 포괄적인 '공간 감각 시험지'를 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

현재 비전 - 언어 모델 (VLM) 은 기본적인 공간 관계 (좌/우, 전/후, 근/원, 객체 수 세기 등) 를 이해하는 데 있어 상당한 진전을 이루었으나, 최신 추론 모델들 (o3, Gemini-2.5-Pro 등) 이 기존 벤치마크에서 90% 이상의 정확도를 기록하며 해당 작업들이 포화 상태에 도달했습니다.

그러나 실제 물리적 세계에서의 로봇 조작, 자율 주행, AR/VR 등 복잡한 임무 수행을 위해서는 단순한 관계 파악을 넘어선 고급 공간 추론 (Complex Spatial Reasoning) 능력이 필수적입니다. 기존 벤치마크들은 다음과 같은 한계를 가집니다:

• 단순한 작업: 정적인 객체 배치나 기본 방향 판별에 국한됨.
• 템플릿 기반 생성: 대량의 데이터가 템플릿이나 LLM 에 의해 생성되어 실제 복잡성과 다양성이 부족함.
• 인지 심리학적 기반 부재: 인간의 공간 인지 (동적 추론, 관점 전환, 3D 구조 이해 등) 를 포괄적으로 평가하지 못함.

따라서, 현재 VLM 들이 직면한 종합적이고 도전적인 공간 추론 능력의 한계를 평가하고, 이를 극복할 수 있는 새로운 기준이 필요했습니다.

2. 방법론 (Methodology)

가. OmniSpatial 벤치마크 구축

저자들은 인지 심리학을 기반으로 한 OmniSpatial이라는 포괄적인 벤치마크를 제안했습니다.

• 데이터 규모: 8,400 개 이상의 정교하게 수동 주석 (Human-annotated) 된 질문 - 답변 (QA) 쌍.
• 4 가지 주요 카테고리 및 50 가지 세부 하위 작업:
  1. 동적 추론 (Dynamic Reasoning, 27%): 물체의 운동 분석, 조작 (그립 포인트 선정), 의도 파악 등 시간적 변화와 움직임에 대한 추론.
  2. 복잡한 공간 논리 (Complex Spatial Logic, 16%): 기하학적 추론 (다면체 전개, 단면, 정신적 회전), 패턴 인식, 3D 구조 이해.
  3. 공간 상호작용 (Spatial Interaction, 20%): 교통 상황 분석, 위험 감지, 위치 특정화, 지리적 전략 수립 등 환경 제약과 목표에 따른 행동 계획.
  4. 관점 수용 (Perspective-Taking, 37%): 자기 중심적 (Egocentric), 타인 중심적 (Allocentric), 가상의 관점 (Hypothetical) 에서의 공간 관계 이해.
• 데이터 소스: 웹 이미지, 공인된 인지 테스트, 운전 면허 시험 문제, 기존 데이터셋 (MME, HOI4D 등) 의 실시간 프레임 등을 혼합하여 다양성과 현실성을 확보했습니다.

나. 성능 향상 전략 (Enhancement Strategies)

VLM 의 공간 추론 능력을 향상시키기 위해 두 가지 새로운 접근법을 제안했습니다.

1. PointGraph (명시적 장면 그래프):
   • Florence-2 와 같은 오픈 보편적 그라운딩 모델을 사용하여 이미지 내 객체의 위치, 바운딩 박스, 중심점을 추출합니다.
   • 이를 JSON 형식의 구조화된 장면 그래프 (Scene Graph) 로 변환하여 VLM 에게 명시적인 기하학적 단서 (Geometric Cues) 를 제공합니다.
2. SpatialCoT (새로운 관점 생성을 통한 사고 연쇄):
   • 인간의 공간 추론이 '정신적 이미지 (Mental Imagery)'에 의존한다는 점에 착안했습니다.
   • InstantMesh를 활용하여 입력 이미지의 6 가지 새로운 3D 관점 (Novel Views) 을 합성하고, 이를 콜라주로 구성하여 VLM 에게 입력합니다.
   • 이를 통해 모델이 가려진 부분을 추론하거나 관점 전환 (Perspective Taking) 작업을 수행할 때 시각적 단서를 강화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공간 추론 분류 체계 제안: 동적 추론, 복잡 논리, 공간 상호작용, 관점 수용의 4 가지 차원으로 공간 인식을 체계화하여 향후 연구의 방향성을 제시했습니다.
2. OmniSpatial 데이터셋 공개: 50 가지 세부 작업으로 구성된 8.4K 개의 수동 주석 데이터셋을 통해 VLM 의 공간 추론 능력을 종합적으로 평가할 수 있는 표준 벤치마크를 확립했습니다.
3. 성능 향상 기법 검증: PointGraph 와 SpatialCoT 를 통해 구조화된 정보와 다중 관점 시각화가 VLM 의 추론 성능을 유의미하게 향상시킬 수 있음을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

• 모델 성능 평가:
  • 최고 성능: Proprietary Reasoning 모델인 o3-2025-04-16 (56.33%) 과 Gemini-2.5-Pro (55.19%) 가 가장 높은 성능을 보였으나, 인간 (92.63%) 에 비해 여전히 30% 이상 큰 격차가 존재합니다.
  • 약점 발견: 모든 모델이 **기하학적 추론 (Geometric Reasoning)**과 **비자기 중심적 관점 수용 (Non-egocentric Perspective Taking)**에서 극도로 낮은 성능 (30~40% 대) 을 보였습니다. 이는 단순한 패턴 인식을 넘어선 추상적 공간 사고의 부재를 시사합니다.
  • 오픈 소스 모델: InternVL3-78B, Qwen-VL2.5-72B 등 대형 오픈 소스 모델들이 GPT-4.1-mini 와 유사한 성능을 보여주며 경쟁력을 입증했습니다.
• 향상 기법 효과:
  • PointGraph: 구조화된 객체 관계 정보를 추가함으로써 동적 추론 및 관점 수용 작업에서 정확도가 크게 향상되었습니다 (예: GPT-4.1-mini 기준 +1.63%p).
  • SpatialCoT: 새로운 관점 합성을 통해 관점 수용 (Perspective-Taking) 트랙에서 약 2%p 이상의 성능 향상을 기록했습니다.
• 학습 효과: OmniSpatial 훈련 데이터 (6.9K) 로 파인튜닝한 모델은 템플릿 기반 데이터 (200K) 로 학습한 모델보다 훨씬 우수한 일반화 성능을 보였습니다.

5. 의의 및 중요성 (Significance)

1. 벤치마크의 패러다임 전환: 기존에 단순한 위치 관계나 객체 세기에 집중했던 평가에서 벗어나, 동적 환경, 3D 구조 이해, 관점 전환 등 실제 물리적 세계와 로봇 공학에 필수적인 고급 공간 추론 능력을 평가하는 새로운 표준을 제시했습니다.
2. 로봇 공학 및 자율 시스템 발전: 자율 주행, 로봇 조작, AR/VR 등 공간 인식이 핵심인 분야에서 AI 시스템의 한계를 명확히 파악하고, 이를 해결하기 위한 구체적인 방향 (구조화된 그래프, 다중 관점 시각화) 을 제시했습니다.
3. 인지 심리학과의 융합: 인간의 공간 인지 이론을 벤치마크 설계에 적용함으로써, AI 의 공간 이해 능력을 인간 수준으로 끌어올리기 위한 이론적 토대를 마련했습니다.

결론적으로, OmniSpatial 은 현재 VLM 들이 직면한 공간 추론의 '블라인드 스팟'을 드러내고, 이를 해결하기 위한 데이터와 방법론을 제공함으로써 차세대 물리 - 공간 인식 AI 시스템 개발에 중요한 기여를 할 것으로 기대됩니다.