Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models

이 논문은 로봇공학 및 증강현실 등 실세계 응용에 필수적인 공간 추론 능력을 평가하기 위해, 기존 벤치마크의 한계를 극복하고 인간 수준의 공간 지능을 향한 명확한 방향을 제시하는 새로운 통합 벤치마크 'Spatial-DISE'와 대규모 데이터셋을 제안합니다.

핵심

1. 문제: AI 는 "눈"은 좋지만 "머리"가 안 돌아갑니다

지금까지의 AI(비전 - 언어 모델) 들은 사진을 보고 "이건 개고, 저건 고양이"라고 말하는 건 잘합니다. 하지만 공간적인 사고는 매우 서툴러요.

• 예시: "이 상자를 접어서 구멍을 뚫으면, 펴졌을 때 구멍이 몇 개 생길까요?" 같은 질문을 하면 AI 는 대부분 엉뚱한 답을 내놓습니다.
• 현황: 기존 시험지들은 대부분 "정적인 것" (사물이 움직이지 않는 상태) 을 물어봤어요. 하지만 현실 세계는 물체가 움직이고, 접히고, 회전하는 동적인 상황이 많습니다.

2. 해결책: '스페이스 - 다이스 (Spatial-DISE)'라는 새로운 시험지

연구팀 (리버풀 대학교) 은 AI 의 공간 능력을 제대로 측정하기 위해 4 가지 영역으로 나눈 새로운 시험지를 만들었습니다. 이를 **'다이스 **(DICE)라고 상상해 보세요.

• **내부적 **(Intrinsic) 물체 자체의 모양을 보는 것 (예: 주사위 눈의 위치).
• **외부적 **(Extrinsic) 물체와 물체 사이의 관계를 보는 것 (예: 의자가 책상 왼쪽에 있음).
• **정적 **(Static) 움직이지 않는 상태.
• **동적 **(Dynamic) 접기, 돌리기, 자르기처럼 물체가 변하는 과정.

이 시험지는 특히 물체를 머릿속으로 접고, 돌리고, 조립하는 능력을 집중적으로 테스트합니다. 마치 3D 퍼즐을 머릿속으로 조립하는 능력을 보는 것과 같습니다.

3. 실험 결과: AI vs 인간, 압도적인 격차

연구팀은 최신 AI 32 개를 이 시험지에 응시시켰습니다. 결과는 충격적이었습니다.

• 인간: 평균 77% 정답률. (우리가 주사위를 접거나 돌리는 건 꽤 잘합니다.)
• 최고 성능 AI: 평균 42% 정답률. (거의 주사위 던지기 수준인 25% 보다는 조금 나을 뿐입니다.)
• 결론: AI 는 여전히 "공간 지능"이 인간에 비해 매우 부족합니다.

4. 왜 AI 는 실패할까? (세 가지 치명적 결함)

연구팀은 AI 가 틀린 이유를 분석했는데, 단순히 "사진을 못 봄"이 아니라 사고 과정에 문제가 있었습니다.

1. **규칙 무시 **(Rule Failure)
   • 비유: 주사위를 접을 때, "접힌 면은 서로 마주보지 않는다"는 기하학의 기본 법칙을 잊어버립니다. 마치 "하늘은 파랗다"는 사실을 모르고 "하늘은 초록색이다"라고 말하는 것과 같습니다.
2. **머릿속 시뮬레이션 실패 **(Mental Simulation Failure)
   • 비유: 종이를 2 번 접고 구멍을 뚫었을 때, 펴지면 구멍이 4 개가 된다는 과정을 머릿속으로 따라가지 못합니다. "접고, 구멍을 뚫고, 펴지는" 이 동적인 흐름을 기억해 내는 '공간 작업 기억'이 부족합니다.
3. **전체와 부분의 균형 붕괴 **(Holistic-Local Processing)
   • 비유: 전체적인 모양은 비슷해 보이지만, 작은 부분 (예: 블록의 방향) 이 틀린 것을 못 봅니다. "대충 비슷해 보이니까 맞겠지"라고 눈속임을 당하는 것입니다.

5. 해결책과 미래: "12,000 개의 가짜 문제"로 훈련시키기

AI 가 이 능력을 배우게 하려면 데이터가 많이 필요합니다. 하지만 실제 3D 문제를 만들기엔 비용과 시간이 너무 듭니다.

• 혁신적인 방법: 연구팀은 **블렌더 **(Blender)라는 3D 그래픽 프로그램을 이용해 **12,000 개 이상의 가짜 **(Synthetic)를 자동으로 만들었습니다.
• 효과: 이 데이터로 AI 를 훈련시키니 성능이 **26% 에서 47%**로 크게 향상되었습니다. 하지만 여전히 인간 (77%) 에는 미치지 못합니다.

6. 요약: 이 연구가 중요한 이유

이 논문은 **"AI 가 사진을 잘 보는 것만으로는 부족하고, 물체가 움직이고 변하는 과정을 머릿속으로 시뮬레이션할 수 있어야 진짜 지능이다"**라고 말합니다.

• **로봇 공학, 증강현실 **(AR)을 위해 AI 는 이제 "눈"만 좋은 게 아니라, "손"과 "머리"가 함께 움직일 수 있는 공간 지능을 갖춰야 합니다.
• 이 연구는 AI 가 그 한계를 어디까지 왔는지 보여주고, 앞으로 어떻게 훈련시켜야 하는지 **청사진 **(Blueprint)을 제시했습니다.

한 줄 요약:

"지금의 AI 는 사진을 보는 눈은 떴지만, 물체를 접고 돌리는 손과 머릿속 시뮬레이션이 아직 어설프다는 것을 증명하고, 이를 훈련시킬 새로운 방법과 데이터를 제시한 연구입니다."

기술 요약

1. 문제 제기 (Problem)

시각 - 언어 모델 (VLM) 은 객체 감지, 장면 설명 등 다양한 작업에서 뛰어난 성능을 보이지만, 로봇공학, 증강현실 (AR), 자율주행 등에 필수적인 복잡한 공간 추론 (Spatial Reasoning) 능력에서는 심각한 한계를 드러내고 있습니다. 기존 벤치마크들은 다음과 같은 근본적인 결함을 가지고 있습니다.

• 인지적 프레임워크 부재: 공간 추론 능력을 체계적으로 분류하고 평가할 수 있는 통합된 이론적 틀이 부족하여, 작업이 파편화되고 불균형하게 구성되어 있습니다.
• 정적 (Static) 추론 편향: 대부분의 벤치마크가 고정된 장면의 관계를 파악하는 '정적' 추론에 집중하고 있어, 물체의 회전, 접기, 변형 등을 mentally 시뮬레이션해야 하는 '동적 (Dynamic)' 추론 능력이 충분히 평가되지 않습니다.
• 데이터 부족: 동적 공간 추론을 평가할 수 있는 대규모 데이터셋이 부재하여, 모델의 능력을 견고하게 평가하거나 학습시키는 데 한계가 있습니다.

2. 방법론 (Methodology)

가. 인지 기반 분류 체계 (DISE Taxonomy)

저자들은 인지과학 연구 (Maier, 1996; Uttal et al., 2013) 를 바탕으로 공간 추론을 2x2 매트릭스로 분류하는 DISE (Dynamic, Intrinsic, Static, Extrinsic) 프레임워크를 제안했습니다.

• 차원 1 (정보의 성격):
  • Intrinsic (내재적): 물체 내부의 부분과 배열 관계 (예: 큐브의 면 패턴).
  • Extrinsic (외재적): 여러 물체 간의 상대적 위치 관계.
• 차원 2 (상태의 변화):
  • Static (정적): 고정된 정보 분석.
  • Dynamic (동적): 물체의 회전, 접기, 변형 등 정신적 조작이 필요한 작업.
• 4 가지 영역: Intrinsic-Static (I-S), Intrinsic-Dynamic (I-D), Extrinsic-Static (E-S), Extrinsic-Dynamic (E-D).

나. 데이터 생성 파이프라인

데이터 부족 문제를 해결하기 위해 Blender 엔진을 활용한 확장 가능하고 검증 가능한 자동화 파이프라인을 구축했습니다.

1. 초기화 및 시딩: 고유한 질문 ID 를 기반으로 재현 가능한 랜덤 시드를 생성.
2. 핵심 자산 생성: 3D 객체 (불규칙한 형태, 큐브 등) 생성.
3. 질문 및 정답 렌더링: 최적의 카메라 시점에서 이미지 생성.
4. 오답 (Distraction) 생성 전략:
   • 기하학적 변형, 패턴/방향 오류, 잘못된 시점 렌더링, 구성 요소 교체 등을 통해 모델이 헷갈릴 만한 합리적인 오답을 생성.
5. 품질 관리: 3 단계 (실제 데이터 수집, 합성 데이터 생성, 인간 검증) 를 거쳐 데이터의 유일성, 정확성, 중복 제거를 보장.

다. 벤치마크 구성

• Spatial-DISE Bench: 559 개의 평가용 VQA 쌍 (10 가지 작업 유형, 4 가지 DISE 영역 모두 포함).
• Spatial-DISE-12K: 12,000 개 이상의 대규모 학습용 VQA 쌍 (주로 3D 작업).

3. 주요 기여 (Key Contributions)

1. 인지 기반 통합 분류 체계: 기존 작업 중심의 벤치마크와 달리, 모든 공간 작업을 체계적으로 분류하여 모델의 구체적인 약점 (특히 동적 추론) 을 드러내는 프레임워크를 제시.
2. 확장 가능하고 검증 가능한 데이터 생성 파이프라인: Blender 를 활용한 자동화 도구를 개발하여 동적 공간 추론 데이터의 부족 문제를 해결하고, 재현 가능한 오답 생성 전략을 제공.
3. 통합 및 검증 가능한 인지 벤치마크: 32 개의 최신 VLM 을 평가할 수 있는 대규모 벤치마크와 학습 데이터셋을 공개.
4. VLM 의 공간 추론 한계 규명: 현재 최첨단 모델들조차 인간 수준의 공간 지능에 크게 미치지 못하며, 특히 다단계 정신 시뮬레이션에서 실패함을 입증.

4. 실험 결과 (Results)

가. 성능 평가 (32 개 모델)

• 전반적 저조한 성능: 32 개 모델의 평균 정확도는 **28.4%**로, 무작위 추측 (약 25%) 보다 약간 높을 뿐이며, 인간 기준 (76.8%) 에는 현저히 미치지 못함.
• 최고 성능 모델: 추론 강화 모델인 Doubao-1.5-VL-thinking이 42.0% 로 가장 높았으나, 여전히 인간 수준에는 도달하지 못함.
• 동적 추론의 취약성: 다단계 변환 (예: 접기 후 구멍 뚫기 후 펼치기) 이 필요한 작업에서 모델들의 성능이 급격히 떨어짐 (평균 25.4%). 이는 '공간 작업 기억 (Spatial Working Memory)'의 부재를 시사.
• 정적 vs 동적: 흥미롭게도 정적 추론 능력이 뛰어난 모델이 동적 추론에서도 좋은 성과를 내지는 않음. 일부 모델은 동적 작업에서 정적 작업보다 더 잘 수행하기도 함 (패턴 인식에 의존할 가능성).

나. 파인튜닝 효과 (Spatial-DISE-12K)

• 학습 효과: Qwen2.5-VL-7B와 SpaceOm 모델을 Spatial-DISE-12K 로 파인튜닝한 결과, 벤치마크 성능이 크게 향상됨 (예: Qwen2.5-VL-7B 는 26.1% → 47.0% 상승).
• 전이 학습 (Transfer Learning):
  • 특정 4 분면 (Quadrant) 의 학습은 해당 영역의 성능을 높이지만, 다른 영역으로의 전이는 제한적이거나 부정적일 수 있음 (Quadrant-specific specialization).
  • 3D 동적 작업 학습은 2D 추론 작업에도 긍정적인 전이를 보였으나, 3D 정적 작업 학습은 2D 작업에 부정적인 영향을 미침.
• 한계: 파인튜닝 후에도 최고 성능 모델은 여전히 인간 기준 (76.8%) 에 훨씬 못 미침 (47.0%).

다. 오류 분석 (Error Analysis)

• 주요 오류 원인: 인식 오류 (Perceptual, 17.5%) 나 이해 오류 (Comprehension, 10%) 가 아닌, **추론 오류 (Reasoning Error, 72.5%)**가 주된 실패 원인.
• 3 가지 인지적 결핍:
  1. 규칙 적용 실패 (44.8%): 기하학적 기본 법칙 (예: 큐브의 인접면과 반대면 관계) 을 무시.
  2. 정신 시뮬레이션 실패 (40.0%): 물체의 상태 변화를 추적하는 '공간 작업 기억' 부족 (접기/펼치기 작업에서 특히 두드러짐).
  3. 전체 - 국소 처리 불균형 (15.2%): 전체 구조와 국소적 세부 사항 간의 주의를 적절히 전환하지 못함.

5. 의의 및 결론 (Significance)

• VLM 의 한계 명확화: 현재의 VLM 은 단순한 패턴 인식을 넘어, 기하학적 규칙에 기반한 추상적 세계 모델 (World Model) 과 동적 시뮬레이션 능력을 갖추지 못했음을 보여줌.
• 미래 연구 방향 제시:
  • 단순한 시각적 인식을 넘어 인간과 유사한 능동적 추론 (Active Reasoning) 으로 연구 초점 이동 필요.
  • 합성 데이터 (Sim) 와 실제 세계 (Real) 간의 간극 (Sim-to-Real Gap) 해소.
  • 상호작용적 작업 (내비게이션, 로봇 조작) 및 과정 중심 평가 (텍스트 기반 정당화) 도입 필요.
• 자원 제공: Spatial-DISE 벤치마크, 12K 데이터셋, 생성 파이프라인 코드를 공개하여 향후 공간 지능 연구의 표준 기반을 마련함.

이 논문은 VLM 이 진정한 공간 지능을 갖추기 위해서는 단순한 데이터 양의 증가가 아닌, 인지적 구조와 추론 메커니즘의 근본적인 개선이 필요함을 강력하게 주장합니다.