Spatial4D-Bench: A Versatile 4D Spatial Intelligence Benchmark

이 논문은 MLLM 의 4 차원 공간 지능 능력을 종합적으로 평가하기 위해 18 가지 과제로 구성된 대규모 벤치마크 'Spatial4D-Bench'를 제안하고, 현재 최첨단 모델들이 경로 계획 및 물리적 타당성 추론 등 다양한 4 차원 공간 추론 분야에서 인간 수준의 능력을 달성하지 못함을 규명합니다.

핵심

🌍 "스페이스 4D 벤치": AI 의 4 차원 공간 지능을 시험하는 거대한 시험지

이 논문은 **"인공지능 **(AI)을 측정하기 위해 만든 새로운 시험지, **'스페이스 4D 벤치 **(Spatial4D-Bench)에 대한 이야기입니다.

기존의 AI 시험들은 주로 "정지된 사진 속의 사물을 인식하는 것"에 집중했지만, 이 새로운 시험지는 **"움직이는 세상 **(시간이 흐르는 4 차원 공간)을 얼마나 잘 이해하는지 테스트합니다.

---

🎮 1. 왜 이 시험이 필요한가요? (비유: 정적 사진 vs. 액션 게임)

기존의 AI 시험은 마치 정지된 사진을 보고 "이게 뭐야?"라고 묻는 것과 같습니다. 하지만 실제 우리 세상은 액션 게임처럼 끊임없이 변하고 움직입니다.

• 기존 AI: "사진 속 의자는 몇 개야?" (정답: 2 개) → 잘 맞춥니다.
• 실제 세상: "의자가 넘어지고, 사람이 그 옆으로 지나가고, 문이 열리는데, 다음에 무슨 일이 일어날까?"
• 문제점: 최신 AI 들도 이 '움직이는 세상'을 이해하는 데는 여전히 인간보다 훨씬 못 합니다. 마치 사진은 잘 보지만, 영화는 못 보는 사람과 같습니다.

그래서 연구팀은 40,000 개의 질문으로 구성된 거대한 시험지인 '스페이스 4D 벤치'를 만들었습니다.

---

🗺️ 2. 이 시험지는 어떤 구조인가요? (6 개의 레벨)

이 시험지는 인간의 공간 지능 발달 과정을 따라 6 단계로 나뉩니다. 마치 게임의 스테이지를 오르는 것과 같습니다.

1. **사물 이해 **(Object Understanding) "저게 뭐야? 크기는 얼마나 돼? 무슨 재질이야?" (기본기)
2. **장면 이해 **(Scene Understanding) "이 방은 얼마나 넓어? 어떤 방이지?" (전체 맥락 파악)
3. **공간 관계 이해 **(Spatial Relationship) "의자와 테이블 사이 거리는 얼마나 돼? 어느 방향에 있어?" (위치 파악)
4. **시간 - 공간 관계 이해 **(Spatiotemporal Relationship) "누가 먼저 왔고, 누가 나중에 왔어? 문이 열렸을 때 물이 쏟아졌어?" (시간 흐름과 변화 파악)
5. **공간 추론 **(Spatial Reasoning) "내가 이 방에 서 있는데, 화장실로 가려면 어떻게 가야 해?" (나 자신의 위치 파악 및 경로 찾기)
6. **시간 - 공간 추론 **(Spatiotemporal Reasoning) "이 사람이 지금 컵을 들었는데, 다음에 무슨 일을 할까? 물이 공중에 떠 있다면 물리 법칙을 위반한 거야?" (미래 예측 및 물리 법칙 적용)

---

🤖 3. AI 들은 이 시험에서 어떻게 했나요? (결과: 반은 천재, 반은 바보)

연구팀은 최신 AI 모델 11 개를 이 시험에 도전시켰습니다. 결과는 매우 흥미롭습니다.

✅ 잘하는 부분: "사진 속의 숫자 세기"

• 상황: "사진에 사과가 몇 개야?" 또는 "이 방이 10 평인지 15 평인지 대충 말해줘."
• 결과: AI 는 인간보다 더 잘하거나 비슷하게 잘합니다.
• 이유: AI 는 방대한 데이터를 학습했기 때문에 "사과 모양"이나 "방 크기"에 대한 통계적 지식을 가지고 있기 때문입니다.

❌ 못하는 부분: "움직이는 세상 이해하기"

• 상황: "이 사람이 컵을 들고 화장실로 가는데, 다음에 컵을 어디에 둘까?" 또는 "물이 공중에 멈춰 있다면 물리 법칙 위반이야?"
• 결과: AI 는 인간보다 훨씬 못 합니다. 특히 **경로 찾기 **(Route Plan)나 물리 법칙 판단에서 엉뚱한 답을 내놓습니다.
• 이유: AI 는 영상을 단순히 '프레임의 나열'로 보지, 시간이 흐르며 변하는 하나의 연속된 이야기로 이해하지 못합니다.

---

🕵️‍♂️ 4. AI 가 왜 실패할까요? (3 가지 치명적인 약점)

연구팀은 AI 가 틀리는 이유를 세 가지로 분석했습니다.

1. "기억력 부족" (시간이 길어지면 망각)

• 비유: 5 분짜리 영화를 보면 내용을 잘 기억하지만, 30 분짜리 영화를 보면 중간에 무슨 일이 있었는지 까맣게 잊어버립니다.
• 현실: AI 는 긴 영상을 볼수록 공간 기억력이 급격히 떨어집니다.

2. "눈보다 입이 더 큰" (텍스트 편향)

• 비유: "주방에 오븐이 있다"는 사실을 알고 있는 AI 가, 실제로 오븐이 없는 사진을 보고도 "아마 오븐이 있겠지"라고 추측합니다.
• 현실: AI 는 **시각적 증거 **(영상)보다 **텍스트로 배운 상식 **(언어적 편견)을 더 믿는 경향이 있습니다. 눈으로 본 것과 머릿속 상식이 충돌하면, 상식을 선택해 버립니다.

3. "물리 법칙은 알고 있지만, 눈으로 못 봄"

• 비유: "중력은 물체를 아래로 당긴다"는 물리 법칙을 완벽하게 외우고 있지만, 영상에서 물체가 위로 날아가는 것을 봐도 "아, 이건 특수 효과겠지"라고 생각하며 물리 법칙 위반을 못 알아챕니다.
• 현실: AI 는 물리 법칙을 지식으로는 알지만, 시각적으로 감지하는 능력은 부족합니다.

---

💡 5. 결론: AI 는 어디까지 왔을까?

이 논문은 **"AI 는 정적인 사물을 보는 능력은 인간을 앞질렀지만, 움직이는 세상을 이해하고 미래를 예측하는 능력에서는 여전히 인간과 큰 격차가 있다"**는 사실을 명확히 보여줍니다.

• 현재 상태: AI 는 '사진 속의 사물'을 잘 찾지만, '영화 속의 이야기'를 이해하지 못합니다.
• 미래 과제: AI 가 진짜 인간처럼 세상을 이해하려면, 단순히 정지된 이미지를 보는 것을 넘어 시간의 흐름을 이해하고, 물리 법칙을 눈으로 확인하며, 긴 시간 동안 기억을 유지하는 능력이 필요합니다.

이 '스페이스 4D 벤치'는 바로 그 **AI 의 다음 단계 **(4 차원 지능)를 위한 나침반 역할을 할 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 4D 공간 지능의 부재: 인간은 물체의 이동과 시간에 따른 변화를 인지하고 처리하는 '4D 공간 지능 (공간 + 시간)'을 자연스럽게 갖추고 있습니다. 그러나 현재 멀티모달 대규모 언어 모델 (MLLM) 이 인간 수준의 4D 공간 추론 능력을 달성했는지는 명확하지 않습니다.
• 기존 벤치마크의 한계: 기존 공간 지능 벤치마크 (VSI-Bench, STI-Bench 등) 는 주로 정적인 3D 장면 (방 크기 추정, 객체 거리 등) 에 초점을 맞추고 있으며, 데이터 규모가 작고 다양성이 부족합니다. 또한, 시간의 흐름에 따른 객체 상태 변화, 물리적 타당성, 장기적인 경로 계획 등 동적인 4D 공간 추론을 포괄적으로 평가하지 못합니다.
• 평가의 필요성: MLLM 의 공간 추론 능력을 인간 수준과 비교하여 종합적으로 평가하고, 모델이 직면한 한계 (특히 시간적 일관성과 물리 법칙 이해) 를 규명할 수 있는 새로운 벤치마크가 필요합니다.

2. 방법론 (Methodology)

2.1 Spatial4D-Bench 구축

• 데이터 규모 및 구성: 약 40,000 개의 질문 - 답변 (QA) 쌍으로 구성된 대규모 벤치마크입니다.
• 데이터 소스: Charades-Ego, ScanNet, ARKitScenes, EPIC-KITCHENS, nuScenes 등 다양한 공개 데이터셋 (실내/실외, 1 인칭/타인칭, 실제/합성 데이터) 을 통합하여 수집했습니다.
• 구축 파이프라인:
  1. 데이터 수집: 다양한 소스에서 텍스트, RGB 비디오, 포인트 클라우드 등을 수집.
  2. 데이터 통합: 이질적인 데이터를 표준화된 메타데이터 형식 (JSON) 으로 통일.
  3. QA 쌍 생성: 템플릿 기반 자동 생성과 전문가 (Human Annotator) 에 의한 수동 생성을 병행. 복잡한 추론 작업은 인간이 직접 작성하여 품질을 보장.
  4. 최종 인간 검토: AI 연구자들이 모호하거나 잘못된 QA 쌍을 필터링하고 피드백 루프를 통해 수정.

2.2 작업 분류 체계 (Task Taxonomy)

인간의 공간 인지 원리에 따라 18 개의 세부 작업을 6 가지 핵심 범주로 체계화했습니다 (그림 1, 4 참조):

1. 객체 이해 (Object Understanding): 객체 크기/속성 추정, 객체 카운팅, affordance(사용 가능성) 추정.
2. 장면 이해 (Scene Understanding): 방 크기 추정, 장면 분류, 3D 그라운딩 (위치 특정).
3. 공간 관계 이해 (Spatial Relationship Understanding): 절대/상대 거리 및 방향 추정.
4. 시공간 관계 이해 (Spatiotemporal Relationship Understanding): 행동 인식, 등장 순서, 공간 기억 (시야 밖 객체 추적), 상태 변화 감지.
5. 공간 추론 (Spatial Reasoning): 1 인칭 (Egocentric) 추론, 경로 계획 (Route Plan).
6. 시공간 추론 (Spatiotemporal Reasoning): 행동 예측, 물리적 타당성 추론 (물리 법칙 위반 식별).

3. 주요 기여 (Key Contributions)

• 대규모 다중 작업 벤치마크: 기존 벤치마크보다 훨씬 큰 규모 (~40k QA) 와 18 개의 세분화된 작업을 통해 4D 공간 지능을 포괄적으로 평가합니다.
• 4D 추론의 심층 평가: 정적인 3D 공간뿐만 아니라, 시간의 흐름에 따른 객체 상태 변화, 물리적 일관성, 장기적인 경로 계획 등 인간이 자연스럽게 수행하는 4D 추론 능력을 평가합니다.
• 새로운 작업 도입: 기존 벤치마크에서 충분히 연구되지 않았던 '공간 기억 (Spatial Memory)', '상태 변화 감지', '물리적 타당성 추론' 등을 포함하여 모델의 한계를 명확히 드러냅니다.
• 오픈소스 및 상용 모델 비교 평가: GPT-5, Gemini 2.5-Pro 와 같은 상용 모델과 Qwen, InternVL 등 오픈소스 모델 (7B~241B 파라미터) 을 대상으로 포괄적인 벤치마킹을 수행했습니다.

4. 실험 결과 (Results)

4.1 전반적 성능

• 인간과의 격차: MLLM 은 인간 (평균 점수 78.02) 에 비해 4D 공간 지능에서 여전히 큰 격차를 보입니다. 최상위 상용 모델 (GPT-5, 60.90) 과 오픈소스 모델 (Qwen3-VL, 56.17) 모두 인간보다 낮게 평가되었습니다.
• 인지 vs 추론:
  • 지각 (Perception): 객체 크기 추정, 카운팅, 방 크기 등 기본 지각 작업에서는 일부 모델이 인간을 능가하거나 비슷한 성능을 보였습니다 (MLLM 이 3D/기하학적 사전 지식을 활용하기 때문).
  • 추론 (Reasoning): 경로 계획, 시공간 추론, 물리적 타당성 판단 등 고차원 추론 작업에서는 인간과 비교해 성능이 현저히 떨어졌습니다 (예: 경로 계획에서 GPT-5 는 32.83 점, 인간은 91.67 점).

4.2 심층 분석 (Deep Analysis)

• 시공간 연속성 취약: 비디오 길이가 길어질수록 (5 분 → 30 분) 공간 기억 성능이 급격히 저하되었습니다. 고정된 프레임 샘플링 방식이 장기적인 시간적 맥락을 포착하는 데 한계가 있음을 시사합니다.
• 지식 - 지각 간극 (Knowledge-Perception Gap): 모델은 물리 법칙에 대한 추상적 지식은 가지고 있으나, 실제 비디오에서 물리 법칙 위반 (예: 액체의 비정상적인 이동) 을 시각적으로 감지하지 못합니다. 텍스트 기반 추론에 의존하여 물리적으로 불가능한 상황을 오판하는 경우가 많습니다.
• 언어 사전 지식의 우세: 시각 정보가 부족하거나 모호할 때, 모델은 잘못된 시각적 단서보다 학습된 언어적 사전 지식 (Language Priors) 을 과도하게 신뢰하여 '할루시네이션 (Hallucination)'을 일으킵니다. 특히 경로 계획 작업에서 시각적 지형도를 구축하지 못하고 언어적 추측에 의존하는 경향이 뚜렷합니다.
• 오픈소스 모델의 성장: 최상위 오픈소스 모델들이 상용 모델과 성능 격차가 좁혀지고 있으며, 인간과의 격차에 비해 두 모델 간의 차이는 상대적으로 작습니다.

5. 의의 및 결론 (Significance)

• MLLM 의 한계 규명: 현재 MLLM 이 '프레임 기반 관찰자 (frame-based observer)'일 뿐, 일관된 4D 세계 모델을 가진 '세계 관찰자 (world observer)'가 아니라는 것을 입증했습니다. 특히 인과관계, 영속성, 역동성 추론에 큰 결함이 있음을 보여줍니다.
• 향후 연구 방향 제시:
  • 고정된 컨텍스트 윈도우에서 적응형 샘플링이나 스트리밍 메모리 아키텍처로의 전환 필요.
  • 시각적 지각과 물리 법칙의 통합 (Visual Grounding) 강화.
  • 언어적 편향 (Language Bias) 을 줄이고 시각적 증거를 우선시하는 모델 개발 필요.
• 커뮤니티 기여: Spatial4D-Bench 는 인간 수준의 4D 공간 지능을 달성하기 위한 MLLM 개발을 촉진하고, 모델의 구체적인 약점을 진단할 수 있는 표준적인 평가 도구로 작용할 것입니다.

이 논문은 MLLM 이 정적인 이미지 이해를 넘어 동적인 4D 환경을 이해하고 추론하는 데 있어 아직 갈 길이 멀음을 명확히 보여주며, 향후 모델 개발을 위한 중요한 로드맵을 제시합니다.