Vision-language models lag human performance on physical dynamics and intent reasoning

이 논문은 비전 - 언어 모델이 물리적 역학과 인간 의도 추론에서 인간 성능에 크게 미치지 못하는 '목적 - 공간적 추론 격차'를 확인했으며, 이를 평가하기 위해 대규모 실세계 비디오 데이터셋인 EscherVerse 를 제안하고 목적 지향적 공간 추론의 중요성을 강조합니다.

핵심

이 논문은 **"로봇이나 AI 가 사람을 도와주려면, 단순히 사물을 보는 것을 넘어 '왜' 그 행동을 하는지 이해해야 한다"**는 중요한 메시지를 전달합니다.

비유하자면, 현재의 AI 는 **"사진을 보고 사물의 이름과 위치를 정확히 말해주는 '탁월한 사진관'"**이지만, **"사람의 의도를 읽고 미래의 상황을 예측하는 '현명한 파트너'"**가 되지는 못한다는 이야기입니다.

이 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 문제: AI 는 '무엇'은 알지만 '왜'는 모릅니다

지금까지의 AI 는 물체가 '어디에' 있고 '무엇'인지 아는 데는 매우 뛰어납니다. 하지만 물체가 움직일 때 '왜' 움직이는지, 그리고 사람이 그 물체를 어떻게 사용할지를 예측하는 데는 여전히 서툴러요.

• 비유: AI 는 "저기 컵이 있네, 그 옆에 사람이 있네"라고 말할 수는 있지만, **"그 사람이 컵을 들면 물을 마시려고 하겠지, 그러니 컵이 앞으로 움직일 거야"**라고 추론하는 데는 실패합니다.
• 논문 용어: 이를 '텔레오 - 공간 지능 (Teleo-Spatial Intelligence)' 부족이라고 합니다. '텔레오 (Teleo)'는 '목적'을 뜻하는 그리스어에서 왔습니다. 즉, 공간적인 움직임 뒤에 숨겨진 '목적 (의도)'을 이해하는 능력이 부족하다는 뜻입니다.

2. 새로운 시험지: '에셔버스 (EscherVerse)'

연구팀은 AI 의 이 약점을 테스트하기 위해 실제 세상에서 찍은 1 만 3 천 개가 넘는 비디오를 분석한 거대한 시험지인 **'에셔버스'**를 만들었습니다.

• 비유: 기존 시험지는 "이 사각형은 몇 변인가요?" 같은 정적인 수학 문제였다면, 에셔버스는 "저 사람이 공을 잡으면 어디로 갈까요?", "이 지팡이가 짧아지면 넘어질까요?" 같은 생생한 상황극 문제입니다.
• 문제 예시:
  • "사람이 컵을 마시려고 한다면, 컵은 어디로 이동할까요?"
  • "남자가 공을 잡은 후, 붉은 모자를 쓴 남자를 보고 반대 방향으로 첫 걸음을 떼나요?"

3. 충격적인 결과: AI vs 인간

연구팀은 최신 AI 27 개를 이 시험지에 풀어보게 했고, 일반인 11 명도 같은 문제를 풀게 했습니다. 결과는 매우 명확했습니다.

• 인간: 문제를 한 번만 보고도 **약 90%**를 맞췄습니다. (사람은 본능적으로 "아, 저 사람은 물을 마시려고 하네"라고 직관적으로 이해합니다.)
• 최고의 AI: 가장 똑똑한 AI(Gemini-2.5-Pro) 는 57% 정도만 맞췄습니다.
• 비유: 마치 수학 천재가 '수학 문제'는 다 풀지만, '실제 생활의 상황극'에서는 엉뚱한 답을 내놓는 꼴입니다. AI 는 물체의 기하학적 모양은 잘 보지만, 사람의 의도와 물리 법칙이 섞인 복잡한 상황에서는 여전히 혼란을 겪습니다.

4. 해결책 시도: 더 많은 데이터로 훈련시켰더니?

연구팀은 AI 에게 실제 세상에서 찍은 비디오와 "사람의 의도"를 설명하는 데이터를 더 많이 주며 훈련시켰습니다.

• 결과: AI 의 실력은 상당히 좋아졌습니다. 하지만 여전히 인간 수준에는 미치지 못했습니다.
• 비유: AI 에게 "실제 상황극"을 수천 번 보게 했더니, 연기를 잘하게 되었지만 아직도 '배우'의 영혼 (직관과 깊은 이해) 을 완전히 얻지는 못했습니다.

5. 왜 이 연구가 중요한가요?

이 연구는 AI 가 우리 일상 (자율주행, 로봇 청소기, 공장 로봇 등) 에서 안전하게 일하려면, 단순히 사물을 인식하는 것을 넘어 **"사람이 무엇을 하려는지"**를 이해해야 한다고 경고합니다.

• 경고: AI 가 "사람이 넘어질지, 물건을 떨어뜨릴지"를 예측하지 못하면, 실제 세상에서 큰 사고가 날 수 있습니다.
• 미래: 앞으로의 AI 는 단순한 '시각 인식'을 넘어, '목적'과 '원인'을 이해하는 지능으로 발전해야 합니다.

요약

이 논문은 **"AI 는 이제 눈 (시각) 은 떴지만, 마음 (의도 이해) 은 아직 닫혀 있다"**고 말합니다. AI 가 진짜로 인간과 함께 살아가는 세상을 위해, 단순한 '지식'이 아닌 '이해'와 '예측' 능력을 키우는 것이 가장 시급한 과제라고 강조합니다.

기술 요약

논문 요약: 비전 - 언어 모델의 물리적 역동성 및 의도 추론 능력 격차

이 논문은 현재 최첨단 비전 - 언어 모델 (VLM) 이 개방형 인간 환경에서 물리적 상호작용과 인간의 의도를 추론하는 데 있어 인간 성능에 비해 현저히 뒤처진다는 사실을 규명하고, 이를 해결하기 위한 새로운 개념과 벤치마크를 제안합니다.

1. 문제 제기 (Problem)

• 현황: 최근 AI 는 언어 및 시각 작업에서 뛰어난 성과를 보이지만, 물리적 세계의 역동성 (물리 법칙, 운동 궤적 등) 과 인간의 행동 의도 (Goal-directed structure) 를 결합하여 추론하는 능력에서는 한계를 보입니다.
• 위험성: 자율주행이나 로봇과 같은 물리적 환경에서의 AI 배포 시, 공간적 이해 부족은 안전 사고로 이어질 수 있습니다 (예: 로봇 관련 사고, 자율주행 차량 충돌).
• 핵심 한계: 기존 공간 지능 (Spatial Intelligence) 연구는 주로 정적 객체의 위치나 기하학적 관계에 집중하여, "왜 (Why)" 인간이 특정 행동을 하는지, 그리고 그 행동이 미래의 공간 상태에 어떤 영향을 미칠지를 추론하는 '목적 지향적 (Teleological)' 추론을 간과하고 있습니다.

2. 제안된 개념 및 방법론 (Methodology)

가. 텔레오 - 공간 지능 (Teleo-Spatial Intelligence, TSI) 의 도입

• 정의: 그리스어 'Telos(목적)'에서 유래한 개념으로, 단순한 공간 인식뿐만 아니라 물리적 역동성과 이를 추동하는 잠재적 인간 의도를 연결하는 추론 능력을 의미합니다.
• 차별점: 기존의 '객체 중심 (Object-centric)'이고 정적인 기하학적 설명에서 벗어나, '인간 중심 (Human-centric)'이며 목표 지향적이고 의도를 인지하는 미래 공간 변화 예측으로 패러다임을 전환합니다.

나. EscherVerse 벤치마크 구축

• 데이터 규모: 11,328 개의 실제 세계 비디오를 기반으로 구축된 대규모 오픈 월드 리소스입니다.
  • 평가용 벤치마크: 8,000 개의 질문 - 답변 쌍.
  • 학습용 데이터: 35,963 개의 지시 조정 (Instruction-tuning) 데이터셋 (Chain-of-Thought 포함).
• 6 가지 핵심 차원:
  1. 행동 및 의도 기반 공간 추론: 인간 의도에 따른 공간 변화 추론.
  2. 자아 중심 (Egocentric) vs. 타자 중심 (Allocentric) 참조계: 카메라 시점과 피사체 시점 간의 전환 및 추론.
  3. 예측 및 반사실적 추론: 현재 궤적과 물리 법칙을 기반으로 한 미래 상태 예측 또는 가정적 시나리오 추론.
  4. 동적 공간 관계: 시간 변화에 따른 객체 간 상대적 위치 및 위상 관계 이해.
  5. 객체 변형 및 상태 전이: 비강체 (Non-rigid) 형태 변화 이해.
  6. 객체 영속성 및 가림 추적: 가려진 객체의 연속적 추적.
• 구축 파이프라인:
  • 필터링: 온라인 비디오 캡션을 기반으로 규칙 기반 및 LLM 기반 필터를 통해 정적/단조로운 영상을 제거하고 복잡한 상호작용이 포함된 영상을 선별.
  • 질문 생성: 'Red-teaming' 프롬프트를 사용하여 시각적 난이도를 높이고, 의도 추론을 요구하는 질문을 자동 생성.
  • 검증: 다중 모델 교차 검증 및 12 명의 전문가 (컴퓨터 비전, 인지과학 등) 에 의한 인간 심의 (Adjudication) 를 통해 데이터 품질을 보장 (Fleiss' Kappa = 0.82).

3. 주요 기여 (Key Contributions)

1. TSI 개념 정립: 개방형 장면에서 물리적 역동성, 참조계 변환, 목표 지향적 인간 행동을 추론하기 위한 새로운 개념적 프레임워크 제시.
2. EscherVerse 공개: 실제 세계 데이터를 기반으로 한 대규모 벤치마크와 학습 데이터셋을 공개하여, 물리적 역동성과 의도 추론 능력을 체계적으로 평가하고 훈련할 수 있는 인프라 제공.
3. 인간 - 모델 격차 규명: 27 개의 최첨단 VLM 과 11 명의 인간 어노테이터를 대상으로 한 대규모 평가를 통해, 현재 AI 가 인간 수준의 TSI 추론에 도달하지 못함을 실증적으로 증명.

4. 실험 결과 (Results)

• 성능 비교:
  • 인간 성능: 11 명의 어노테이터가 1 회 시도 (First-pass) 에서 달성한 평균 정확도는 90.62% (범위: 84.81% ~ 95.14%) 였습니다.
  • 최고 성능 모델: 평가된 27 개 모델 중 가장 강력한 폐쇄형 모델 (Gemini-2.5-Pro) 의 정확도는 **57.26%**에 그쳤습니다.
  • 격차: 최고의 폐쇄형 모델조차 인간 평균보다 33.36%p 낮았으며, 오픈 소스 모델 (Qwen3-VL-32B 등) 은 49% 대에 머물렀습니다.
• 학습 효과:
  • EscherVerse 의 35k 학습 데이터셋으로 파인튜닝 (SFT) 한 오픈 소스 모델 (Escher-8B) 은 시뮬레이션 기반 학습 모델이나 기존 베이스라인보다 성능이 크게 향상되었습니다 (약 49.9% 달성).
  • 그러나 파인튜닝은 격차를 좁히지만 인간 성능을 완전히 극복하지는 못했습니다.
• 실패 모드 분석:
  • 현재 모델들은 시각적 관점 고정 (Perspective locking), 시공간 연속성 상실, 행동과 목표의 잘못된 연결 등의 인지적 병목 현상을 보였습니다.
  • 특히 'Action & Intent' 및 'Dynamic Spatial Relationships' 카테고리에서 시뮬레이션 데이터 학습보다 실제 데이터 학습이 더 큰 개선을 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환의 필요성: 정적 객체 인식이나 단순한 기하학적 추론만으로는 안전한 물리적 AI 를 구축할 수 없으며, 의도 기반의 동적 공간 추론이 필수적입니다.
• 데이터의 중요성: 시뮬레이션 데이터만으로는 실제 세계의 미세한 역동성과 인간 의도를 학습하기 어렵고, 고품질의 실제 세계 (Real-world) 데이터와 의도 인식 (Intent-aware) 지도 학습이 성능 향상에 결정적입니다.
• 향후 방향: 인간 수준의 공간 지능을 달성하기 위해서는 단순한 데이터 양적 증가를 넘어, 인과적 역동성, 참조계 변환, 행동 - 목표 구조를 명시적으로 표현하는 모델 아키텍처의 발전이 필요합니다.

이 논문은 EscherVerse 를 통해 현재 멀티모달 AI 의 '블라인드 스팟'을 정량화하고, 안전하고 신뢰할 수 있는 물리적 AI 를 위한 새로운 연구 방향을 제시했다는 점에서 중요한 의의를 가집니다.