Learning Situated Awareness in the Real World

이 논문은 기존 멀티모달 모델 벤치마크가 간과하고 있는 관찰자 중심의 상황 인식 능력을 평가하기 위해, 실제 세계의 1 인칭 영상과 인간 주석 데이터를 기반으로 한 SAW-Bench 를 제안하고, 이를 통해 현재 최첨단 모델과 인간 간의 상당한 성능 격차와 공간 추론의 한계를 규명했습니다.

핵심

🕶️ 1. 문제: AI 는 '감시 카메라'처럼 세상을 봅니다

지금까지 개발된 대부분의 AI 는 건물 꼭대기에 설치된 CCTV처럼 세상을 봅니다.

• CCTV 의 시점: "저기 소파가 있고, 그 옆에 테이블이 있네." (사물과 사물의 관계)
• AI 의 한계: "내가 지금 어디에 서 있지? 내 손이 저 물건을 잡을 수 있을까? 내가 앞으로 걸으면 어디로 갈까?" (나와 환경의 관계) 를 잘 모릅니다.

사람은 세상에 있을 때 CCTV 가 아니라 '자신'의 눈으로 봅니다.

• "내 발이 이 바닥에 닿았어."
• "내 머리를 돌리면 저기 보이는 게 달라져."
• "내가 앞으로 한 걸음만 더 가면 저 커피잔을 잡을 수 있어."

이처럼 자신의 위치, 몸의 움직임, 시선을 기준으로 세상을 이해하는 능력을 **'상황 인식 (Situated Awareness)'**이라고 합니다. 논문은 "현재의 AI 는 이 능력을 거의 가지고 있지 않다"고 말합니다.

🕶️ 2. 해결책: 'SAW-Bench'라는 새로운 시험지

연구진은 AI 의 이 약점을 테스트하기 위해 SAW-Bench라는 새로운 시험지를 만들었습니다.

• 시험 방식: 사람이 **Ray-Ban Meta(스마트 안경)**를 쓰고 직접 걸어다니며 찍은 영상을 보여줍니다.
• 질문 예시:
  • "지금 내가 어디에 서 있어? (구석, 중앙, 벽 쪽?)"
  • "내가 처음에 봤던 전등이 끝날 때에도 같은 전등이야?"
  • "내가 돌아갈 수 있을까? (팔만 뻗으면 닿을 수 있을까?)"
  • "내가 걸어온 길은 어떤 모양일까? (직선, Z 자, U 자?)"

이 시험지는 AI 가 단순히 물체를 인식하는 게 아니라, "나"가 움직이는 과정에서 공간이 어떻게 변하는지 이해하는지 확인합니다.

📉 3. 결과: AI vs 인간, 엄청난 격차

연구진은 최신 AI 24 개를 시험에 붙여봤습니다. 결과는 충격적이었습니다.

• 인간: 91.55% 정답률 (거의 완벽)
• 최고 성능 AI (Gemini 3 Flash): 53.89% 정답률

**"AI 가 인간보다 37% 이상 못한다"**는 뜻입니다. 마치 수학 천재가 '1+1'은 잘 풀지만, '길을 찾아서 집으로 돌아가는 것'은 못 하는 상황과 비슷합니다.

🔍 4. AI 가 왜 실패했을까? (4 가지 재미있는 실수)

논문을 분석하니 AI 가 자주 하는 실수 4 가지를 발견했습니다.

1. 고개 돌리는 것과 걷는 것을 혼동함:

   • 상황: 사람이 제자리에 서서 고개만 좌우로 돌리면, AI 는 "아! 사람이 좌우로 걷고 있구나!"라고 착각합니다.
   • 비유: 운전자가 차를 세운 채로 핸들만 꺾으면 차가 움직인다고 착각하는 것과 같습니다.

2. 길이가 길어질수록 기억을 잃음:

   • 상황: 직선으로 걷는 것은 잘 알아내지만, 꺾고 돌아서 다시 걷는 복잡한 길에서는 길을 잃어버립니다.
   • 비유: "집으로 가는 길"을 설명할 때, "직진, 좌회전, 우회전"을 한 번에 기억하지 못하고 중간에 "어디로 갔지?"라고 잊어버리는 것입니다.

3. 보이지 않으면 사라진다고 생각함:

   • 상황: 카메라 시야에서 물체가 잠시 사라지면, AI 는 "아, 저 물체가 사라졌구나!"라고 생각합니다.
   • 비유: 내가 눈을 감으면 내 앞의 책상도 사라진다고 믿는 것과 같습니다. (실제로는 내 시야에서 안 보일 뿐, 책상은 그대로 있습니다.)

4. 실내와 실외의 난이도를 잘못 판단함:

   • 상황: AI 는 넓은 야외보다 복잡한 실내가 더 어렵다고 생각하지만, 실제로는 둘 다 비슷하게 어렵습니다.
   • 비유: "넓은 들판보다 좁은 미로가 더 어렵다"는 상식과 달리, AI 는 들판이 넓어서 더 헷갈린다고 착각하기도 합니다.

🚀 5. 결론: AI 가 '현실'을 이해하려면?

이 논문은 AI 개발자들에게 중요한 메시지를 줍니다.

"단순히 사물을 많이 보고 이름을 맞추는 것만으로는 부족합니다. AI 가 우리처럼 '몸을 움직이며' 세상을 경험하고, 그 경험을 바탕으로 판단하는 능력을 키워야 진짜 똑똑한 AI 가 될 수 있습니다."

이 연구는 로봇이 우리 집안일을 돕거나, 증강현실 (AR) 안경이 현실과 잘 어울리게 하는 데 필수적인 첫걸음이 될 것입니다.

---

한 줄 요약:
"지금까지 AI 는 세상을 '감시 카메라'처럼 보다가, 이제 '사람'처럼 '자신의 몸과 눈'으로 세상을 이해하는 법을 배워야 할 때입니다."

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 인간의 지각 (Perception) 은 본질적으로 '상황적 (Situated)'입니다. 즉, 인간은 환경과 분리된 전지전능한 시점 (God's eye view) 이 아니라, 자신의 몸과 관점에 상대적인 위치, 방향, 운동 상태를 지속적으로 인식하며 세상을 이해합니다. 이를 상황적 인식 (Situated Awareness) 이라고 합니다.
• 현재의 한계: 기존의 멀티모달 파운데이션 모델 (MFMs) 을 평가하는 벤치마크들은 대부분 환경 중심 (Environment-centric) 인 공간 관계 (객체 간의 관계) 에 초점을 맞추고 있습니다. 반면, 관찰자의 시점, 자세, 운동에 상대적인 관찰자 중심 (Observer-centric) 인 추론 능력을 평가하는 것은 크게 간과되어 왔습니다.
• 핵심 문제: 기존 모델들은 수동적인 관찰자로서 객체를 인식하는 능력은 뛰어나지만, 자신의 이동 궤적을 추적하고, 시점의 변화를 물리적 이동과 구분하며, 환경과의 물리적 상호작용 가능성 (Affordance) 을 판단하는 등 실제 세계에서의 상황적 공간 지능을 갖추지 못했습니다.

2. 방법론 (Methodology)

이 논문은 이러한 격차를 해소하기 위해 SAW-Bench (Situated Awareness in the Real World) 라는 새로운 벤치마크를 제안했습니다.

• 데이터 수집:

  • 모달리티: Ray-Ban Meta (Gen 2) 스마트 안경을 사용하여 촬영한 자전적 (Egocentric) 비디오 786 개를 사용했습니다.
  • 환경: 실내 (강의실, 거실 등) 와 실외 (마당, 주차장 등) 를 아우르는 15 개의 다양한 실제 환경.
  • 데이터 양: 2,071 개의 인간 주석 (Human-annotated) 질문 - 답변 쌍.
  • 촬영 프로토콜: 촬영자는 미리 정의된 궤적 (직선, L 자형, U 자형, 지그재그 등) 을 따르거나 제자리에서 시점만 회전하는 방식으로 영상을 촬영했습니다.

• 6 가지 상황적 인식 태스크 (Tasks):

  1. Self-Localization (자기 위치 인식): 현재 관찰자가 환경 내 어디 (모서리, 측면, 중앙) 에 있는지 판단.
  2. Relative Direction (상대적 방향): 시작점과 끝점의 시점 관계를 기반으로 상대적 위치 (예: "끝에서 볼 때 시작점은 어디인가?") 추론.
  3. Route Shape (경로 형태): 관찰자의 이동 궤적 기하학적 형태 (직선, L 자, U 자, 원형 등) 식별.
  4. Reverse Route Plan (역방향 경로 계획): 현재 위치에서 출발점으로 돌아가기 위한 이동 순서 (돌아서, 직진, 좌회전 등) 생성.
  5. Spatial Memory (공간 기억): 시간의 흐름에 따라 환경 내 객체의 변화 (이동, 제거, 추가) 감지.
  6. Spatial Affordance (공간적 affordance): 관찰자의 신체 제약 (팔 길이, 몸 이동 없이) 하에서 특정 행동 (예: 물체 터치) 이 물리적으로 가능한지 판단.

• 평가 프로토콜:

  • 16 개의 오픈소스 및 8 개의 상용 (Proprietary) MFMs 를 Zero-shot 설정으로 평가.
  • 주요 모델: Gemini 3 Flash/Pro, GPT-5.2, Qwen-VL 시리즈, LLaVA 시리즈 등.
  • 인간 성능 (Human Baseline) 과 비교 분석.

3. 주요 기여 (Key Contributions)

1. SAW-Bench 벤치마크 출시: 실제 세계의 자전적 비디오를 기반으로 관찰자 중심의 공간 추론 능력을 평가하는 최초의 포괄적인 벤치마크를 구축했습니다.
2. 새로운 평가 패러다임: 단순한 객체 인식이나 정적 공간 관계를 넘어, 시간에 따른 관찰자의 상태 변화 (Pose, Motion) 를 통합적으로 이해해야 하는 능력을 평가합니다.
3. 모델 성능에 대한 심층 분석: 현재 최첨단 모델들이 상황적 인식에서 겪는 체계적인 실패 패턴을 규명했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

• 성능 격차:

  • 가장 성능이 좋은 모델인 Gemini 3 Flash조차 전체 정확도가 **53.89%**에 불과했습니다.
  • 인간 성능 (91.55%) 대비 **37.66%**의 큰 격차가 존재하여, 현재 MFMs 가 상황적 공간 지능에서 인간과 크게 뒤처지고 있음을 보여줍니다.
  • 특히 Reverse Route Plan (역방향 경로 계획) 과 Route Shape (경로 형태) 태스크에서 성능 저하가 두드러졌습니다.

• 체계적인 실패 패턴 (Systematic Failure Patterns):

  1. 회전과 이동의 혼동: 모델들은 카메라의 회전 (Head rotation) 을 실제 물리적 이동 (Translational movement) 으로 잘못 해석하는 경향이 있습니다. 예를 들어, 직선으로 걷다가 머리를 좌우로 흔들면 '지그재그' 경로로 잘못 분류합니다.
  2. 궤적 복잡도에 따른 성능 저하: 경로가 직선에서 단일 회전, 그리고 다중 회전으로 복잡해질수록 모델의 정확도가 급격히 떨어집니다. 인간은 복잡한 궤적에서도 일관된 성능을 보이지만, 모델은 오류가 누적됩니다.
  3. 지속적인 객체 기억 부재: 시야에서 사라진 객체가 존재하지 않는 것으로 잘못 판단하는 경향이 있습니다. (예: 카메라가 돌아서서 물체가 안 보이면, 물체가 사라진 것으로 간주)
  4. 환경 개방성의 오해: 실외 (넓은 공간) 가 실내보다 공간 추론이 더 어렵다는 통념과 달리, 환경의 개방성만으로는 난이도를 예측할 수 없었습니다. 오히려 실내의 복잡한 객체 밀도가 추론을 더 어렵게 만들기도 합니다.

• 비교 분석:

  • 상용 모델 vs 오픈소스: 상용 모델이 전반적으로 우세했으나, 여전히 인간 수준에는 미치지 못했습니다.
  • 비주얼 정보의 중요성: 비디오 없이 텍스트만으로 추론하는 'Blind LLM'이나 비디오 캡션만 사용하는 'Socratic Model'은 무작위 추측 수준에 머무르거나 미미한 개선만 보여, 시각적 정보와 시계열적 맥락이 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 로보틱스 및 AR/VR 의 핵심: 로봇이 물체를 잡거나 이동 경로를 계획할 때, 혹은 AR/VR 이 사용자의 시점에 맞춰 가상 콘텐츠를 정렬할 때 '상황적 인식'은 필수적입니다. SAW-Bench 는 이러한 실제 적용을 위한 AI 시스템의 능력을 진단하는 중요한 도구입니다.
• 연구 방향 제시: 현재 MFMs 가 수동적인 관찰자에서 능동적인 신체화된 에이전트 (Embodied Agent) 로 발전하기 위해서는 시점 변화와 물리적 이동의 관계를 명확히 구분하고, 시간에 따른 공간적 상태를 일관되게 유지하는 (Persistent World-state Memory) 능력이 필요함을 강조합니다.
• 미래 전망: 이 연구는 단순한 객체 인식을 넘어, 물리적으로 기반을 둔 (Physically grounded) 관찰자 중심의 세계 이해를 가능하게 하는 차세대 멀티모달 모델 개발의 방향성을 제시합니다.

요약하자면, 이 논문은 **"AI 가 인간처럼 자신의 위치와 움직임을 의식하며 세상을 이해할 수 있는가?"**라는 질문에 대해, 현재 AI 는 여전히 큰 한계가 있음을 실증적인 데이터 (SAW-Bench) 로 증명하고, 이를 해결하기 위한 새로운 평가 기준과 연구 과제를 제시했습니다.