EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning

이 논문은 실제 1 인칭 비디오를 기반으로 한 'EXPLORE-Bench' 벤치마크를 제안하여, 다중 모달 대규모 언어 모델이 1 인칭 관점에서 행동의 장기적 물리적 결과를 추론하는 데 여전히 한계가 있음을 규명하고, 단계별 추론을 통한 성능 개선 가능성을 제시합니다.

핵심

🍳 "EXPLORE-Bench": 요리사가 된 AI 의 상상력 테스트

이 논문은 **"AI 가 눈을 감고도 (혹은 영상을 보지 않고도) 내가 한 행동을 상상해서, 그 결과가 어떻게 될지 정확히 예측할 수 있을까?"**라는 아주 흥미로운 질문에서 시작합니다.

마치 요리사가 된 AI 를 상상해 보세요.

• 초반 상황 (초기 장면): 식탁 위에 달걀, 팬, 가스레인지가 있습니다.
• 행동 (원자적 행동): "달걀을 깨뜨려 팬에 넣고, 가스불을 켜고, 팬을 흔든다."
• 질문: "이 모든 행동을 다 끝낸 후, 식탁 위는 어떻게 변했을까?"

이 논문은 AI 가 이 질문에 답할 때 얼마나 잘하는지, 그리고 얼마나 못하는지 측정하는 새로운 시험지 EXPLORE-Bench를 소개합니다.

---

🧩 1. 왜 이 연구가 필요한가요? (현재의 문제점)

지금까지의 AI(다중 모달 거대 언어 모델) 는 "이 사진에 뭐가 있니?"라고 물으면 잘 대답합니다. 하지만 **"내가 이걸 저걸로 옮기고, 저걸로 치고, 그걸로 부으면 나중에 어떻게 될까?"**라는 긴 시간 동안의 인과 관계를 추론하는 데는 매우 약합니다.

• 비유: AI 는 단어장은 잘 외우지만, 만화책의 줄거리를 끝까지 따라가며 "다음 장면에 무슨 일이 일어날지" 상상하는 데는 서툴러요.
• 문제: AI 는 "책 한 권을 아래에서 빼면 책 더미가 무너질까?" 같은 물리적 상식을 놓치거나, "수돗물을 틀어두고 나가면 물이 넘칠까?" 같은 안전 사고를 예측하지 못합니다.

📝 2. EXPLORE-Bench 란 무엇인가요?

이 연구팀은 실제 사람이 1 인칭 시점 (자신의 눈으로 본 것) 으로 찍은 영상 1,157 개를 모았습니다. 그리고 각 영상마다 다음과 같은 데이터를 만들었습니다.

1. 초기 사진: 행동 시작 전의 모습.
2. 행동 목록: "오른손으로 컵을 잡았다", "물을 부었다" 등 아주 작은 행동들이 100 개 이상 이어진 목록.
3. 정답 (최종 장면): 모든 행동을 다 끝낸 후의 모습과, 그 안에 있는 사물들의 상태 (색깔, 모양, 서로의 관계 등) 를 상세히 적어둔 정답지.

이것은 AI 에게 **"이 긴 행동 목록을 머릿속으로 시뮬레이션해 보고, 마지막 장면을 묘사해 봐"**라는 과제를 주는 것입니다.

🏆 3. 시험 결과: AI 는 얼마나 잘할까요?

여러 최신 AI 모델 (GPT-5.2, Gemini-3, Qwen 등) 을 시험에 출석시켰는데, 결과는 인간과 AI 사이에 큰 격차가 있었습니다.

• 인간: "아, 컵을 떨어뜨리면 깨지겠구나"라고 직관적으로 이해합니다.
• AI: "컵이 떨어졌는데, 깨지지 않고 그대로 있네?"라고 말하거나, **"물방울이 튀었는데 바닥이 젖지 않았네?"**라고 엉뚱한 답을 내놓습니다.
• 특이한 점: AI 는 행동이 짧을 때는 잘하지만, 행동이 길어질수록 (예: 100 개 이상의 행동) 기억력을 잃고 혼란에 빠집니다. 마치 긴 이야기를 듣고 마지막 결말을 기억하려다 중간에 잊어버리는 것과 비슷합니다.

🛠️ 4. 해결책 시도: "조각조각 나누어 생각하기"

연구팀은 AI 가 한 번에 모든 것을 상상하기 힘들다면, **행동을 작은 덩어리로 나누어 하나씩 생각해보게 하면 어떨까?**라고 제안했습니다.

• 방법: 100 개의 행동을 10 개씩 10 개 덩어리로 나누고, "10 개 행동 후 모습"을 상상하게 한 뒤, 그 결과를 바탕으로 다음 10 개 행동을 상상하게 합니다.
• 결과: 성능이 조금 좋아졌습니다. 하지만 그 대가로 계산 비용 (시간과 돈) 이 기하급수적으로 늘어났습니다.
• 비유: 긴 산을 한 번에 오르기 힘들다면, 중간중간 휴게소에서 쉬어가며 오르는 것과 비슷합니다. 쉬어가면 덜 지치지만 (성능 향상), 전체 여행 시간이 훨씬 길어집니다 (비용 증가).

⚠️ 5. 가장 중요한 발견: "비정상적인 상황"에서의 실패

가장 무서운 점은 안전 사고 상황입니다.

• 상황: "수돗물을 켜고 나가서, 냉장고 문을 열어 계란을 꺼냈다."
• AI 의 반응: "수돗물은 꺼져 있고, 냉장고 문은 닫혀 있다." (실제 상황과 정반대!)
• 인간의 반응: "아, 물이 넘치고 냉장고 문이 열려 있네!"

AI 는 물리 법칙이나 안전 상식을 무시하고, 단순히 "보통은 이렇게 돼"라고 추측하는 경향이 강합니다. 이는 실제 로봇이나 자율 주행 자동차가 실생활에 투입될 때 큰 위험이 될 수 있습니다.

💡 6. 결론: 무엇을 배웠나요?

이 논문은 **"AI 가 아직은 인간의 눈과 손, 그리고 머릿속의 상상력을 완벽하게 흉내 내지 못한다"**는 사실을 명확히 보여줍니다.

• 핵심 메시지: AI 가 단순히 "무엇이 있는지" 아는 것을 넘어, "내가 무엇을 하면 세상이 어떻게 변할지" 예측하는 능력 (장기적 추론) 은 아직 초기 단계입니다.
• 미래: EXPLORE-Bench 는 이러한 AI 의 약점을 찾아내고, 더 안전하고 똑똑한 로봇을 만들기 위한 나침반 역할을 할 것입니다.

한 줄 요약:

"AI 는 지금 '사진 설명'은 잘하지만, '내일 무슨 일이 일어날지' 상상하는 데는 여전히 서툴러요. 이 연구는 그 약점을 찾아내고 고치는 첫걸음입니다."

기술 요약

1. 문제 정의 (Problem Definition)

멀티모달 대규모 언어 모델 (MLLM) 이 embodied agent(구체화된 에이전트) 의 기반 기술로 주목받고 있지만, 1 인칭 시점 (Egocentric view) 에서 행동의 장기적인 물리적 결과를 추론하는 능력이 여전히 불확실합니다. 기존 벤치마크들은 주로 단거리 행동이나 국소적인 상태 변화에 초점을 맞추거나, 객관식 형식으로 평가하여 미세한 장면 수준의 변화를 정량화하기 어렵습니다.

이 논문은 **"Long-Horizon Egocentric Scene Prediction (장기적 1 인칭 장면 예측)"**이라는 새로운 태스크를 제안합니다.

• 입력: 초기 장면 이미지 (Initial-scene image) 와 일련의 원자적 행동 (Atomic actions) 시퀀스.
• 목표: 모든 행동이 실행된 후의 **최종 장면 (Final scene)**을 예측하고 묘사하는 것.
• 핵심 난제: 행동 시퀀스 간의 인과 관계를 추적하고, 시간이 지남에 따라 변하는 객체의 속성 (Attribute) 과 객체 간 관계 (Relation) 를 일관되게 유지하며 예측하는 능력입니다.

2. 방법론 (Methodology)

A. EXPLORE-Bench 벤치마크 구축

연구진은 실제 1 인칭 비디오를 기반으로 한 대규모 벤치마크 EXPLORE-Bench를 구축했습니다.

• 데이터 소스: Ego4D, Ego-Exo4D 공개 데이터셋 및 자체 촬영된 다양한 시나리오의 비디오.
• 규모: 1,157 개의 인스턴스. 각 인스턴스는 평균 113 개의 원자적 행동 (최대 694 개) 을 포함하며, 평균 358 초의 길이를 가집니다.
• 데이터 구성:
  1. 초기 장면 이미지.
  2. 행동 시퀀스 (예: "계란을 깨뜨린다", "프라이팬을 가스레인지에 올린다" 등).
  3. 구조화된 최종 장면 주석 (Structured Annotations): 객체 카테고리, 시각적 속성 (색상, 상태, 재질 등), 객체 간 관계 (공간적/상호작용) 를 포함합니다.
• 주석 파이프라인: RAM++, Grounding DINO, Qwen3-VL, GPT-5.2 등을 활용한 자동화 파이프라인과 인간 검증 (Human-in-the-loop) 을 결합하여 고품질 데이터를 생성했습니다.

B. 평가 프로토콜

생성된 장면 설명을 정량적으로 평가하기 위해 CompreCap 에서 영감을 받은 3 단계 평가 지표를 사용합니다.

1. 객체 수준 (Object-level): 생성된 설명에 포함된 객체와 주석된 객체의 일치도 (Sentence-BERT 기반).
2. 속성 수준 (Attribute-level): 객체의 색상, 상태 등 속성 설명의 정확도 (LLM 기반 0-5 점 척도).
3. 관계 수준 (Relation-level): 객체 간 공간적/상호작용 관계의 정확도.

• 통합 점수 ($S_{uni}$): 위 세 가지 점수를 가중치 ($w_1=0.25, w_2=0.35, w_3=0.40$) 를 적용하여 0-100 점으로 통합합니다.

C. 추론 전략 분석 (Test-time Scaling)

모델의 성능 향상을 위해 단계적 추론 (Stepwise Reasoning) 전략을 실험했습니다.

• 단회 추론 (Single-turn): 행동 시퀀스를 여러 세그먼트로 나누어 한 번의 프롬프트로 모든 단계의 변화를 예측하게 함.
• 다중 턴 추론 (Multi-turn): 각 행동 세그먼트마다 모델이 현재 상태를 입력받고 다음 상태의 장면을 생성하도록 반복 수행.
• 결과: 행동 시퀀스를 더 세밀하게 분할 (작은 윈도우 크기, 많은 세그먼트 수) 하고 다중 턴 추론을 적용할 때 성능이 향상되었으나, 계산 비용 (추론 시간) 이 기하급수적으로 증가하는 트레이드오프가 존재함을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 제안: 1 인칭 시점에서의 장기적 행동 시퀀스에 따른 최종 장면 예측을 평가하는 새로운 태스크를 정의했습니다.
2. EXPLORE-Bench 구축: 1,157 개의 고도로 주석된 인스턴스로 구성된 벤치마크를 공개하여, 객체, 속성, 관계 단위의 미세한 정량적 평가가 가능하도록 했습니다.
3. MLLM 성능 한계 규명: 다양한 상용 (GPT-5.2, Gemini-3) 및 오픈소스 (Qwen, LLaVA 등) MLLM 을 평가한 결과, 인간에 비해 현저한 성능 격차가 있음을 발견했습니다. 특히 **비정상적인 상황 (Abnormal cases, 예: 물체 낙하, 안전 위험)**에서는 모델의 예측이 물리적 상식과 크게 동떨어졌습니다.
4. 단계적 추론 분석: 행동 시퀀스를 분해하여 단계적으로 추론하는 것이 장기적 과제의 성능을 일부 개선할 수 있음을 보였으나, 이는 상당한 계산 오버헤드를 동반함을 지적했습니다.

4. 실험 결과 (Results)

• 인간 vs 모델: 인간은 통합 점수 ($S_{uni}$) 에서 약 59.08점을 기록한 반면, 최상위 모델 (Gemini-3-Pro) 은 49.66점을 기록하여 약 10 점의 격차가 존재했습니다.
• 행동 길이에 따른 성능: 행동 시퀀스가 짧을수록 (Short) 모델과 인간의 격차가 크지만, 시퀀스가 길어질수록 (Long) 오히려 격차가 다소 줄어드는 경향이 관찰되었습니다 (이는 모델이 긴 맥락 처리에 상대적으로 강점을 보일 수 있음을 시사).
• 비정상 상황 (Abnormal Cases): 안전 위험이나 물리적 비일관성이 포함된 경우, 인간은 91.64 점의 높은 점수를 받았으나, 최상위 모델 (GPT-5.2-Chat) 도 62.79 점에 그쳤습니다. 모델들은 물체가 넘어지거나 수도꼭지가 켜져 있는 것과 같은 중요한 상태 변화를 놓치거나 물리 법칙을 위반하는 설명을 생성했습니다.
• 추론 전략 효과: Qwen3-VL-8B-Instruct 모델에 대해 다중 턴 추론과 세그먼트 분할을 적용했을 때, 기본 설정 대비 Long 서브셋에서 약 3.41 점 향상되었습니다. 하지만 이는 추론 시간을 크게 증가시킵니다.

5. 의의 및 결론 (Significance)

이 논문은 embodied AI 가 실제 물리 세계에 안전하게 개입하기 위해 필수적인 "행동의 장기적 결과 예측 (Consequence-aware reasoning)" 능력을 평가할 수 있는 표준적인 테스트베드를 제시했습니다.

• 현실적 한계: 현재 MLLM 은 복잡한 행동 시퀀스를 거친 후의 장면 변화를 정확히 예측하는 데 여전히 어려움을 겪고 있으며, 특히 예외 상황이나 안전 위험을 감지하는 능력은 인간에 비해 크게 부족합니다.
• 향후 방향: 단순한 텍스트 유사도가 아닌, 물리적 인과관계와 상태 변화를 정밀하게 평가하는 벤치마크의 필요성을 강조했습니다. 또한, 단계적 추론 (Stepwise Reasoning) 이 성능 향상에 도움이 되지만 효율성 문제가 해결되어야 함을 지적하며, 추론 시간 확장 (Test-time Scaling) 기술의 발전 방향을 제시했습니다.

결론적으로, EXPLORE-Bench 는 embodied agent 의 안전성과 신뢰성을 확보하기 위한 핵심 능력인 장기적 1 인칭 추론 능력을 측정하고 발전시키는 데 중요한 이정표가 될 것입니다.