🤖 AI

WorldRoamBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models

이 논문은 상호작용형 월드 모델의 장기적 안정성을 행동, 시각, 물리, 메모리라는 네 가지 핵심 차원에서 엄격하게 평가하기 위해 설계된 새로운 오픈 월드 벤치마크인 WorldRoamBench를 소개하며, 현재의 최첨단 모델들이 연속적인 상호작용 환경에서 여전히 신뢰할 수 있고 물리적으로 근거가 있으며 메모리 충실도가 높은 성능을 달성하는 데 어려움을 겪고 있음을 밝힌다.

원저자: Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yong Li, Baoquan Chen

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yong Li, Baoquan Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아직 존재하지 않는 세계에서 W, A, S, D 키를 눌러 걷고, 회전하고, 둘러볼 수 있는 비디오 게임을 플레이하고 있다고 상상해 보세요. 미리 만들어진 지도가 아니라, 당신이 움직임에 따라 AI가 실시간으로 풍경을 생성합니다. 이것을 **상호작적인 월드 모델(Interactive World Model)**이라고 부릅니다.

이 논문은 AI 세계가 얼마나 뛰어난지를 테스트하기 위한 새로운 "성적표"인 WorldRoamBench를 소개합니다. 이 벤치마크는 단 몇 초가 아니라, 긴 시간(10초에서 60초) 동안 실제로 플레이했을 때의 성능을 측정합니다.

다음은 이 논문이 테스트 내용을 쉬운 비유를 들어 설명한 방식입니다.

1. 문제점: "짧은 클립"의 함정

기존의 테스트들은 AI를 단 몇 초 동안만 관찰했습니다. 이는 마라톤 선수가 신발 끈을 묶는 모습만 보고 그 선수의 실력을 판단하는 것과 같습니다. AI는 5초 동안은 완벽해 보일 수 있지만, 시간이 지나면 글리치(오류)가 발생하거나, 위치를 잊어버리거나, 벽을 뚫고 지나가 버릴 수 있습니다. WorldRoamBench는 AI가 전체 마라톤을 완주하게 함으로써, 중간에 무너지지는 않는지 확인합니다.

2. 네 가지 테스트 (성적표)

이 벤치마크는 AI의 네 가지 특정 기술을 점검합니다.

A. 행동 추종 (Action Following): "말 잘 듣는 반려동물"

테스트: 당신이 "앞으로(Forward)"를 누르면, AI가 실제로 앞으로 이동합니까?
기존 방식: 이전 테스트들은 전체적인 경로를 보았습니다. 만약 당신이 "앞으로"를 눌렀을 때 AI가 요리조리 비틀거리며 움직였더라도, 결국 목적지에 도착했다면 좋은 점수를 주었습니다.
새로운 방식: World-RoamBench는 모든 단계를 체크합니다. 이는 강아지에게 "앉아"라고 말할 때 단순히 결과적으로 구석에 앉아 있는지만 보는 것이 아니라, 매번 명령할 때마다 제대로 앉는지 확인하는 것과 같습니다. 이를 통해 AI가 당신의 키 입력을 무시하는지, 혹은 방향을 바꿀 때 혼란을 느끼는지 밝혀냅니다.

B. 시각적 품질 (Visual Quality): "흐릿해지는 사진"

테스트: 세계가 계속 선명하고 아름답게 유지됩니까, 아니면 흐릿한 덩어리로 변해버립니까?
기존 방식: 품질을 평균 내어 계산했습니다. 시작 부분이 예쁘고 끝 부분이 엉망이라도 평균은 괜찮게 나올 수 있었습니다.
새로운 방식: 우리는 **"중간 시퀀스 붕괴(Mid-Sequence Collapse)"**를 찾아냅니다. 사진이 처음에는 선명하다가 중간에 흐릿해졌다가 다시 선명해지는 상황을 상상해 보세요. 기존 테스트는 이 흐릿한 중간 부분을 놓칠 수 있습니다. 이 테스트는 AI가 잠시 정신을 놓는 "글리치 구간"을 잡아냅니다.

C. 상호작용 물리 법칙 (Interaction Physics): "현실 검증"

테스트: 세계가 물리 법칙을 따르고 있습니까?
기존 방식: 이 부분을 거의 무시하거나 매우 느슨하게 체크했습니다.
새로운 방식: 세 가지 특정 항목을 테스트합니다.
- 메커니즘: 벽에 부딪히면 멈춥니까? 아니면 유령처럼 벽을 통과합니까? 컵을 떨어뜨리면 어떻게 됩니까?
- 광학: 당신이 회전할 때 그림자가 올바르게 움직입니까? 거울에 비친 모습이 제대로 보입니까?
- 3D 일관성: 긴 복도를 걸어갈 때, 벽이 곧게 유지됩니까, 아니면 놀이공원의 거울처럼 휘거나 뒤틀립니까?

D. 기억력 (Memory): "시간 여행자"

테스트: 나무에서 멀어졌다가 다시 돌아왔을 때, 그것이 같은 나무입니까?
기존 방식: 첫 번째 프레임과 마지막 프레임을 비교했습니다. 하지만 AI가 경로를 약간 벗어나서 걸었다면, 프레임이 일치하지 않게 되어 AI의 기억력 문제가 아니라 경로 이탈 때문임에도 불구하고 AI의 잘못으로 돌리는 문제가 있었습니다.
새로운 방식: "3D 포인트 클라우드"(방의 디지털 지도)를 사용합니다. 카메라가 정확히 어디에 서 있느냐와 상관없이, 방의 형태가 보존되는지 확인합니다.
- 장면 기억 (Scene Memory): 아까 봤던 건물이 아직도 그 자리에 있습니까?
- 대상 기억 (Subject Memory - 3인칭 시점): 캐릭터를 관찰하고 있을 때, 그 캐릭터가 동일 인물로 유지됩니까, 아니면 형체가 뭉개지거나 다른 동물로 변합니까?

3. 결과: "완벽한 플레이어는 없다"

저자들은 10개 이상의 다양한 AI 모델(오픈 소스 및 Google, Alibaba와 같은 대기업 모델 포함)을 테스트했습니다.

핵심 발견: 모든 면에서 완벽한 단일 모델은 존재하지 않습니다.
어떤 모델은 명령을 아주 잘 따르지만 물리 법칙에는 취약합니다 (벽을 뚫고 지나감).
어떤 모델은 시각적으로 매우 아름답지만, 10초 전에 생성했던 것을 잊어버립니다.
어떤 모델은 물리 법칙은 잘 지키지만, 빠르게 회전하라고 하면 혼란을 느낍니다.

4. 이것이 왜 중요한가

이 논문은 진정으로 몰입감 있고 무한한 세계(메타버스나 고급 비디오 게임 같은)를 구축하려면, 단순히 예쁜 그림만으로는 부족하다고 주장합니다. 세계는 안정적이어야 하고(글리치가 없어야 함), 물리적이어야 하며(중력을 따라야 함), 기억력이 있어야 합니다(본 것을 기억해야 함).

WorldRoamBench는 이 모든 것들을 동시에 엄격하게 점검하는 최초의 도구이며, 현재의 AI가 정확히 어느 부분에서 실패하고 있는지를 보여줌으로써 개발자들이 다음에 무엇을 수정해야 할지 알려줍니다. 이는 단순히 AI를 일반적인 의미에서 "더 똑똑하게" 만드는 것이 아니라, 더 신뢰할 수 있고, 일관되며, 물리적 근거가 확실한 가상 세계를 만드는 것에 관한 것입니다.

기술 요약: WorldRoamBench

문제 정의

사용자 입력(예: WASD 키)에 반응하여 실사 같은 환경을 생성할 수 있는 대화형 월드 모델(Interactive World Models, IWMs)이 급격히 발전하고 있음에도 불구하고, 기존의 벤치마크들은 **장기적 안정성(long-horizon stability)**을 평가하는 데 적절한 능력이 부족합니다. 기존의 평가 방식은 다음과 같은 네 가지 결정적인 한계를 가집니다:

액션 평가(Action Evaluation): 대부분의 벤치마크는 복구된 3D 카메라 경로에서 유도된 궤적 수준의 지표(예: 상대적 포즈 오차, 절대 궤적 오차)에 의존합니다. 이러한 지표는 서로 다른 모델이 동일한 동작을 매우 다른 크기로 해석하는 교차 모델 간의 의미론적 스케일 불일치 문제를 겪으며, 프레임 단위의 실패(예: 모델이 키 입력을 무시한 후 과하게 보정하는 현상)를 은폐할 수 있습니다.
시각적 안정성(Visual Stability): 기존 지표는 종종 평균적인 시각적 품질만을 측정하며, 시간적 퇴화(temporal degradation)를 간과합니다. 자기회귀 모델(Autoregressive models)은 시퀀스 중간에 드리프트, 블러링, 구조적 붕괴와 같은 비단조적 품질 저하를 보이는 경우가 많은데, 시작과 끝을 비교하는 방식으로는 이를 잡아낼 수 없습니다.
상호작용 물리(Interaction Physics): 현재의 벤치마크는 능동적인 제어 하에서의 물리적 타당성(예: 충돌 반응, 클리핑, 중력, 광학적 일관성(반사/그림자))에 대한 체계적인 평가가 부족합니다.
메모리 일관성(Memory Consistency): 메모리는 완벽한 액션 실행을 가정하는 대칭적 프레임 쌍 비교를 통해 평가됩니다. 그러나 실제로는 누적된 드리프트로 인해 '재방문(revisit)' 프레임이 그라운드 트루스와 공간적으로 어긋나게 되며, 이는 액션 추종 오류와 메모리 저하를 혼동하게 만듭니다.

방법론

저자들은 다양한 시나리오(자연, 도시, 실내)와 관점(1인칭 시점 - FPV, 3인칭 시점 - TPV)에서 10~60초 동안의 연속적인 상호작용을 평가하도록 설계된 오픈 월드 벤치마크인 WorldRoamBench를 소개합니다. 이 벤치마크는 600개 이상의 테스트 케이스로 구성되어 있으며, 10개 이상의 최첨단 모델(오픈 소스 및 폐쇄형 모델 모두 포함)을 평가합니다.

평가 프레임워크는 네 가지 상호 보완적인 차원으로 구축되었습니다:

1. 액션 추종 (Action Following)

프레임 단위 이산 액션 정확도(Per-Frame Discrete Action Accuracy): 궤적을 복구하는 대신, 벤치마크는 ViPE를 사용하여 추정된 카메라 포즈를 잠재적 스트라이드 메커니즘(모델 생성 주기에 맞추기 위해 $K=4$ 개의 프레임을 하나의 윈도우로 그룹화함)을 통해 원자적 액션(W, A, S, D, I, J, K, L)으로 이산화합니다. 이는 엄격한 정확도(모든 하위 액션의 정확한 일치)와 부분 정확도(최소 하나 이상의 하위 액션 일치)를 모두 보고합니다.
궤적 점수(Trajectory Score, TrajScore): 생성된 경로를 **적응형 그라운드 트루스(adaptive ground truth)**와 비교하는 기하학적 지표입니다. 적응형 GT는 모델 자체의 변위 크기는 유지하로되 이상적인 방향과 형태(예: "전진"의 경우 직선)를 강제합니다. 이는 모델이 "얼마나 멀리" 움직였는지와 "올바르게 움직였는지"를 분리합니다. 오류는 경로 길이와 회전에 의해 정규화되어 교차 모델 간 비교 가능성을 보장합니다.

2. 시각적 품질 (Visual Quality)

절대적 품질(Absolute Quality): 이미징 품질(MUSIQ)과 미적 품질(CLIP 기반 예측기)을 통해 측정됩니다.
시간적 드리프트(Temporal Drift): 롤아웃을 $N=10$ 개의 윈도우로 나누어 가장 큰 품질 저하( $D = \frac{\bar{s}_{best} - \bar{s}_{worst}}{|\bar{s}_{best}|}$ )를 식별하는 세그먼트 기반 지표입니다. 이는 평균 점수가 놓칠 수 있는 시퀀스 중간의 붕괴를 포착합니다.

3. 상호작용 물리 (Interaction Physics)

제어 가능성 게이트(controllability-gated) 평가를 통해 모델이 액션에 반응하는지 먼저 확인한 후 물리를 평가합니다. 이는 VLM 기반(Qwen3-VL-PLUS) 판단을 사용하여 세 가지 영역을 다룹니다:

메카닉스(Mechanics): 충돌, 클리핑(고체를 통과함), 변형(발자국/물결), 지형 추종, 그리고 중력.
광학(Optics): 반사의 타당성 및 그림자 일관성.
3D 일관성(3D Consistency): 카메라 이동 중 강체 공간 구조 및 깊이 순서의 보존.

4. 메모리 (Memory)

메모리는 불완전한 제어 하에서 두 가지 트랙으로 평가됩니다:

장면 메모리(Scene Memory): 프레임 쌍 비교 대신, 벤치마크는 관찰-재방문 전환 지점을 국소화하고, 두 세그먼트에 대한 포인트 클라우드를 재구성하여 정렬합니다. 이는 보존(Retention)(관찰된 기하 구조의 복구)과 환각(Hallucination)(관찰에 의해 뒷받침되지 않는 재방문 기하 구조)을 기준으로 F1 점수를 계산합니다.
대상 메모리(Subject Memory, TPV 전용): 추적(SAM2)과 VLM 추론을 사용하여 시간이 지남에 따라 주인공의 정체성, 구조 및 외형이 보존되는지 평가합니다.

주요 결과

벤치마크는 Genie 3, Happy Oyster와 같은 폐쇄형 리더 모델과 Matrix-Game 2.0/3.0, HY-World 1.5, Lyra 2.0, SANA-WM 등을 포함한 10개 이상의 모델을 평가했습니다.

지배적인 모델 없음: 어떤 단일 모델도 모든 차원을 만족하지 못합니다. 폐쇄형 모델은 일반적으로 물리 및 메모리에서 우수하지만, 오픈 모델은 액션 추종 및 시각적 품질에서 앞서는 경우가 많습니다.
궤적 $\neq$ 프레임 단위 정확성: 궤적 점수가 높은(>85) 모델이라도 엄격한 액션 정확도는 낮을(<65%) 수 있으며, 이는 모델이 올바른 경로를 따라 드리프트하면서도 개별 키 입력을 놓치는 숨겨진 실패를 드러냅니다.
시각적 품질 $\neq$ 제어 가능성: 높은 미적 점수가 정확한 액션 추종을 보장하지는 않습니다. 시각적 충실도와 제어 가능성은 서로 독립적인 능력으로 보입니다.
물리 vs. 액션 트레이드오프: 물리 법칙을 엄격히 준로(예: 벽에서 멈춤)하는 모델은 사전에 정의된 궤적에서 벗어나는 경향이 있어, 물리적으로 타당한 행동에도 불구하고 액션 추종 점수는 낮게 나타납니다.
3인칭 제어 가능성: TPV 제어율에서 상당한 격차가 존재합니다. Happy Oyster는 84.43%의 제어율을 달성한 반면, HY-World 1.5는 21.23%에 그쳐, 3인칭 안정성이 많은 오픈 모델들에게 아직 해결되지 않은 문제임을 보여주었습니다.

의의 및 주장

본 논문은 WorldRoamBench가 진정으로 상호작용 가능하고 안정적인 월드 시뮬레이션으로의 발전을 측정하기 위한 **진단적 토대(diagnostic foundation)**를 제공한다고 주장합니다. 짧은 클립과 궤적 전용 지표에 의해 숨겨진 실패 모드를 노출함으로써, 이 벤치마크는 현재의 IWM들이 실제 배포에 사용되기에는 아직 신뢰할 수 없음을 강조합니다.

저자들은 미래의 월드 모델이 액션 반응성(action responsiveness), 물리적 근거(physical grounding), 그리고 **지속적인 장면/대상 메모리(persistent scene/subject memory)**를 동시에 통합해야 한다고 강조합니다. 이 벤치마크는 연구 분야를 단순한 "실사 비디오 생성"을 넘어 "안정적이고 물리적으로 근거가 있는 상호작용 환경"으로 이끌기 위한 표준화된 도구 역할을 합니다.