💻 computer science

StatePlay: State-Aware Game World Models for Mechanics-Consistent Generation

StatePlay는 시각적 콘텐츠와 내부 게임 상태를 공동으로 예측하기 위해 Mixture-of-Transformers 아키텍처를 활용함으로써, 생성된 게임 롤아웃이 단순히 시각적 사실성을 달성하는 것을 넘어 기저의 메커니즘과 규칙을 준수하도록 보장하는 새로운 상태 인식 게임 월드 모델입니다.

원저자: Zijun Lin, Zeqing Wang, Cheston Tan, Bihan Wen, Yeying Jin

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zijun Lin, Zeqing Wang, Cheston Tan, Bihan Wen, Yeying Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 마술사가 모자에서 토끼를 꺼내는 마술 쇼를 보고 있다고 상상해 보십시오. 수년 동안 컴퓨터 과학 분야의 최고의 '월드 모델(world models)'들은 토끼를 그려내는 데 탁월한 능력을 가진 마술사들과 같았습니다. 그들은 푹신한 흰 털, 움찔거리는 귀, 꿈틀거리는 코를 매우 실감 나게 생성하여 마치 털의 촉감이 느껴질 정도로 생생한 영상을 만들어낼 수 있습니다. 하지만 여기에는 함정이 있습니다. 이 모델들은 마술이 실제로 어떻게 작동하는지 알지 못합니다. 토끼가 살아있어야 한다는 사실도, 갑자기 돌로 변해서는 안 된다는 사실도, 모자의 크기가 제한되어 있다는 사실도 그들은 알지 못합니다. 그들은 단지 이전의 장면을 바탕으로 다음 장면이 어떻게 보여야 할지를 추측할 뿐이며, 자신들이 흉내 내고 있는 세계의 숨겨진 규칙들을 이해하지 못합니다.

이것이 바로 비디오 게임 AI 분야의 문제입니다. 과학자들은 플레이어가 버튼을 누르는 것을 관찰하고 그 뒤에 이어질 몇 초간의 게임 장면을 생성할 수 있는 '게임 월드 모델'을 구축해 왔습니다. 이 모델들은 픽셀을 아름답게 만들고 캐릭터를 부드럽게 움직이게 하는 데 뛰어납니다. 하지만 게임은 단순히 예쁜 그림이 아닙니다. 게임은 엄격하고 보이지 않는 법칙들에 의해 통제됩니다. 격투 게임에서는 체력이 0이 되면 패배합니다. '슈퍼 게이지'가 가득 차지 않았다면 거대한 레이저를 발사할 수 없습니다. 이것들이 바로 게임을 뒤에서 조종하는 숨겨진 상태 변수(hidden state variables), 즉 숫자와 타이머들입니다. 지금까지의 AI 모델들은 주로 이러한 숫자들을 무시한 채 시각적인 요소에만 집중해 왔습니다. 이 논문인 StatePlay는 단순하지만 혁명적인 질문을 던집니다: 만약 AI에게 그림을 그리는 동시에 규칙서(rulebook)를 읽도록 가르친다면 어떨까?

StatePlay의 연구진들은 AI가 캐릭터가 타격받는 모습을 흉내 내는 법은 배울 수 있지만, 왜 캐릭터가 타격을 받는지 또는 그 다음에 어떤 일이 일어날지에 대해서는 이해하는 데 자주 실패한다는 점을 깨달았습니다. 내부 규칙을 알지 못하면, AI는 체력이 0인 플레이어가 계속 싸우는 영상을 만들거나, 에너지가 비어 있음에도 불구하고 강력한 필살기를 사용하는 캐릭터를 생성할 수도 있습니다. 보기에는 멋질지 모르지만, 이는 게임의 법칙을 깨뜨리는 일입니다. 이를 해결하기 위해 연구팀은 두 개의 뇌를 가진 감독관과 같은 새로운 종류의 모델을 구축했습니다. 한쪽 뇌는 시각적 요소(픽셀)에 집중하고, 다른 한쪽 뇌는 게임 상태(숫자)에 집중합니다.

이것을 수학자이기도 한 비디오 게임 개발자로 생각해보십시오. '시각 뇌(Visual Brain)'는 장면을 그리며 펀치가 빠르게 보이고 폭발이 밝게 보이도록 만듭니다. '상태 뇌(State Brain)'는 모든 사람의 남은 체력, 남은 시간, 그리고 특수 기술 게이지가 가득 찼는지 여부를 정확하게 추적하며 정신적인 점수판을 유지합니다. 마법은 이 두 뇌가 서로 대화할 때 일어납니다. 상태 뇌가 시각 뇌에게 "이봐, 플레이어의 체력이 0이야, 그러니 지금 당장 게임을 끝내야 해"라고 말하면, 시각 뇌는 가짜 전투 대신 즉시 '게임 오버' 화면을 그려냅니다.

연구팀은 이 아이디어를 고전 격투 게임인 스트리트 파이터 3를 사용하여 테스트했습니다. 그들은 모든 비디오 프레임이 게임 메모리의 정확한 숫자(체력, 타이머, 스킬 게이지)와 쌍을 이루는 특별한 데이터셋을 만들었습니다. 그들은 StatePlay 모델이 다음 비디오 프레임과 다음 숫자 세트를 동시에 예측하도록 훈련시켰습니다. 결과는 인상적이었습니다. 이 모델은 놀라운 정확도로 게임의 내부 숫자를 예측했으며, 정규화된 척도에서 오차율을 0.06 미만으로 유지했습니다. 더 중요한 것은, 생성된 게임이 규칙을 따르는지 확인했을 때, StatePlay는 숫자를 무시했던 이전 모델들보다 메커 mechanics(기제)의 일관성을 유지하는 데 있어 18.6% 더 뛰어난 성능을 보였다는 점입니다.

실험에서 기존의 모델들은 플레이어가 이미 패배했음에도 공격을 계속하게 하거나, 에너지가 충분하지 않은데 '슈퍼 아트' 기술을 발동시키는 등 어리석은 실수를 저지르곤 했습니다. 그러나 StatePlay는 규칙을 준수했습니다. 체력이 0이 되면 게임이 종료되었습니다. 스킬 게이지가 가득 차지 않았다면 특수 기술은 일어나지 않았습니다. 연구진은 AI에게 게임의 규칙을 명시적으로 가르침으로써, 단순히 똑똑한 계산기를 얻은 것이 아니라 더 플레이 가능하고 믿을 수 있는 세계를 얻었다는 것을 발견했습니다. 모델은 단순히 다음 그림이 어떻게 보여야 할지를 추측한 것이 아니라, 게임이 들려주는 이야기를 이해한 것입니다.

이 연구는 AI가 비디오 게임과 같이 복잡하고 상호작용적인 세계를 진정으로 시뮬레이션하기 위해서는, 단순히 예술가일 뿐만 아니라 규칙을 따르는 자가 되어야 함을 시사합니다. StatePlay는 게임을 구동하는 보이지 않는 숫자들을 추적하는 방법을 AI에게 부여함으로써, 실제처럼 보이는 것과 실제로 작동하는 것 사이의 간극을 메웁니다. 이는 게임 생성의 미래가 단순히 더 예쁜 픽셀을 만드는 것이 아니라, 게임을 재미있게 만드는 논리와 메커니즘을 존중하는 모델을 구축하는 데 있음을 보여줍니다.

기술 요약: StatePlay

문제 정의

최근 게임 월드 모델의 발전은 플레이어의 행동에 따라 시각적으로 사실적이고 상호작용 가능한 환경을 생성하는 능력을 입증했습니다. 그러나 이러한 모델들은 주로 게임 생성을 픽셀 공간의 예측 작업으로 취급하며, 게임 로직을 규정하는 명시적인 메커니즘을 간과합니다. 게임은 단순히 시각적 연속성뿐만 아니라, 상태에 의존하는 규칙(예: 체력 감소, 스킬 게이지 임계값, 게임 종료 조건 등)에 의해 정의되며, 이는 정밀한 내부 상태에 의존합니다.

명시적인 상태 모델링이 결여된 기존 모델들은 시각적으로는 그럴듯한 롤아웃(rollout)을 생성할 수 있지만, 근본적인 게임 규칙을 위반할 수 있습니다. 예를 들어, 어떤 모델은 스킬 게이지가 부족함에도 불구하고 캐릭터가 "슈퍼 아츠(Super Art)" 공격을 수행하게 하거나, 캐릭터의 체력이 0이 되었음에도 전투를 계속하게 만들 수 있습니다. 이러한 실패는 메커니즘적으로 일관성이 없고 플레이가 불가능한 시뮬레이션을 초래하며, 이는 현재의 게임 월드 모델이 가진 시각적 사실성과 규칙 준수 사이의 결정적인 간극을 보여줍니다.

방법론: StatePlay

이를 해결하기 위해 저자들은 메커니즘의 일관성을 보장하기 위해 게임 상태와 시각적 콘텐츠를 공동으로 예측하는 최초의 상태 인식형 게임 월드 모델인 StatePlay를 제안합니다. 이 접근 방식은 데이터셋 구축과 새로운 모델 아키텍처라는 두 가지 주요 기둥을 기반으로 합니다.

1. 상태 인식형 데이터셋 구축

명시적인 상태 주석이 포함된 오픈 소스 데이터셋의 희소성을 인식하여, 저자들은 스트리트 파이터 3(SF3)를 사용하여 동기화된 상태-프레임-행동 데이터셋을 구축했습니다.

데이터 수집: stable-retro 프레임을 사용하여 게임플레이 에피소드를 프로그래밍 방식으로 수집하였으며, 비디오 프레임, 플레이어 행동, 그리고 에뮬레이터 메모리로부터 추출한 내부 상태(게임 타이머, 플레이어/NPC 체력, 스킬 게이지)를 기록했습니다.
메커니즘 균형: 상태 의존적 이벤트를 충분히 커버하기 위해 데이터셋을 다섯 가지 카테고리(결과 승리, 결과 패배, 매크로 성공(성공적인 슈퍼 아츠), 매크로 실패(낮은 게이지로 인한 슈퍼 아츠 실패), 일반 게임플레이)로 균형 있게 구성했습니다. 상태 임계 사례는 10,000개의 클립으로 구성된 훈련 세트의 40%를 차지합니다.
전략 주석: 전략적 조종(steering)을 가능하게 하기 위해 Gemini-3.1-Pro를 사용하여 NPC 행동에 자연어 설명(공격, 제어, 방어)을 주석으로 달았습니다.

2. 모델 아키텍처

StatePlay는 서로 다른 모달리티를 위한 특화된 표현을 보존하면서 교차 모달 상호작용을 가능하게 하도록 설계된 Mixture-of-Transformers (MoT) 스타일의 아키텍처를 채택합니다.

이중 브랜치 (Dual Branches): 모델은 비주얼 브랜치(5B 파라미터)와 경량화된 상태 브랜치(0.76B 파라미터)로 구성됩니다.
- 비주얼 브랜치: 가우시안 노이즈에 의해 섭동(perturbation)된 시각적 잠재 표현( $x_0$ )을 처리하며, 디노이징을 위한 속도장을 학습하기 위해 플로우 매칭(flow-matching) 목적 함수를 사용합니다.
- 상태 브랜치: 유사하게 섭동된 깨끗한 상태 시퀀스( $s_0$ )를 처리합니다. 비주얼 브랜치와 달리, 게임 상태는 저차원이며 규칙에 의해 제약되므로 플로우 매칭 대신 **Smooth L1 회귀 손실(regression loss)**을 통해 최적화됩니다.
행동 조건화 (Action Conditioning): 플레이어 행동은 인코딩되어 토큰 임베딩 직후 두 브랜치 모두에 주입되며, 이를 통해 행동이 시각적 생성과 상태 예측 모두를 조절할 수 있게 합니다.
결합 주의 (Joint Attention, 교차 모달 상호작용): 공유된 결합 주의 모듈은 브랜치 간의 정보 교환을 촉진합니다. 비주얼 토큰은 메커니즘 관련 제약을 통합하기 위해 상태 토큰을 참조(attend)하고, 상태 토큰은 대응하는 역학을 활용하기 위해 비주얼 토큰을 참조합니다. 이러한 양방향 상호작용은 예측된 상태가 프레임 생성을 가이드하고, 그 반대도 가능하게 함을 보장합니다.
훈련 목적 함수: 모델은 비디오를 위한 플로우 매칭 손실과 상태를 위한 회귀 손실의 가중 합을 사용하여 공동으로 최적화됩니다.

주요 기여

StatePlay 모델: 이전 연구의 상태 모델링 부재 문제를 해결하기 위해, 내부 게임 상태와 시각적 콘텐츠를 공동으로 예측하는 최초의 상태 인식형 게임 월드 모델을 도입했습니다.
새로운 아키텍처: 상태와 비주얼 브랜치에 대해 서로 다른 목적 함수를 갖는 Mixture-of-Transformers (MoT) 설계를 제안합니다. 이 아키텍처는 상태 모델링을 시각적 생성과 명시적으로 결합하여, 시각적 품질을 저해하지 않으면서도 정확한 상태 예측과 메커니즘적으로 일관된 프레임 생성을 가능하게 합니다.
데이터셋 및 벤치마크: 스트리트 파이터 3를 위한 동기화된 상태-프레임-행동 데이터셋을 구축하고, 시각적 품질, 행동 제어력, 상태 정렬, 메커니즘 충실도를 포괄하는 종합적인 평가 벤치마크를 제공합니다.

실험 결과

저자들은 제로샷(zero-shot) 및 파인튜닝(fine-tuned) 설정 모두에서 StatePlay를 최신 게임 월드 모델(예: Matrix-Game 3.0, ReactiveGWM, HY-World 1.5)과 비교 평가했습니다.

상태 예측 정확도: StatePlay는 상태 예측에 대해 평균 정규화 L1 거리가 0.06 미만을 기록했으며, 상태 정렬 점수는 0.947을 달성했습니다.
메커니즘 충실도: 상태 모델링이 없는 베이스라인과 비교했을 때, StatePlay는 메커니즘 충실도를 18.6% 향상시켰습니다 (Gemini 평가 시 82.3%, GPT 평가 시 78.3% 도달).
시각적 품질 및 제어력: 모델은 베이스라인 대비 대등하거나 우수한 시각적 품질(SSIM: 0.378, LPIPS: 0.424)과 행동 제어력(Move-Acc: 92.5%, Att-Acc: 95.0%)을 유지했습니다.
절제 연구(Ablation) 결과:
- MoT vs. 공유 백본: MoT 스타일 아키텍처는 공유 스타일 백본보다 메커니즘 충실도에서 17.6% 더 높은 성능을 보였으며, 이는 시각적 역학과 규칙 기반 상태 전이의 서로 다른 특성을 다루는 데 있어 모달리티별 구조가 매우 중요하다는 것을 시사합니다.
- 손실 함수: 상태에 대해 플로우 매칭 대신 회귀 손실을 사용하는 것이 메커니즘 충실도를 21.6% 향상시켰으며, 이는 직접적인 회귀가 저차원의 규칙 기반 상태 변수에 더 적합함을 확인시켜 줍니다.

의의 및 주장

본 논문은 기존의 게임 월드 모델들이 시각적 사실성은 뛰어나지만, 명시적인 상태 모델링의 부재로 인해 게임의 "플레이 가능성(playability)"을 포착하는 데 실패한다고 주장합니다. StatePlay는 명시적인 상태 모델링이 게임 월드 모델을 픽셀 수준의 사실성을 넘어 완전하고 메커니즘적으로 충실한 시뮬레이션으로 진화시키는 데 필수적임을 입증합니다.

상태와 비주얼을 공동으로 예측함으로써, 모델은 생성된 게임플레이가 기저의 규칙(예: 유효한 스킬 활성화, 올바른 게임 종료)을 준수하도록 보장합니다. 저자들은 본 연구가 게임 월드 모델에 상태 인식을 통합하는 것이 단순한 시각적 데모를 넘어 진정으로 상호작용 가능하고 일관된 게임 환경을 만드는 데 필요함을 강조하며, 이를 통해 게임 월드 모델 분야를 플레이 가능한 게임 콘텐츠 생성에 한 걸음 더 가깝게 만들었다고 결론짓습니다.