기술 요약: ReactiveGWM

문제 제기

현재의 게임 월드 모델들은 주로 플레이어 중심의 관점에서 작동하며, 비플레이어 캐릭터 (NPC) 를 시각적 환경 내의 배경 픽셀에 불과하게 취급합니다. 기존 프레임워크에서 NPC 는 전술적 의도를 가진 자율 에이전트로서 모델링되지 않으며, 대신 그 행동은 플레이어와 NPC 의 역학을 혼란스럽게 만드는 고정된 행동 시퀀스나 설명적 프롬프트에 암묵적으로 묶여 있습니다. 결과적으로 이러한 모델들은 진정한 시뮬레이션 엔진이라기보다는 수동적인 비디오 렌더러에 가깝게 작동합니다. 이들은 행동으로 인한 NPC 의 반응성을 모델링하는 데 필요한 물리적 이해가 부족하여, 게임플레이를 고립된 경험으로 제한하고 NPC 가 고수준 전략 (예: 공격, 방어, 통제) 을 자율적으로 수행하는 의미 있는 경쟁적 상호작용을 방해합니다.

방법론

저자들은 플레이어 제어와 NPC 행동을 명시적으로 분리함으로써 플레이어와 자율 NPC 간의 역동적인 상호작용을 합성하도록 설계된 ReactiveGWM(반응형 게임 월드 모델) 을 제안합니다.

1. 데이터 구축

모델 학습을 위해 저자들은 스트리트 파이터 II(SF2) 와 스트리트 파이터 알파 3(SF3) 를 사용하여 새로운 전략 정렬 데이터셋을 구축했습니다. 파이프라인은 다음과 같습니다:

• 게임플레이 녹화: 무작위 에이전트가 플레이어를 제어하는 게임플레이 에피소드를 수집하여 비디오 클립과 프레임 단위 행동 레이블을 생성합니다.
• NPC 전략 주석: 컴퓨터 비전 - 언어 모델 (VLM) 을 사용하여 클립을 분석하고 NPC 를 안내하는 구조화된 프롬프트 ($P_{NPC}$) 를 생성합니다. 이러한 프롬프트는 능동적 행동(예: 펀치, 킥), 수동적 행동(예: 데미지 입음, 블록), 그리고 고수준 전략 카테고리 (공격, 통제, 또는 방어) 를 분리합니다.
• 분리: 전체 장면을 설명하는 일반 프롬프트와 달리, $P_{NPC}$는 NPC 를 위한 고수준 전략적 지침을 제공하여 모델이 플레이어의 즉각적인 행동과 독립적으로 전술적 의도를 학습할 수 있게 합니다.

2. 모델 아키텍처

ReactiveGWM 은 두 가지 서로 다른 제어 신호를 처리하도록 표준 비디오 확산 백본 (DiT 기반) 을 수정합니다:

• 플레이어 제어 (가산 편향): 플레이어 행동 ($a_T$) 은 경량 가산 편향을 통해 주입됩니다. 원시 버튼 시퀀스는 잠재적 시간 해상도에 정렬되어 각 DiT 블록의 숨겨진 채널 차원으로 투영됩니다. 이 편향은 자기 주의 (self-attention) 레이어 직전의 비디오 잠재 공간에 직접 추가되어, 시각 생성 과정을 방해하지 않으면서 플레이어 캐릭터에 대한 세밀하고 저지연 제어를 보장합니다.
• NPC 자율성 (교차 주의): 고수준 NPC 전략은 교차 주의 모듈을 통해 구체화됩니다. 이러한 모듈은 구조화된 NPC 프롬프트 ($P_{NPC}$) 를 받아 시각 - 시간 잠재 공간에 주의를 기울입니다. 중요한 점은 이러한 모듈이 자기 주의 및 피드포워드 레이어에서 모델링된 게임 특유의 물리적 역동과 NPC 의 전술적 의도를 분리하는 게임 중립적 상호작용 논리 표현을 학습한다는 것입니다.

3. 제로샷 전략 전이

ReactiveGWM 의 핵심 기능은 재학습 없이 다른 게임의 주석 없는 월드 모델에 학습된 NPC 자율성을 전이할 수 있다는 것입니다:

• ReactiveGWM$_{base}$: 전체 전략 주석이 포함된 소스 게임 (게임 1) 에서 학습됩니다.
• ReactiveGWM$_{transfer}$: 이를 일반 월드 모델 ($F_{vanilla}$) 만 있는 타겟 게임 (게임 2) 에 적용하기 위해, 저자들은 게임 2 모델의 도메인 특화 백본(행동 모듈, 자기 주의, FFN) 을 재사용하여 네이티브 시각 및 물리적 역동성을 보존합니다. 그런 다음 게임 1 모델에서 학습된 교차 주의 레이어를 플러그인합니다. 이를 통해 타겟 모델은 새로운 도메인 특화 주석이나 전체 파라미터 미세 조정 없이도 조정 가능한 NPC 행동 (공격, 방어, 통제) 을 나타낼 수 있습니다.

주요 기여

1. ReactiveGWM 프레임워크: 세밀한 플레이어 제어와 전략 기반 NPC 자율성을 동시에 지원함으로써 플레이어 중심 모델링의 한계를 깨는 새로운 아키텍처.
2. 전략 정렬 데이터셋: 플레이어와 NPC 제어를 위한 분리된 프롬프트를 활용하여 전술적 의도를 픽셀 단위 렌더링과 명시적으로 구분하는 데이터셋 구축.
3. 게임 중립적 상호작용 논리: 특수화된 교차 주의 모듈이 상호작용 논리의 표현을 학습하여 다른 게임의 상용 주석 없는 월드 모델에 플러그 앤 플레이 방식으로 전이할 수 있음을 입증.

실험 결과

SF2 와 SF3 에서 평가된 ReactiveGWM 은 다음을 보여줍니다:

• 우수한 NPC 자율성: 모델은 전략 준수율을 크게 향상시킵니다. SF2 에서 VLM 판정 지시 정확도는 일반 모델 (Vanilla) 의 약 43% 에서 75.8%(ReactiveGWM$_{base}$) 로 상승했습니다. SF3 에서는 약 41% 에서 **79.8%**로 개선되었습니다.
• 보존된 플레이어 제어: 모델은 거의 완벽한 플레이어 행동 제어 가능성 (예: SF3 에서 100% 이동 정확도 및 공격 정확도) 과 시각적 충실도 (SSIM/LPIPS) 를 유지하며, 일반 베이스라인과 동등한 수준을 유지합니다.
• 효과적인 전이: ReactiveGWM$_{transfer}$는 백본을 재학습하지 않고도 높은 행동 제어 가능성과 시각적 품질을 유지하면서 경쟁력 있는 NPC 전략 추종 (예: SF3 에서 63.6%–73.7%) 을 달성합니다.
• 사용자 연구: 인간 평가는 ReactiveGWM 이 일반 모델과 뚜렷이 구별되는 전략 일관성 NPC 행동을 생성하며, 전략 분류 정확도가 베이스라인 대비 약 두 배 증가했음을 확인했습니다.

중요성과 주장

본 논문은 ReactiveGWM 이 확장 가능하고 전략이 풍부한 게임 생성의 길을 연다고 주장합니다. 도메인 특화 재학습 없이 조정 가능한 NPC 상호작용을 가능하게 함으로써, NPC 를 수동적인 배경 요소로 취급하는 현재 월드 모델의 중요한 격차를 해소합니다. 이 연구는 상호작용 논리를 게임 중립적 모듈로 학습할 수 있음을 시사하며, 다양한 게임 환경에 자율적이고 전략적인 NPC 를 신속하게 배포할 수 있게 합니다. 저자들은 이를 "수동적인 비디오 렌더러"에서 역동적이고 경쟁적인 참여가 가능한 "실제 게임 시뮬레이션 엔진"으로 나아가는 단계로 위치시킵니다.

참고: 논문은 현재 평가가 2D 격투 게임으로 제한되어 있으며, 확산 기반 백본이 추론 지연을 유발하여 현재 형태에서는 실시간 상호작용이 불가능하다는 한계를 인정합니다.