기술 요약: MASS (권위적 공유 상태를 가진 멀티플레이어 월드 모델)

1. 문제 정의

현재의 비디오 월드 모델(예: GameNGen, Oasis, DIAMOND)은 픽셀이나 시각적 잠재 변수(visual latents)를 순환 기억(recurrent memory)으로 사용하여 행동 조건부 관측치를 예측함으로써 싱글 플레이어 환경에서는 탁월한 성능을 보입니다. 그러나 이러한 모델들은 다음과 같은 세 가지 주요 한계로 인해 멀티플레이어 환경에서 어려움을 겪습니다:

• 상태와 시점의 얽힘: 이들은 세계의 역동성(world dynamics)과 뷰 의존적 시각적 잠재 변수를 혼동합니다. 멀티플레이어 설정에서 이는 모델이 모든 카메라 뷰에 대해 별도의 순환 히스토리를 유지하도록 강제합니다.
• 중복성과 불일치: 별도의 히스토리는 동일한 공유 세계 콘텐츠를 중복해서 인코딩합니다. 이는 뷰의 수에 따라 계산 비용이 높아지게 만들며, 동시에 존재하는 뷰들이 동일한 엔티티에 대해 서로 다른 정보를 갖게 되어 불일치를 초래할 수 있습니다.
• 권위적 상태의 부재: 기존의 멀티플레이어 생성 방식(예: Gamma-World, MultiWorld)은 공유된 시각적 표현이나 공동 생성을 활용하지만, 타입화된 권위적 상태(typed, authoritative state), 즉 순환 기억이자 동기화 객체로서 기능하는 핵심 요소를 결여하고 있습니다. 결과적으로, 이들은 렌더링 전 단계에서 시뮬레이션된 세계 상태가 여러 뷰에 대해 의미론적으로 유효하거나 일관적인지를 보장할 수 없습니다.

2. 방법론

MASS는 전통적인 온라인 게임 아키텍처에서 영감을 받아, 세계의 역동성과 뷰 렌더링을 명시적으로 분리하는 패러다임 전환을 제안합니다. 이 시스템은 "공유 상태 우선" 원칙에 따라 작동합니다:

A. 핵심 아키텍처

시스템은 세 가지 주요 구성 요소로 이루어집니다:

1. 월드 상태 토크나이저 (World State Tokenizer): 게임 상태를 게임 특정 스키마($\Sigma_g$)에 의해 선언된 레코드로 매핑합니다. 스키마는 엔티티 종류, 필드 및 개수를 정의합니다. 토크나이저는 이러한 레코드들을 숫자, 좌표, 플래그를 포함한 고정 너비 토큰 시퀀스로 변환하며, 타입 태그를 처리합니다.
2. 로직 엔진 (Logic Engine): 전역적이고 권위적인 타입화된 상태를 진전시키는 학습된 디코더 전용 트랜스포머(decoder-only Transformer)입니다.
   • 현재 상태($\hat{s}_t$), 공동 플레이어 행동($a_t$), 그리고 외생적 입력($e_t$)을 입력받아 다음 상태($\hat{s}_{t+1}$)를 예측합니다.
   • 토큰화된 레코드를 기반으로 작동하며, 각 레코드의 시퀀스 내에서 제한된 셀프 어텐션(self-attention)을 사용합니다. 객체 간의 상호작용은 공유 상태로부터 계산된 이웃 윈도우(neighborhood windows)를 통해 처리됩니다.
   • 결정적으로, 여기에는 수기로 작성된 전이 함수(hand-written transition functions)가 포함되지 않으며, 역동성은 전적으로 학습됩니다.
3. 렌더링 엔진 (Rendering Engine): 예측된 상태로부터 관측치를 합성하는 학습된 잔차 U-Net(residual U-Net)입니다.
   • 투영된 타입화된 상태($P_i(\hat{s}_t)$)와 카메라 파라미터($\kappa_i$)를 입력받아 RGB 프레임($\hat{o}_t^i$)을 생성합니다.
   • 모든 뷰는 동일한 예측 상태를 조건으로 하므로, 렌더링 프로세스는 세계 전이 비용과 독립적입니다.

B. 운영 흐름

• 서버 측: 로직 엔진은 공동 행동을 바탕으로 틱(tick)당 한 번 세계 상태를 진전시킵니다. 이 단일 예측 상태는 버전 관리가 되어 모든 클라이언트에 배포됩니다.
• 클라이언트 측: 각 클라이언트는 권위적 상태 스냅샷을 받습니다. 로컬 렌더링 엔진은 해당 클라이언트의 카메라에 맞는 특정 뷰를 생성합니다.
• 지연 처리 (Handling Stalls): 네트워크 중단 시, 클라이언트는 최신 권위적 상태를 로컬에서 동일한 로직 엔진을 사용하여 임시로 진전시킴으로써(자신의 행동과 타인의 null 행동을 공급), 다음 서버 업데이트가 도착할 때까지 반응성을 유지할 수 있습니다.

3. 주요 기여

1. 권위적 상태 예측의 정식화: 본 논문은 학습된 멀티플레이어 시뮬레이션을 단일 권위적 타입화된 상태를 예측한 후 카메라 조건부 렌더링을 수행하는 과정으로 정식화했습니다. 이 상태는 순환 히스토리, 동기화 참조, 그리고 모든 클라이언트 뷰의 근원이 됩니다.
2. 스키마 기반 아키텍처: 저자들은 로직 엔진이 타입화된 엔티티 레코드를 진전시키고 렌더링 엔진이 관측치를 생성하는 시스템을 개발했습니다. 이 설계는 롤아웃 중에 네이티브 게임 전이 함수를 필요로 하지 않게 하며, 업데이트 공백기에 로직 엔진이 로컬 예측기로 기능할 수 있게 합니다.
3. 명시적 분리: "로직"(역동성)과 "렌더링"(외형)을 분리함으로써, 시스템은 시뮬레이션 비용이 렌더링되는 카메라의 수와 무관하게 유지되도록 보장합니다.

4. 실험 결과

저자들은 MASS를 멀티플레이어 Snake 벤치마크(1,024명의 동시 접속 플레이어)에서 평가하였으며, 이를 최신 베이스라인들(MultiWorld, B-PV, B-SL, B-UN)과 비교했습니다.

• 상태 복구 (State Recovery): MASS는 파서 복구 점수(Parser recovery score) 0.764를 달성하여, 가장 강력한 비디오 기반 베이스라인인 B-PV(0.128)와 MultiWorld(0.067)를 크게 앞질렀습니다. 이는 렌더링된 프레임으로부터 기저의 게임 상태를 복구하는 능력이 매우 높음을 나타냅니다.
• 교차 뷰 일관성 (Cross-View Consistency): MASS는 X-뷰 불일치(X-view disagreement) 0.000을 달성하여, 모든 뷰가 동일한 상태를 디코딩하기 때문에 완벽하게 일관됨을 확인했습니다. 반면, 베이스라인들은 높은 불일치를 보였습니다 (예: MultiWorld 0.984).
• 지각적 품질 (Perceptual Quality): MASS는 모든 방법 중 가장 낮은 LPIPS(0.098)를 기록하여, 베이스라인(예: MultiWorld 0.277) 대비 우수한 지각적 품질을 입증했습니다.
• 확장성 (Scalability): 시스템은 1,024명의 동시 접속 플레이어가 있는 세계를 10,000 단계의 순환 스텝 동안 성공적으로 진전시켰습니다.
• 일반화 (Generalization): 이 아키텍처는 8가지 다른 게임(Snake, Pac-Man, Tank Battle 등)에 대해 테스트되었으며, 게임 특정 가중치와 스키마로 인스턴스화된 동일한 로직/렌더링 아키텍처가 다양한 시각적 테마와 메커니즘을 지원함을 입증했습니다.

5. 의의 및 주장

본 논문은 명시적이고 권위적인 상태 모델링이 확장 가능하고 일관된 멀티 에이전트 세계 시뮬레이션을 위한 실질적인 토대를 제공한다고 주장합니다.

• 효율성: 세계 전이를 렌더링 단계와 분리함으로써, MASS는 관람객의 수와 관계없이 세계를 한 번만 시뮬레이션하는 전통적인 게임 서버의 효율성 모델을 구현합니다.
• 검증 가능성: 타입화된 상태를 사용하면 단 하나의 프레임이 생성되기 전에 엔티티의 지속성, 위치 정확도 및 구조적 유효성을 직접 측정할 수 있습니다. 이를 통해 역동성(로직 엔진)과 외형(렌더링 엔진) 사이의 오류 국소화가 가능해집니다.
• 확장성: 이 접근 방식은 현재의 "뷰 의존적" 병목 현상을 해결하여, 렌더링되는 카메라 수에 따라 계산 비용이 선형적으로 증가하지 않고도 대규모 멀티플레이어 환경(1,024개 이상의 엔티티)을 시뮬레이션할 수 있게 합니다.

저자들은 이러한 분리된 접근 방식이 거대 학습형 멀티플레이어 월드를 향한 필수적인 단계이며, 향후 3D 환경 및 더 풍부한 엔티티 상호작용으로 이러한 원칙을 확장하는 것을 향후 과제로 제시하며 결론을 맺습니다.