기술 요약: SCOPE – FPS 월드 모델용 플레이 가능한 환경에서 교차 게임 작업 시뮬레이션

1. 문제 제기

비디오 확산을 기반으로 한 인터랙티브 월드 모델은 아타리부터 마인크래프트에 이르기까지 다양한 게임 환경을 시뮬레이션하는 데 가능성을 보여주었습니다. 그러나 이러한 모델은 1 인칭 슈팅 (FPS) 게임에 적용될 때 치명적인 실패 모드를 겪습니다. FPS 게임플레이는 매우 밀집되고 고주파수의 제어 신호 (예: 초당 180 도를 초과하는 카메라 스윕, 동시 발사 및 이동, 빠른 이산적 사건 등) 를 생성합니다.

기존 월드 모델은 일반적으로 전역 조건부 (global conditioning) 방식을 사용합니다. 이는 단일 행동 임베딩이 프레임 내 모든 공간 위치에 균일하게 브로드캐스트되는 방식입니다. 이는 개방형 월드 탐색과 같은 희소하고 저주파수의 제어에는 충분하지만, FPS 조건 하에서는 붕괴됩니다. 국소적 영역 (무기 조준경) 을 대상으로 하는 발사 명령이 의도치 않게 모든 픽셀을 교란시켜 구조적 왜곡과 아티팩트를 유발합니다. 핵심적인 과제는 전역 조건부가 조준경 내 영역 (국소적이고 이산적인 시각적 변화가 필요한 영역) 과 조준경 외 영역 (자신 중심 운동에 의해 주도되는 안정적이고 연속적인 생성이 필요한 영역) 을 구분하지 못한다는 점입니다.

2. 방법론: SCOPE

저자들은 사전 훈련된 비디오 확산 모델의 각 트랜스포머 블록에 삽입되도록 설계된 조건부 모듈인 SCOPE(Playable Environments 에서의 교차 게임 작업 시뮬레이션) 를 제안합니다. 이 방법은 FPS 행동이 공간적으로 선택적이라는 관찰에 기반합니다. 즉, 이산적 사건은 국소적 영역에만 영향을 미치는 반면, 연속적 제어는 광범위한 장면을 지배합니다.

2.1 아키텍처

SCOPE 는 사전 훈련된 비디오 확산 트랜스포머 (DiT) 에 통합됩니다. 이는 잠재 토큰 시퀀스를 픽셀별 시간 시퀀스로 재구성하여, 각 공간 위치가 국소적 시각 콘텐츠에 기반하여 행동 응답을 독립적으로 계산할 수 있도록 합니다. 이 모듈은 두 가지 서로 다른 행동 경로를 처리합니다.

• 이산적 사건 (조준경 내): 발사, 장전, 무기 전환과 같은 행동은 시각적 쿼리 교차 어텐션 (visually-queried cross-attention) 을 통해 처리됩니다. 픽셀별 특징이 쿼리로 작용하고, 행동 임베딩이 키와 값으로 작용합니다. 이 메커니즘은 명시적 분할 레이블이 필요 없이 총구 섬광과 같은 관련 공간 영역으로 효과를 자연스럽게 제한합니다. 조준경 밖의 픽셀은 거의 제로에 가까운 어텐션 가중치를 생성합니다.
• 연속적 제어 (조준경 외): 카메라 및 이동 신호는 융합 MLP 와 결합된 시간적 자기 어텐션 (temporal self-attention) 을 통해 처리됩니다. 이 경로는 부드러운 자신 중심 운동과 장면 흐름을 모델링하여 배경이 안정적으로 유지되고 국소적 이산적 효과에 의해 오염되지 않도록 보장합니다.

두 경로의 출력은 잔차 연결을 통해 결합되어 원래 특징에 추가됩니다. 모든 SCOPE 출력 투영은 제로 초기화되어, 모델이 수정되지 않은 비디오 생성기로 시작하여 엔드 - 투 - 엔드 훈련 중 점진적으로 조준경 분리를 학습할 수 있도록 합니다.

2.2 훈련 및 추론

• 훈련: 모델은 플로우 매칭 목적 함수를 사용하여 CrossFPS 데이터셋에서 엔드 - 투 - 엔드로 훈련됩니다. 단일 게임의 지배를 방지하기 위해 훈련은 7 개의 서로 다른 FPS 타이틀에 걸쳐 균형 잡힌 샘플링을 사용합니다.
• Action-CFG: 추론 중 모델은 행동 분류기 무료 가이드 (Action-CFG) 를 통해 조정 가능한 행동 강도를 지원합니다. 이는 훈련 중 확률적 행동 드롭아웃을 통해 달성되며, 이를 통해 모델은 조건부 및 무조건부 속도 예측 사이를 보간할 수 있습니다.

3. 주요 기여

3.1 SCOPE 아키텍처

본 논문은 행동 효과를 조준경 내 이산적 응답과 조준경 외 연속적 생성으로 분해하는 새로운 조건부 메커니즘을 소개합니다. 픽셀별 조건부를 활용함으로써 SCOPE 는 시각적 콘텐츠를 통해 공간적 선택성을 암시적으로 달성하여 분할 감독의 필요성을 제거합니다.

3.2 CrossFPS 데이터셋

저자들은 프레임 정렬 행동 원격 측정 데이터를 갖춘 최초의 멀티 게임 FPS 데이터셋인 CrossFPS를 소개합니다.

• 규모: 7 개의 서로 다른 FPS 타이틀에서 추출한 69,000 개의 클립으로 구성됩니다.
• 데이터: 10 차원 컨트롤러 원격 측정 데이터 (이동/카메라용 4 개의 연속 축, 전투/유틸리티용 6 개의 이산 버튼) 를 포함합니다.
• 큐레이션: 행동 분포 균형 맞추기, 시각 - 행동 편향 제거 (학습 전략을 방지하기 위해 '비효율적인'행동 유지), 다양한 게임 엔진 간의 행동 - 픽셀 변위 비율 정렬을 위한 운동량 정규화를 포함하여 게임플레이 편향을 제거하기 위해 데이터셋은 엄격한 처리를 거칩니다.

3.3 제로샷 일반화

모델은 게임별 패턴이 아닌 일반적인 시각 - 행동 매핑을 학습하도록 설계되었습니다. 이는 재훈련 없이 보지 못한 장면과 게임 미학으로의 제로샷 전이를 가능하게 합니다.

4. 실험 결과

4.1 정량적 성능

CrossFPS 테스트 세트에서 평가된 결과, SCOPE 는 8 개 지표 중 7 개에서 최첨단 베이스라인 (Matrix-Game 3.0, LingBot-World, HY-World 1.5) 을 능가했습니다.

• 행동 반응성: SCOPE 는 0.910의 동적 정도 (Dynamic Degree) 와 18.24의 흐름 점수 (Flow Score) 를 달성하여, 종종 정적 출력으로 붕괴되거나 부드러움을 유지하기 위해 운동을 억제하는 베이스라인을 크게 능가했습니다.
• 공간적 안정성: 0.198의 광도학적 부드러움 (Photometric Smoothness) 으로, SCOPE 는 최상의 베이스라인보다 3.2 배 더 나은 안정성을 보여주어 조준경 내 및 조준경 외 영역의 효과적인 분리를 확인했습니다.
• 시각적 품질: 모델은 높은 JEPA 유사도 (0.806) 와 낮은 FVD(690.3) 를 유지하여, 조준경 외 영역에서 백본의 생성 능력이 보존됨을 나타냅니다.

4.2 제거 실험

• 공간적 선택성: 픽셀별 조건부를 제거하고 (전역 주입으로 복귀) 광도학적 부드러움 (0.198 → 0.745) 과 동적 정도 (0.910 → 0.521) 가 심각하게 저하되어 기존 방법의 실패 모드를 재현했습니다.
• 훈련 전략: 고정된 백본 또는 2 단계 접근법보다 엔드 - 투 - 엔드 훈련이 더 우수한 결과를 제공하여, 백본과 행동 경로의 공동 적응 (co-adaptation) 의 이점을 확인했습니다.
• 확장성: 성능은 데이터 양과 다양성에 따라 단조롭게 증가하여 전체 65K 클립 데이터셋까지 포화 징후를 보이지 않았습니다.

4.3 제로샷 일반화

GPT-image-2 를 통해 합성된 보지 못한 장면 (스타일화된 개방형 월드, 신화적, 공상과학 미학 포함) 에서 테스트했을 때, SCOPE 는 견고한 제어 가능성을 유지했습니다.

• 제어 가능성: 모델은 복잡한 작업 (다중 행동 구성 및 환경 상호작용) 에 대해 보지 못한 장면에서 **71.5%**의 완료율을 달성하여 베이스라인 (예: 38.3% 의 LingBot-World) 을 크게 능가했습니다.
• 한계: 모델은 기하학적 변환 (구조적 변형) 보다 외관 수준의 응답 (불, 연기, 조명) 을 더 잘 처리하며, 이는 확산 백본의 질감 편향을 반영합니다.

5. 중요성 및 주장

본 논문은 SCOPE 가 FPS 게임플레이에 내재된 밀집되고 고주파수의 제어 신호를 처리할 수 있는 매우 확장 가능한 오픈 월드 시뮬레이션 프레임워크를 확립했다고 주장합니다. 전역 임베딩에서 픽셀별 조건부로 전환함으로써, 모델은 국소적 행동 효과와 전역 장면 안정성 사이의 근본적인 갈등을 해결합니다.

저자들은 그들의 접근 방식이 방대한 독점 데이터셋이 필요하거나 보지 못한 도메인으로 전이될 때 실패하는 기존 작업과 대조적으로, 컴팩트한 데이터셋 (69K 클립) 을 사용하여 제로샷 교차 게임 일반화를 가능하게 한다고 강조합니다. 이 연구는 픽셀별 조건부가 FPS 를 넘어 더 넓은 1 인칭 인터랙티브 시나리오로 확장되는 더 견고한 인터랙티브 월드 모델을 향한 실현 가능한 경로임을 시사하지만, 장기 상태 시뮬레이션은 여전히 미래의 방향입니다.