기술 요약: ActSWM – 장기 계획을 위한 행동 민감형 월드 모델 (Action-Sensitive World Models)

문제 정의: 잠재 월드 모델에서의 컨텍스트 붕괴 (Context Collapse)

잠재 월드 모델은 압축된 잠재 공간 내에서 제어 시퀀스를 최적화함으로써 효율적인 모델 예측 제어(MPC)를 가능하게 합니다. 그러나 기존의 자기회귀적 잠재 예측기들은 표준적인 예측 오차 누적과는 구별되는 특정 실패 모드인 컨텍스트 붕괴(Context Collapse) 현상을 겪는 경우가 많습니다.

컨텍스트 붕괴 상황에서, 예측기는 시각적 이력(visual history)만으로 미래 상태와 높은 유사성을 유지할 수 있지만, 정작 롤아웃(rollout)을 조건화하는 특정 행동 시퀀스에는 무감각해질 수 있습니다. 결과적으로, 서로 다른 행동 시퀀스(예: 기록된 궤적 vs. 모든 값이 0인 행동 시퀀스)가 거의 구별 불가능한 잠재 미래를 생성하게 됩니다. 이러한 현상은 모델을 계획(planning)에 부적합하게 만듭니다. 만약 대안적인 행동들이 분리 가능한 잠재적 결과(separable latent consequences)를 유도하지 못한다면, 플래너는 다운스트림의 결과를 신뢰성 있게 비교하거나 제어 시퀀스를 최적화할 수 없기 때문입니다. WAM(World-Action Model)과 같은 기존 방식들은 국소적 전이(local transitions)에서 행동 정보를 유지하기 위해 역역학(inverse dynamics)을 포함하지만, 대안적인 미래 행동 시퀀스 하에서도 예측된 롤아웃이 서로 구별 가능하도록 명시적으로 제약하지는 않습니다.

방법론: ActSWM 프레임워크

저자들은 행동 민감성을 강제하기 위해 **전이 분리 원칙(transition-separation principle)**을 적용한 JEPA 기반의 잠재 월드 모델인 ActSWM(Action-Sensitive World Model)을 제안합니다. 이 연구의 핵심 가설은 계획에 유용한 잠재 역학 모델은 대안적 행동 미래들을 구별 가능하게 유지해야 하며, 각 국소 전이와 연관된 행동을 복구할 수 있어야 한다는 것입니다.

아키텍처 및 구성 요소

ActSWM은 표준적인 잠재 예측 백본에 두 가지 특정 메커니즘을 추가하여 보강되었습니다:

1. 롤아웃 수준의 분리 (Rollout-Level Separation): 동일한 컨텍스트에서 생성되더라도 서로 다른 행동 시퀀스(특히, 기록된 행동 vs. 모든 값이 0인 행동)에 의해 조건화된 미래 잠재 궤적이 서로 분리될 수 있도록 모델을 학습시킵니다.
2. 고정된 행동 판독 (Fixed Action Readout): 전이 수준의 민감도를 강제하기 위해, ActSWM은 파라미터가 고정된 행동 판독기($q_{\phi_0}$)를 사용합니다. 손실을 최소화하기 위해 결정 경계를 이동할 수 있는 적응형 디코더와 달리, 고정된 판독기는 잠재 전이 표현 자체가 정확한 행동 복구를 위해 반드시 구별 가능해지도록 강제합니다.

학습 목적 함수 (Training Objective)

학습 목적 함수($\mathcal{L}$)는 예측 충실도와 행동 민감도 사이의 균형을 맞추기 위해 네 가지 항을 결합합니다:

1. 예측 손실 ($\mathcal{L}_{pred}$): 기록된 행동에 의해 조건화된 롤아웃을 인코딩된 미래 궤적과 정렬시키는 표준적인 다단계 예측 손실입니다.
2. 힌지 손실 ($\mathcal{L}_{hinge}$): 기록된 행동에 의해 조건화된 롤아웃과 모든 값이 0인 행동에 의해 조건화된 롤아웃 사이의 과도한 유사성에 패널티를 부여하는 대조 학습 항입니다. 이는 모델이 긴 호라이즌 동안 행동 의존적 차이를 보존하도록 명시적으로 유도합니다.
3. 판독 손실 ($\mathcal{L}_{readout}$): 고정된 판독기를 사용하여 인코딩된 전이와 롤아웃으로 예측된 전이에 모두 적용되는 손실입니다. 이는 잠재 전이가 입력 행동을 복구하기 위한 충분한 정보를 포함하도록 보장합니다.
4. SigReg 손실 ($\mathcal{L}_{sig}$): 예측 공간 특징의 스케일과 분포를 안정화하기 위해 LeWorldModel(LeWM)에서 채택된 항입니다.

전체 목적 함수는 다음과 같습니다:
$$\mathcal{L} = \mathcal{L}_{pred} + \lambda_{sig}\mathcal{L}_{sig} + \lambda_{hinge}\mathcal{L}_{hinge} + \lambda_{readout}\mathcal{L}_{readout}$$

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. ActSWM 모델: 장기 예측을 지원하면서 동시에 행동 민감형 롤아웃 역학을 유지하도록 설계된 JEPA 기반의 잠재 월드 모델을 도입했습니다.
2. 개방형 태스크에서의 검증: MineStudio 태스크(돌 채굴, 기둥 쌓기, 횃불 설치)에서 향상된 폐쇄 루프 계획 능력을 입증하였으며, LeWM 베이스라인 대비 유의미한 성공률 향상을 보여주었습니다.
3. 컨텍스트 붕괴 진단: 기록된 행동과 모든 값이 0인 행동을 조건으로 한 롤아웃을 비교하는 진단 프로토콜을 제시했습니다. ActSWM은 가장 강력한 베이스라인과 비교하여 미래 간의 유사성을 약 380배 더 크게 벌려, 모델의 롤아웃이 행동 입력에 여전히 반응하고 있음을 증명했습니다.
4. 오프라인 행동 복구: 세 가지 서로 다른 도메인(Counter-Strike 2, GTA V, Apex Legends)의 오프라인 게임플레이 영상으로부터 교차 엔트로피 방법(CEM) 최적화를 사용하여 제어 시퀀스를 복구하는 능력을 검증했으며, 무작위 탐색(random search) 대비 최대 16.5배의 비용(cost) 개선을 달성했습니다.

실험 결과

Q1: 컨텍스트 붕괴 진단

저자들은 오프라인 마인크래프트 궤적을 사용하여 모델이 행동 입력에 의존하는지 아니면 컨텍스트에만 의존하는지 평가했습니다.

• 베이스라인 동작: 컨텍스트가 길거나 다단계 학습을 거친 모델들은 기록된 행동 하에서의 예측 품질은 개선되었으나, 기록된 행동과 제로-행동(zero-action) 롤아웃 사이를 구분하는 데 실패했습니다(작은 $\Delta_k$).
• ActSWM 성능: ActSWM은 제로-행동 조건에서의 유사성을 80% 이상 감소시키면서도 기록된 행동에 대한 높은 충실도를 유지하였으며, 가장 큰 행동 격차($\Delta_k = 0.760$)를 달성했습니다.

Q2: 폐쇄 루프 모델 기반 계획

MineStudio에서 ActSWM은 MPC를 위한 역학 모델로 사용되었습니다.

• 성능 향상: LeWM과 비교했을 때, ActSWM은 다음 작업에서 성공률을 향상시켰습니다:
  • 횃불 설치: 5.3% 향상
  • 돌 블록 채굴: 90.0% 향상
  • 기둥 쌓기: 54.5% 향상
• 시사점: 이 결과는 지속적인 제어와 순차적 의사결정을 요구하는 계획 작업에서 행동 민감형 롤아웃이 매우 중요하다는 것을 나타냅니다.

Q3: 판별적 행동 표현

모델은 CEM을 사용하여 CS2, GTA V, Apex Legends의 오프라인 영상으로부터 행동을 추론하는 능력을 테스트받았습니다.

• 행동 격차: ActSWM은 무작위 탐색 대비 CEM 복구 비용을 최대 16.5배 개선했습니다 (예: GTA에서 252.38).
• 활성 정확도(Active Accuracy): ActSWM은 실제로 키가 눌렸을 때 행동을 복구하는 정확도를 크게 향상시켰습니다 (최대 0.711 절대적 개선). 반면 베이스라인 모델들은 지배적인 비활성 클래스(inactive class)와 활성 키를 구분하는 데 자주 실패했습니다.

의의 및 주장

본 논문은 **행동 민감성(action sensitivity)**이 미래 상태 예측 정확도와는 구별되면서도 이를 보완하는, 계획 지향적 잠재 월드 모델의 핵심 요구사항이라고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 컨텍스트 붕괴는 정확한 롤아웃이 대안적 행동에 반응하지 못하여 계획에 무용지물이 되는 독특한 실패 모드입니다.
• 행동 민감성은 반사실적(counterfactual) 롤아웃 비교, 신뢰할 수 있는 폐쇄 루프 계획, 그리고 게임플레이 영상을 통한 확장 가능한 행동 라벨링을 연결합니다.
• 고정된 판독기와 대조적 롤아웃 학습을 통해 전이 분리 원칙을 강제함으로써, ActSWM은 단순한 상태 예측을 넘어 실행 가능한 역학(actionable dynamics)을 갖춘 효과적인 플래너로서 월드 모델이 기능할 수 있게 합니다.

이 연구는 모든 오픈 월드 에이전트의 과제(샘플 효율성이나 배포 비용 등)를 해결한다고 주장하는 것이 아니라, 특히 긴 호라이즌 동안 서로 다른 행동 시퀀스의 결과를 구별하는 데 있어 기존 잠재 모델들이 가진 한계를 해결하는 데 초점을 맞추고 있습니다.