기술 요약: 생성형 월드 모델을 위한 지속적 계산 상태 (Persistent Computational State)

1. 문제 정의

2026년 중반, 대규모 벤치마크(MBench 및 WRBench)는 생성형 비디오 월드 모델이 "시점 이탈(viewpoint excursions)"(예: 카메라가 장면에서 멀어졌다가 다시 돌아오는 경우) 시 일관성을 유지하는 데 실패한다는 점을 입증했습니다. 모델에게 일시 정지나 분기(fork) 이후의 궤적을 재개하도록 요청하면, 반환된 장면은 이전의 구성과 일치하지 않으며, 시야를 벗어났던 객체들이 일관되게 돌아오지 못하는 현상이 발생합니다.

이 분야의 지배적인 진단은 이러한 실패의 원인을 모델 자체의 문제로 돌리며, 현재의 아키텍처가 숨겨진 변화를 기록할 수 있는 "무엇-메모리(what-memory)"가 부족하거나, 학습 목적 함수가 종단점 지속성(endpoint persistence)을 감독하는 데 실패한다고 제안합니다. 결과적으로, 제안된 해결책들은 비용이 많이 드는 아키텍처 변경, 새로운 메모리 모듈, 그리고 대규모 재학습을 포함합니다.

본 논문의 역진단(Counter-Diagnosis):
본 논문은 상당수의 모델 클래스에 대해 기존의 진단이 불완전하며 종종 틀렸다고 주장합니다. 이러한 실패는 모델의 능력 부족이 아니라, **런타임 실패(runtime failure)**입니다. 서빙 레이어가 세계를 지속하는 데 필요한 비재계산 가능 상태(non-recomputable state)를 폐기하기 때문입니다. 현대의 생성형 서빙은 모든 유용한 상태는 재계산 가능하다는 가정(LLM 서빙에서 상속된)에 기반하여, 요청 경계(request boundaries)에서 상태를 회수하는 "요청 중심(request-centric)" 방식을 취합니다. 이 가정은 월드 모델의 경우 거짓입니다. 왜냐하면 월드 모델의 상태는 (난수 생성기 스트림이나 순환 메모리 활성화와 같은) **비재계산 가능한 커널(non-recomputable kernel)**을 포함하고 있어, 입력을 다시 실행하는 것만으로는 재구성할 수 없기 때문입니다. 이 상태가 폐기될 때, 모델이 생성할 수 없어서가 아니라 런타임이 시드(seed)를 버렸기 때문에 세계가 소실되는 것입니다.

2. 방법론 및 핵심 추상화

복구 실험 (The Restore Experiment)

저자들은 "모델 결핍" 가설을 반박하기 위해 구성적 실험을 수행합니다. 월드 모델을 가져와 롤아웃(rollout)을 생성한 뒤, 특정 런타임 객체(관측값, RNG 상태 또는 메모리 뱅크)를 스냅샷으로 찍습니다. 그 후, 모델을 실제 시점 이탈 상황(내재적 연속성을 파괴하는 과정)으로 몰아넣었다가, 스냅샷을 복구하여 지속하도록 합니다.

• 결과: 지속된 궤적은 이탈하지 않았던 궤적과 바이트 단위로 동일했습니다 (DINOv2 유사도 1.0, 픽셀 오차 0.0).
• 절제 실험(Ablation): 스냅샷에서 RNG를 제거하자 결과가 저하되었으며, 이는 스냅샷이 무시되는 것이 아니라 "로드 베어링(load-bearing, 필수적)"임을 증명합니다.
• 결론: 능력은 존재했으나, 런타임이 필요한 상태를 버린 것이었습니다.

지속적 계산 상태 (Persistent Computational State, PCS)

본 논문은 **지속적 계산 상태(PCS)**를 의미론적 지속을 보장하기 위해 요청 간에 반드시 생존해야 하는 최소한의 비재계산 가능 상태 집합으로 정의합니다.

• 공식 정의: $PCS(M) = \arg \min_S \{ |S| : D(restore(S), oracle) \le \epsilon \}$
  • 여기서 $S$는 전체 런타임 상태 $H$의 부분 집합이고, $D$는 의미론적 거리 메트릭이며, $\epsilon$은 허용 오차(비트 단위 정확도의 경우 0)입니다.
• 특성:
  1. 최소성(Minimality): 더 작은 부분 집합으로는 충분하지 않습니다. 모든 요소는 필수적(load-bearing)입니다.
  2. 회복 가능성(Recoverability): 보집합 $H \setminus PCS$는 유도 가능(derivable)하므로 재계산 가능하며 저장할 필요가 없습니다.
  3. 모델 의존성(Model-Dependence): PCS의 구성은 아키텍처에 따라 다릅니다 (예: 마르코프 모델을 위한 평면 관측 + RNG vs. 비마르코프 모델을 위한 성장하는 메모리 뱅크).

PCS 계약 (The PCS Contract)

본 논문은 세션 중심 런타임을 위한 계약을 명시합니다:

• API: checkpoint(s), restore(c), fork(c), delete(c).
• 불변량(Invariants):
  • 왕복(Round-trip): 복구가 원래의 상태와 의미론적으로 동등한 상태를 산출합니다.
  • 내구성(Durability): 체크포인트는 프로세스 사망 및 프로세스 간 경계를 생존합니다.
  • 분기 독립성(Fork Independence): 자식의 지속은 부모와 의미론적으로 독립적입니다.
  • 스냅샷 완결성(Snapshot Completeness): 체크포인트는 정확히 PCS만을 캡처하며 유도 가능한 것은 포함하지 않습니다.

측정에 의한 발견 (Discovery by Measurement, Fingerprinting)

상태 목록을 수동으로 설계하는 대신, 본 논문은 모델 불가지론적인 핑거프린팅 절차를 제안합니다.

1. 필요성 테스트(Necessity Test): 런타임 버퍼를 체계적으로 절제합니다. 버퍼를 제거했을 때 복귀 일관성 메트릭이 허용 오차 이상으로 저하되면, 해당 버퍼는 "필요한" 것입니다.
2. 충분성 테스트(Sufficiency Test): 필요한 집합만을 복구합니다. 만약 메트릭이 허용 오차 내에 있다면, 이 집합이 PCS입니다.
3. 중복 폴백(Redundancy Fallback): 상관관계가 있는 버퍼는 탐욕적 선택(greedy selection)을 통해 처리합니다.
   이 절차는 아키텍처에 대한 가정 없이도 서로 다른 모델 클래스에 대해 구조적으로 다른 PCS 구성(평면형, 성장형 또는 윈도우형)을 자동으로 발견합니다.

세션 중심 런타임 (Session-Centric Runtime)

저자들은 서빙의 단위를 요청이 아닌 세션으로 하는 런타임을 구축합니다.

• 아키텍처: GPU는 하나의 활성 세션을 보유하며, 다른 모든 세션의 PCS는 호스트(CPU 메모리)에 존재합니다.
• 교체 정책(Eviction Policy): 최근성(LRU)에 의해 퇴출하는 LLM과 달리, 월드 모델은 **관련성 키 기반 교체(relevance-keyed eviction)**가 필요합니다. "복귀"(앵커)에 관련된 프레임은 유지되어야 하며, 이탈 과정에서의 최근 프레임은 버려질 수 있습니다.
• 검증: **복귀 일관성 준수 테스트(Return-Consistency Conformance Test)**가 사용됩니다. 비트 단위 정확도(잘못된 상태에서도 통과할 수 있음)와 달리, 이 테스트는 복구된 세계가 앵커와 의미론적으로 일치하는지 확인하여 "그럴듯하지만 드리프트된(plausible but drifted)" 세계를 거부합니다.

3. 주요 결과

실험 설정

단일 A800 GPU를 사용하여 세 가지 서로 다른 모델 클래스에서 평가되었습니다:

1. Cosmos3-Nano: 행동 조건부 확산(action-conditioned diffusion)을 사용하는 마르코프 모델.
2. WorldMem: 명시적 메모리 뱅크를 가진 비마르코프 모델.
3. Matrix-Game 2.0: 주소 지정 가능한 KV 컨텍스트를 가진 자기회귀적 인과-확산(autoregressive causal-diffusion) 모델.

성능 및 스케일링

• 바이트 단위 복구: 세 모델 모두 프로세스 간 복구 후 비트 단위로 동일한(또는 Matrix-Game의 경우 잠재 공간 단위로 동일한) 지속을 달여, "런타임 폐기 가설"을 확인했습니다.
• 비용: 체크포인트/복구 작업은 약 0.012 ms가 소요되며, 이는 생성 단계(1.85 s)보다 5만 배 빠릅니다. 상태 관리는 실제 시간의 약 0.00035%를 소비합니다.
• 세션 스케일링:
  • 디바이스 메모리: 하나의 세션만 상주하므로 세션 수와 관계없이 일정하게 유지됩니다 (~4.7 GB).
  • 호스트 메모리: 세션 수에 따라 선형적으로 증가합니다.
  • 용량: 세션 중심 런타임은 요청 중심 런타임(모든 세션의 작업 집합을 디바이스에 유지해야 함)보다 약 2,300배 더 많은 상주 세션을 지원할 수 있습니다.
• 교체 효율성: 메모리 압박 하에서, 관련성 키 기반 교체(앵커 프레임 유지)는 최근성 기반(LRU) 교체보다 성능이 훨씬 뛰어납니다. 타이트한 예산 상황에서 관련성 기반 유지는 16/16개의 세계를 보존한 반면, LRU는 6/16개만을 보존했습니다.
• 플래너 워크로드: 몬테카를로 트리 탐색(MCTS) 플래너 시나리오에서, 최근성 기반 교체는 탐색 트리를 붕괴(분기들을 고립시킴)시켰으나, 관련성 기반 교체는 손실 없이 탐색을 완료했습니다.

작동하지 않은 것

• 예측적 교체(Predictive Eviction): 메모리 바인딩이 일어나기 전(초기에) 세션을 축소하는 것은 반응적 교체보다 일관되게 나쁜 결과를 초래했습니다. 이는 세션을 너무 일찍 유지 한계치로 밀어 넣어 나중에 더 많은 드롭을 유발하기 때문입니다.
• 예측적 수용(Predictive Admission): 예상 수요를 기준으로 세션을 거부하는 것은 해로웠습니다. 이는 반응적 베이스라인 하에서 성공적으로 완료되었을 세계들을 거부했기 때문입니다.

4. 의의 및 주장

본 논문은 생성형 모델에서 "세계의 상실"이 모델의 결함이 아니라 **서빙의 간극(serving gap)**인 경우가 많다고 주장합니다.

• 패러다임 전환: 서빙의 단위를 "요청"에서 "세션"으로 옮기고, **지속적 계산 상태(PCS)**를 기본 요소로 도입할 것을 주장합니다.
• 측정 가능성: 지속성을 위해 필요한 최소 상태는 가정하거나 수동으로 설계하는 것이 아니라 측정을 통해 발견될 수 있음을 보여줍니다.
• 정확성 vs 효율성: 표준 LLM 서빙 가정(재계산 가능성)이 월드 모델에는 부적절함을 강조합니다. 재계산 캐싱에 의존하는 런타임은 "그럴듯하지만" 잘못된 세계를 반환하는 반면, PCS를 갖춘 세션 중심 런타임은 정확한 세계를 반환합니다.
• 겸손함: 저자들은 자신들의 연구가 모든 아키텍처(예: 테스트되지 않은 순환 잠재 상태 모델)에 대해 보편적이라고 주장하지 않습니다. 또한 "정확성" 결과는 관측값이나 메모리 뱅크가 가시적 상태를 완전히 포착하는 모델에 국한됨을 명시합니다. 마지막으로, 이들의 기여는 모델 아키텍처 자체가 아니라 추상화와 서빙 레이어임을 분명히 합니다.

핵심 결론은 세계를 유지하는 것은 마이크로초 단위의 비용이 드는 **서빙 프리미티브(serving primitive)**이며, 이를 놓치는 것은 모델의 능력이 부족해서가 아니라 비재계산 가능한 상태를 폐기했기 때문이라는 것입니다.