=== 요약 ===

기술적 요약: 비디오 월드 모델을 위한 주소 지정 가능 메모리 (WorldTrace)

1. 문제 정의

자기회귀(Autoregressive) 비디오 월드 모델은 에이전트가 상호작적인 환경을 탐험하고 위치를 재방문할 수 있는 상호작용 가능한 환경을 시뮬레이션하는 것을 목표로 하며, 이를 위해 시각적 지속성(visual persistence)—즉, 이전에 본 장면을 다시 돌아왔을 때 일관되게 재생성하는 능력—이 필요합니다. 그러나 이러한 모델들은 생성 범위가 훈련 컨텍스트 호라이즌(context horizon)을 넘어서면 시각적 지속성이 급격히 저하되는 문제를 겪습니다.

본 논문은 이러한 실패를 유발하는 두 가지 결합된 병목 현상을 식별합니다:

1. 주소 지정 실패 (Addressability Failure): 생성 호라이즌이 길어짐에 따라, 현재 쿼리와 캐시된 키(keys) 사이의 시간적 오프셋(temporal offsets)이 훈련 중에 관찰된 범위를 초exceed하게 됩니다. 이러한 모델은 **회전 위치 임베딩(Rotary Positional Embeddings, RoPE)**에 의존하기 때문에, 분포 외(Out-of-Distribution, OOD) 오프셋에서 쿼리를 수행하면 모델이 실제 콘텐츠가 아닌 "위치 노이즈(positional noise)"에 어텐션을 가하게 되어, 저장된 메모리를 사실상 읽을 수 없는 상태로 만듭니다.
2. 정보성 실패 (Informativeness Failure): RoPE가 회전된 공간에서의 표준 압축 전략(예: 키 평균화)은 **위상 상쇄(phase cancellation)**를 초래합니다. 서로 다른 타임스탬프의 키들을 평균화할 때, 각기 다른 RoPE 회전 각도가 서로 반대 방향을 가리켜 신호를 상쇄하고 압축된 요약을 손상시킵니다.

기존 방법들은 이러한 문제 중 하나만을 해결하려 시도하지만(예: 오프셋 제한 또는 콘텐츠 압축), 결합된 문제를 해결하지 못해 주소 지정이 불가능한 메모리나 정보성이 낮은 요약본을 생성하게 됩니다.

2. 방법론: WorldTrace

저자들은 기본 월드 모델을 재학습시키지 않고도 압축된 메모리를 **주소 지정 가능(addressable)**하고 정보성(informative) 있게 유지하도록 설계된 학습 불필요(training-free) 메모리 프레임워크인 WorldTrace를 제안합니다.

핵심 메커즘

WorldTrace는 어텐션 윈도우를 최근 윈도우(원본 프레임)와 요약 캐시(압축된 이력)로 분할합니다. 이 모델은 다음 두 가지 병목 현상을 해결합니다:

• 슬롯-랭크 가상 위치 지정 (Slot-Rank Virtual Positioning - 주소 지정성):
  절대적 타임스탬프를 사용하거나 오프셋을 제한하는 대신(이는 서로 다른 슬롯을 동일한 위치로 붕괴시킴), WorldTrace는 각 요약 슬롯에 캐시 내의 순위($s$)에 기반한 고정된 인-디스트리뷰션(in-distribution) 가상 위치를 할당합니다.

  • 가상 위치 $t^v_s$는 $q - (L_{attn} - 1 - s)$로 계산됩니다 (여기서 $q$는 현재 쿼리 위치).
  • 이를 통해 모든 요약 슬롯이 전체 생성 길이와 관계없이 RoPE 오프셋의 훈련 경계 범위 내에 머물게 하여, 토큰들을 개별적으로 주소 지정할 수 있도록 보장합니다.

• 캐노니컬 키 저장 (Canonical Key Storage - 정보성):
  압축 과정에서의 위상 상쇄를 방기하기 위해, 키를 평균화하거나 저장하기 전에 **언로테이션(unrotated)**하여 캐노니컬(unrotated) 표현으로 변환합니다.

  • 언로테이션(Unrotation): $K_{canonical} = R(-\theta_f t_m) K_f^{t_m}$
  • 리로테이션(Re-rotation): 압축된 키는 어텐션 시점에만 특정 슬롯의 가상 위치로 다시 회전됩니다.
  • 이를 통해 평균화가 회전 불변(rotation-invariant) 공간에서 수행되도록 하여, 소스 프레임의 평균 어텐션 점수를 보존합니다.

두 가지 변체

WorldTrace는 서로 다른 쿼리 패턴에 맞춤화된 두 가지 상보적인 "콘텐츠 라이터(content writers, 투영 행렬)"를 제공합니다:

1. WorldTrace-Field (시간적 일관성):

   • 전략: 각 요약 슬롯에 할당된 연속적인 프레임 그룹을 캐노니컬 공간에서 균일하게 평균화합니다.
   • 목표: 과거 정보의 "거친 필드(coarse field)"를 보존하여, 미래의 어텐션이 이력 위로 부드럽게 퍼져나가는 매끄러운 시간적 연속성을 최적화합니다.
   • 구현: 정보의 비가역적 손실을 피하기 위해 호스트 메모리에 이동 평균(moving average)을 유지하며, 매 단계마다 슬롯 평균을 재계산합니다.

2. WorldTrace-Landmark (에피소드적 회상):

   • 전략: 평균값이 아닌 원본(verbatim) 고가치 프레임(장면 진입점)을 저장합니다.
   • 선택: 캐노니컬 키의 코사인 거리 스파이크를 통해 장면 진입 이벤트를 감지합니다.
   • 최적화: **동결된 캐노니컬 키(frozen canonical keys)**를 사용합니다. 랜드마크가 선택되면, 해당 캐노니컬 키는 한 번 계산되어 저장됩니다. 이후 슬롯의 이동은 키를 재회전시키지 않으며, 이를 통해 부동 소수점 드리프트를 제거하고 정확한 장면 궤적을 보존합니다.
   • 목표: 에이전트가 특정하고 두드러진 과거 장면을 재구성해야 하는 에피소드적 회상에 최적화합니다.

3. 주요 기여

1. 장기 호라이즌 실패의 진단: 본 논문은 장기 호라이즌 실패가 근본적으로 RoPE로 인한 주소 지정 문제와 표준 압축에서의 정보성 문제가 결합된 문제임을 식별했습니다.
2. WorldTrace 프레임워크: 위치 할당과 콘텐츠 압축을 분리하는 학습 불료 방식의 접근법을 제시합니다. 이는 슬롯-랭크 가상 위치를 도입하여 주소 지정성을 유지하고, 캐노니컬 키 저장을 통해 정보성을 유지합니다.
3. LoopBench: 자기회귀 월드 모델의 에피소드적 회상을 평가하는 새로운 벤치마크입니다. 외부 참조 이미지 없이도 압축된 캐시가 이전에 방문했던 장면을 재구성할 수 있는지 테스트합니다 (예: ABA, ABCA, ABCDA 루프).
4. 실증적 검증: WorldTrace가 슬라이딩 윈도우 베이스라인 및 기타 압축 방법보다 시간적 일관성과 장면 재구성 측면에서 크게 앞서며 효과적인 메모리 호라이즌을 확장함을 입증합니다.

4. 실험 결과

평가는 Matrix-Game-2 (MG2) 월드 모델(1.3B 파라미터)과 LoopBench 벤치마크를 사용하여 수행되었습니다.

• 시간적 일관성 (WorldTrace-Field):

  • 장기 롤아웃($N=48$ 청크)에서, WorldTrace-Field는 슬라이딩 윈도우 베이스라인 대비 Temporal SSIM을 +15.5% 향상시켰습니다.
  • 베이스라인(Block-relative, Centroid-linear)이 $N=18$ 이후 드리프트가 발생하고 일관되지 않은 기하 구조를 생성할 때도, 본 모델은 장면 일관성을 유지했습니다.
  • 절제 연구(Ablation studies)를 통해 위치 할당이 구속 조건임을 확인했습니다. 인-디스트리뷰션 가상 위치 없이는 압축이 이득을 주지 못했습니다.

• 에피소드적 회상 (WorldTrace-Landmark):

  • LoopBench ABA 재방문 테스트에서, WorldTrace-Landmark는 슬라이딩 윈도우 베이스라인 대비 에피소드적 회상(Position-Aligned CLIP, PAC으로 측정)을 +19.5% 향상시켰습니다.
  • 베이스라인은 장면 구조를 복구하는 데 실패한 반면, 본 모델은 다양한 토폴로지(ABA, ABCA, ABCDA)와 카메라 방향에 걸쳐 원래의 장면 외형을 성공적으로 재구성했습니다.
  • 확장된 호라이즌($N=256$)에서, 랜드마크를 사용한 원본 회상만이 높은 PAC 점수($\approx 0.99$)를 유지했으며, 랜드마크 없는 캐노니컬-K 앵커링은 점수가 크게 하락했습니다.

• 절제 연구 통찰:

  • 위치 vs 콘텐츠: 올바른 위치 할당(WorldTrace)은 압축이 작동하기 위한 필수 조건입니다. 올바른 위치를 가진 표준 평균화는 여전히 캐노니컬 평균화보다 성능이 낮았습니다.
  • 위상 상쇄: 캐노니컬 평균화는 특히 $N_s=4$ 요약 슬롯에서 표준 RoPE 공간 평균화보다 LatentDiff를 25.3% 감소시켰으며, 이는 키를 언로테이션하는 것이 저주파 콘텐츠를 보존하는 데 결정적임을 증명합니다.

5. 의의 및 주장

본 논문은 비디오 월드 모델에서의 시각적 지속성이 단순히 더 많은 콘텐츠를 저장하는 문제가 아니라, 콘텐츠를 주소 지정 가능하고 충실하게 압축하는 데 달려 있다고 주장합니다.

• 이론적 통찰: 저자들은 비디오 월드 모델을 위한 메모리 설계가 두 가지 질문에 답해야 한다고 주장합니다: 메모리가 어디에 배치되는가 (RoPE를 통해 주소 지정 가능하도록), 그리고 무엇을 저장하는가 (정보성을 유지하도록).
• 실질적 영향: WorldTrace는 기본 모델을 재학습시키지 않고도 비디오 생성의 유효 범위를 초 단위에서 **분 단위의 원점 복귀 롤아웃(return-to-origin rollouts)**까지 확장할 수 있게 합니다.
• 한론: 저자들은 WorldTrace가 고정된 KV-캐시 예산을 가진 템포럴-RoPE 자기회귀 모델을 위해 설계되었다는 점을 명시했습니다. 현재의 콘텐츠 라이터(Field 및 Landmark)는 단순한 구조적 투영을 나타내며, 향후 시스템은 에이전트가 변화하는 관점에서 장소를 재방문하는 상호작용 환경에서 더 적응적인 선택 투영을 필요로 할 수 있습니다.

요약하자로, WorldTrace는 RoPE 기반 어텐션 메커니즘에 내재된 주소 지정 및 정보성 병목 현상을 해결함으로써 비디오 월드 모델의 유효 메모리 호라이즌을 확장하는 메커니즘을 제공합니다.