Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

기술 요약: 상상된 롤아웃은 역학적(Dynamic)이 아니라 운동학적(Kinematic)이다

문제 정의
월드 모델의 장기 지평(long-horizon) 실패는 관습적으로 "복합 오차(compounding error)"의 원인으로 돌려지는데, 이는 오차의 축적을 정확하게 설명하는 프레임이지만, 오차의 유형이나 저하되는 구체적인 특징 차원을 구분해내지는 못한다. 저자들은 이러한 일반적인 프레임이 특정 구조적 시그니처를 가리고 있다고 주장한다. 즉, 월드 모델은 운동학적으로 일관된(선형 업데이트 규칙에 기반하여 위치, 속도, 가속도 궤적을 외삽하는) 움직임은 상상하지만, 역학적으로는 불일치하는(실제 움직임을 지배하는 질량, 마찰, 접촉과 같은 물리적 제약을 반영하지 못하는) 움직임을 상상하는 경향이 있다는 것이다. 이 "운동학적 회귀(kinematic fallback)"는 기존의 표현 엔지니어링 및 오차 복합 경계 이론과 병행되는 별도의 실패 층위를 나타낸다.

방법론
이러한 구조적 결핍을 진단하기 위해, 저자들은 운동학적 움직임과 역학적 움직임의 구분에 기반한 월드 모델 평가의 재정의를 제안한다.

1. 상상된 운동학적 일관성 오차 (iKCE):
   저자들은 상상된 롤아웃이 폐쇄형 운동학적 영 모델(closed-form kinematic null, 예: 등속도 또는 등가속도)로부터 벗어나는 정도를 측정하는 per-step 진단 지표인 iKCE를 정의한다.

   • 정의: $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$.
   • 해석: 직관과는 반대로, 낮은 iKCE는 모델이 운동학적 패턴을 성공적으로 외삽하고 있음(운동학적 상상)을 나타낸다. 높은 iKCE, 특히 지평(horizon)에 따라 증가하고 물리적 체제 변화에 반응하는 높은 iKCE는 역학적 상상의 시그니처이다.

2. 조건부 섭동 프로토콜 (Conditioning-Perturbation Protocol):
   운동학적 상상과 역학적 상상을 구분하기 위해, 저자들은 물리적으로 유의미한 조건부 파라미터(예: 마찰 계수 $\mu$, 초기 속도, 페이로드)를 섭동시켜 iKCE의 용량-반응 곡선(dose-response curve)을 유도한다.

   • 시그니처 1 (체제 불변성, Regime Invariance): 운동학적 상상가는 물리적 체제와 상관없이 동일한 선형 구조를 외삽하므로, 섭동 크기에 따라 매끄럽게 스케일링되는 iKCE 곡선을 생성한다. 반면 역학적 상상가는 체제 경계(예: 보행 붕괴)에 민감하게 반응해야 한다.
   • 시가 2 (단조적 일관성, Monotone Consistency): 모델은 물리적 관계가 성립하는 경우에만 물리적 단조성(예: 마찰이 높을수록 정지 거리가 짧아짐)을 준수해야 한다. 운동학적 모델은 선형적 단조성은 준수하지만, 체제 조건부적 단조성은 준수하지 못한다.

실험 설정
진단은 DMC walker-walk 환경에서 훈련된 DreamerV3 체크포인트에 적용되었다.

• 베이스라인: 훈련된 정책에 의해 구동되는 실제 물리 롤아웃과 비교하였다.
• 조건: 연구에는 물리적 체제 경계($\mu=0.20$)를 가로지르는 13단계의 마찰력 스윕($\mu \in [0.1, 1.7]$)이 포함되었다.
• 대조군: 정책의 분포 외(OOD) 아티팩트를 배제하기 위해 액터 훈련 지평(actor-training-horizon) 절제 실험과 도메인 무작위화 대조 실험을 포함하였다.

주요 결과

1. 오차의 크기 (가설 1): DreamerV3 월드 모델의 상상된 iKCE는 매칭된 실제 물리 롤아웃보다 유의미하게 높았다.

   • 지평 $T=16$에서 그 비율은 약 $180\times$ ($7.7 \times 10^{-3}$ 대 $4.2 \times 10^{-5}$)였다.
   • 지평 $T=64$에서 비율은 약 $30\times$로 줄어들었으며, 이는 모델의 매끄러운 장기 지평 꼬리 부분에서의 per-step 희석 때문으로 분석된다.
   • 이는 모델의 상상이 운동학적 영 모델에 대해 상당한 잔차를 가지고 있음을 확인해 준다.

2. 체제 불변성 (가설 2): 마찰력 스윕 전반에 걸쳐, 훈련된 정책의 보상은 마찰력이 보행 붕괴 경계($\mu=0.20$) 아래로 떨어짐에 따라 약 650에서 200으로 붕괴되었다. 그러나 상상된 iKCE는 전체 범위에서 통계적으로 평탄하게 유지되었다.

   • 회귀 분석 결과, 마찰력에 따른 월드 모델의 iKCE 기울기는 0을 포함하였으나($\beta_{WM} = -0.009$, 95% CI $[-0.096, +0.082]$), 실제 물리 모델의 기울기는 유의미한 음수였다($\beta_{phys} = -0.220$).
   • 이는 월드 모델이 물리적 체제 변화를 인지하지 못함을 나타내며, 운동학적이지 역학적이지 않은 시그니처를 확인해 준다.

의의 및 주장
본 논문은 장기 지평 월드 모델의 실패가 단순히 분산이나 표현 엔지니어링의 문제가 아니라, 모델이 풍부한 운동학적 특징은 학습하지만 체계적으로 역학적 특징을 과소 표현하는 구조적 결핍임을 주장한다.

• 진단적 가치: iKCE 프로토콜은 신체의 보행 주기보다 긴 지평에서 운동학적 상상과 역학적 상상을 구분할 수 있는 검증 가능한 평가 진단을 제공한다.
• 훈련에 대한 시사점: 저자들은 상상된 롤아웃이 운동학적으로 구조화되어 있지만 역학적으로 불충실하다면, 장기 지평을 통해 전파되는 정책 그래디언트가 실제 역학으로부터 벗어난 궤적 분포에 대해 액터를 최적화하게 된다고 제안한다. 이는 장기 지평(예: $h=64$) 훈련이 짧은 지평(예: $h=15$)에 비해 불안정한 수렴과 더 약한 배치 정책을 초래한다는 관찰 결과와 일치한다.
• 한계점: 저자들은 본 진단이 구조적이지 예측적이지는 않다고 명시한다. 낮은 iKCE가 모델을 운동학적이라고 식별할 수는 있지만, 그것이 유용한 예측 도구임을 보증하지는 않는다. 반대로, 마찰 민감성을 가진 높은 iKCE가 모델을 역학적이라고 인증할 수는 있지만, 반드시 정확하다는 것을 의미하지는 않는다. 결과는 현재 단일 체제(DMC walker)와 특정 월드 모델 패밀리에 국한되어 있으나, 프로토콜 자체는 일반화 가능하도록 설계되었다.