💻 computer science

Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

本論文は、提案された「運動学的整合性誤差（Kinematic-Consistency Error）」という指標が高止まりし、ポリシーの性能が崩壊する際にも物理的なレジームの変化に対して鈍感であることを示すことで、ワールドモデルにおける長期的な失敗の本質が、動的なものではなく主に運動学的な想像に留まっていることを実証し、その原因を診断するものである。

原著者： Finn Rasmus Schäfer, Korbinian Moller, Yuan Gao, Christian Oefinger, Sebastian Schmidt, Johannes Betz

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Finn Rasmus Schäfer, Korbinian Moller, Yuan Gao, Christian Oefinger, Sebastian Schmidt, Johannes Betz

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歩き方を教えるために、人が歩いている動画を見せている場面を想像してください。あなたはロボットに、単に「人がどのような見た目か」だけでなく、「どのように動いているか」を学ばせ、将来どこにいるかを予測させたいと考えています。これが「ワールドモデル（世界モデル）」が行っていることです。ワールドモデルとは、自分の頭の中に現実をシミュレートし、先を見通して計画を立てようとするAIの脳のことです。

この論文は、現在のAIの脳が、非常に特殊で巧妙な方法で失敗していると主張しています。彼らは、一般的な原因である「忘却」によって失敗しているのではありません。彼らは**「ズル（チート）」**をしているために失敗しているのです。

以下に、比喩を用いた彼らの発見の解説をまとめます。

1. コアとなる問題：「計算尺」対「物理エンジン」

著者らは、現在のAIモデルは「力学的（ダイナミック）」ではなく、「運動学的（キネマティック）」であると述べています。

運動学的（ズルをしている状態）： 紙の上に線を引いているところを想像してください。あなたは線が真っ直ぐ進むことを知っているので、ただ真っ直ぐ描き続けます。なぜそれが真っ直ぐなのか、あるいは紙が滑りやすいかどうかは気にしません。ただパターンを延長しているだけです。AIもこれを行っています。AIはロボットがどこにいて、どのくらいの速度で動いていたかを見て、単に前方に直線を描くだけです。現実世界の厄介なルール（重力、摩擦、あるいはロボットの足が滑るといったこと）を無視しているのです。
力学的（真実の状態）： これは本物の物理エンジンのようなものです。もし重い箱を氷の上で押せば、遠くまで滑ります。もし砂の上で押せば、すぐに止まります。「力学的」なモデルは、結果が変わる理由として「表面の状態」を理解しています。

診断： この論文は、これらのAIモデルは、数学の公式を理解せずに、テストの解答集を丸暗記した学生のようなものだと主張しています。条件が変わらない限り、次のステップを正しく推測することはできますが、条件が変わった瞬間（例えば床が滑りやすくなった時）、たとえロボットが転んでしまうはずであっても、彼らは同じ「直線を描く」という答えを出し続けてしまうのです。

2. 新しいテスト：「滑る床」実験

これを証明するために、研究者たちは iKCE (Imagined Kinematic-Consistency Error / 想像された運動学的整合性誤差) と呼ばれるテストを考案しました。「現実チェック」メーターのようなものです。

仕組み： 彼らは、AIによる未来の予測を取り出し、それを「上がったものは必ず下がる」あるいは「動いているものは動き続ける」といった単純で愚かな数学的公式と比較します。
ひねり： もしAIが本当に物理学を理解しているなら、環境が変わったとき（床を滑りやすくするなど）、その予測は劇的に変化するはずです。もしAIが単にパターンを利用して「ズル」をしているだけなら、その予測は全く変化しません。

結果：
彼らは、歩行ロボット（ウォーカー）を用いてテストを行いました。床を滑りやすく（低摩擦）し、次に非常にグリップ力の高い（高摩擦）状態にしました。

本物のロボット： 床が滑りやすくなると、ロボットはよろめいて転倒しました。報酬スコアは急落しました。ロボットは物理法則が変わったことを理解していました。
AIの想像： AIは、滑る床の上であっても、ロボットが完璧に歩き続けると予測し続けました。その「現実チェック」メーターは平坦なままでした。AIは床が変わったことに気づきませんでした。なぜなら、AIは歩行の「物理」をシミュレートしていたのではなく、単に歩行の「動き」をシミュレートしていたに過ぎないからです。

3. なぜこれが重要なのか（「長い道のり」の問題）

通常、人々はAIが長期的なタスクに失敗するのは、エラーが蓄積していくから（伝言ゲームのようにメッセージが歪んでいく現象）だと考えます。しかし、著者らはこう言います。「いや、それは物語のすべてではありません。」

真の問題は、AIが**「レジーム境界（体制の境界）」に対して盲目である**ことです。

比喩： 車を運転しているところを想像してください。乾燥した道路では、鋭く曲がることができます。しかし、氷の上では、鋭く曲がることはできません。
AIのミス： AIは「乾燥した道路で鋭く曲がれたのだから、氷の上でも鋭く曲がれる」と考えます。AIは「ゲームのルール」が変わったことを理解していません。ただ同じ「曲がる」というロジックを適用し続け、それが現実世界での衝突を招くのですが、AI自身は自分がうまくやっていると思い込んでいるのです。

4. 結論

この論文は、これらのAIモデルは構造的に怠惰であると結論付けています。彼らは「動き（運動学）」を予測することには長けていますが、その動きを引き起こす「力（力学）」を学ぶことに失敗しているのです。

得意なこと： すべてが全く同じ状態が続く場合に、次に何が起こるかを予測すること。
苦手なこと： 世界が変わったとき（摩擦、重さ、接触の変化など）に何が起こるかを予測すること。

著者らは、長期的な計画問題を解決するためには、単にAIを「より賢く」したり、より多くのデータを与えたりするだけでは不十分だと提案しています。私たちは、AIが単純なパターンマッチングに頼るのをやめさせ、物事がどのように相互作用するかという物理学を実際に学ばせなければなりません。そうでなければ、これらのAIの「夢想家」たちは、現実よりも完璧すぎて、実際にはその上を歩くことすらできない世界を想像し続けることになるでしょう。

技術要約：想像されたロールアウトは運動学的（Kinematic）であり、動力学的（Dynamic）ではない

問題提起
世界モデルにおける長期間の予測失敗は、従来「誤差の累積（compounding error）」として説明されてきた。これは誤差の蓄積を正確に記述する枠組みではあるが、誤差の「種類」や、劣化する具体的な特徴量の次元を区別できていない。著者らは、この一般的な枠組みが特定の構造的なシグネチャを覆い隠していると主張する。すなわち、世界モデルは運動学的に一貫した動き（線形更新則に基づいた位置、速度、加速度の軌道の外挿）を想像する傾向があるが、動力学的に不整合な（実在の運動を支配する質量、摩擦、接触などの物理的制約を考慮できていない）動きとなる。この「運動学的への退行（kinematic fallback）」は、既存の表現エンジニアリングや誤差累積境界の理論と並ぶ、明確な失敗の層を表している。

手法
この構造的な欠陥を診断するために、著者らは運動学的（kinematic）な動きと動力学的（dynamic）な動きの区別に着目した、世界モデル評価の再定義を提案している。

想像された運動学的一貫性誤差 (iKCE):
著者らは、ステップごとの診断指標として、想像されたロールアウトが閉形式の運動学的ヌル（例：等速運動または等加速度運動）からどの程度逸脱しているかを測定する iKCE を定義する。
- 定義: $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$
- 解釈: 直感に反するが、低い iKCE は、モデルが運動学的なパターンを正常に外挿できていること（運動学的想像）を示す。高い iKCE、特にホライゾンとともに増大し、物理的レジームの変化に反応するものは、動力学的想像のシグネチャである。
条件付け摂動プロトコル (Conditioning-Perturbation Protocol):
運動学的想像と動力学的想像を区別するために、著者らは物理的に意味のある条件付けパラメータ（例：摩擦係数 $\mu$ 、初期速度、ペイロード）を摂動させることで、iKCE の用量反応曲線（dose-response curve）を導き出す。
- シグネチャ1（レジーム不変性）: 運動学的な想像者は、摂動の大きさに応じて物理的レジームに関わらず滑らかにスケールする iKCE 曲線を生み出す（同じ線形構造を外挿するため）。一方、動力学的な想像者は、レジームの境界（例：歩行の崩壊）に対して敏感に示すはずである。
- シグネチャ2（単調一貫性）: モデルは、それらの関係が物理的に成立する場合にのみ、物理的な単調性を尊重すべきである（例：摩擦が高い $\to$ 停止距離が短くなる）。運動学的なモデルは線形な単調性は尊重するが、レジーム依存の単調性は失敗する。

実験設定
この診断は、DMC walker-walk 環境で訓練された公開済みの DreamerV3 チェックポイントを用いて実装された。

ベースライン: 訓練されたポリシーによって駆動される実物理のロールアウトとの比較。
条件: 摩擦のスイープ（13段階のマグニチュード、 $\mu \in [0.1, 1.7]$ ）を含み、経験的に決定された歩行崩壊の境界（ $\mu=0.20$ ）を横断する。
コントロール: ポリシーの分布外（OOD）アーティファクトを排除するため、アクターの訓練ホライゾンのアブレーションおよびドメインランダム化コントロールを実施した。

主な結果

誤差の大きさ（仮説1）: DreamerV3 世界モデルの想像された iKCE は、一致させた実物理のロールアウトよりも有意に高かった。
- ホライゾン $T=16$ において、その比率は $\sim 180\times$ （ $7.7 \times 10^{-3}$ 対 $4.2 \times 10^{-5}$ ）であった。
- ホライゾン $T=64$ において、比率は $\sim 30\times$ となり、これはモデルの滑らかな長期間のテールにおけるステップあたりの希釈化によるものである。
- これにより、モデルの想像が運動学的ヌルに対して相当な残差を伴っていることが確認された。
レジーム不変性（仮説2）: 摩擦のスイープにおいて、訓練されたポリシーの報酬は、摩擦が歩行崩壊の境界（ $\mu=0.20$ ）を下回ると $\sim 650$ から $\sim 200$ へと崩壊した。しかし、想像された iKCE は全範囲にわたって統計的に平坦なままであった。
- 回帰分析の結果、世界モデルの iKCE 対摩擦の傾きはゼロを含んでいた（ $\beta_{WM} = -0.009$ , 95% CI $[-0.096, +0.082]$ ）のに対し、実物理の傾きは有意に負であった（ $\beta_{phys} = -0.220$ ）。
- これは、世界モデルが物理的なレジーム変化に対して「盲目」であることを示しており、運動学的であり動力学的ではないというシグネチャを裏付けている。

意義と主張
本論文は、長期間の生成モデルの失敗は単なる分散や表現エンジニアリングの問題ではなく、モデルが豊かな運動学的特徴を学習する一方で、動力学的特徴を系統的に過小表現するという構造的な欠陥であると主張している。

診断的価値: iKCE プロトコルは、エンボディメントの歩行周期よりも長いホライゾンにおいて、運動学的想像と動力学的想像を区別する検証可能な評価診断を提供する。
訓練への示唆: 想像されたロールアウトが運動学的に構造化されている一方で動力学的に忠実でないならば、長期間を通じて伝播される方策勾配は、実在のダイナミクスから逸脱した軌道分布に対してアクターを最適化してしまう。これは、長期間のホライゾン（例： $h=64$ ）での訓練が、短いホライゾン（例： $h=15$ ）と比較して不安定な収束や弱いデプロイ済みポリシーをもたらすという観察結果と一致している。
謙虚さ: 著者らは、この診断は構造的なものであり、予測的なものではないことを明記している。低い iKCE はモデルが運動学的であることを特定するが、それが有用な予測器であることを保証するものではない。逆に、高い iKCE と摩擦への感度は、モデルが動力学的であることを証明するが、必ずしも正確であることを意味しない。なお、結果は現在、単一のエンボディメント（DMC walker）および特定の世界モデルファミリーに限定されているが、プロトコル自体は汎用性を備えるよう設計されている。

1. コアとなる問題：「計算尺」対「物理エンジン」

2. 新しいテスト：「滑る床」実験

3. なぜこれが重要なのか（「長い道のり」の問題）

4. 結論

技術要約：想像されたロールアウトは運動学的（Kinematic）であり、動力学的（Dynamic）ではない

関連論文