💬 NLP

Looped World Models

本論文は、パラメータを共有するトランスフォーマーを通じて潜在状態を反復的に洗練させることで、忠実な長期的シミュレーションと計算コストの間の緊張関係を解消し、最大100倍のパラメータ効率を実現するとともに、反復的な潜在深度をワールドモデルにおける新たなスケーリング軸として確立する、新しいアーキテクチャであるLooped World Models (LoopWM) を導入する。

原著者： Hongyuan Adam Lu, Z. L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, Lingwei Meng, Mocheng Li, Zezhong Wang, Haonan Yin, Naifu Xue, Minyu Chen, Cenyuan Zhang, Zefan Zhang, Hao Wei, Jiawei Zhou, Haor

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongyuan Adam Lu, Z. L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, Lingwei Meng, Mocheng Li, Zezhong Wang, Haonan Yin, Naifu Xue, Minyu Chen, Cenyuan Zhang, Zefan Zhang, Hao Wei, Jiawei Zhou, Haoran Xu, Hao Yang, Ronglai Zuo, Tongda Xu, Yonghao Li, Jian Chen, Hebin Wang, Zeyu Gao, Yang Li, Wei Zhao, Qimin Zhong, Siqi Liu, Yumeng Zhang, Leyan Cui, Zhangyu Wang, Wai Lam

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「疲れ果てた旅人」対「賢いガイド」

あなたが、ビデオゲームやロボットが部屋を移動する様子など、複雑な環境の未来を予測しようとしていると想像してください。これはAIの世界では**「世界モデル（World Model）」**と呼ばれます。

現在のAIモデルは、山を越えようとする旅人のような、難しい選択を迫られています。

深いハイキング： 次に何が起こるかを完璧に予測するためには、AIは非常に深く考え、多くのステップを踏む必要があります。しかし、これは時間がかかりコストも高く、もしAIが早い段階で小さなミスをすると、そのミスはステップごとに雪だるま式に大きくなり（坂道を転がる雪玉のように）、最終的に予測全体を台無しにしてしまいます。
浅い散歩： 時間とコストを節約するために、AIは素早く浅い視界で物事を見ます。これは速いですが、特に長い道のりにおいては、細部を見誤ることがよくあります。

論文では、現在のモデルは中途半端な状態にあると主張しています。つまり、実行するには高価すぎるか、あるいは時間の経過とともにミスを犯しやすすぎるかのどちらかです。

解決策：「ループ型世界モデル（LoopWM）」

研究者たちは、**「ループ型世界モデル（LoopWM）」と呼ばれる新しいアーキテクチャを提案しています。これを、荷物をバケツリレーのように次々と渡していく一連の作業員ではなく、「一つの、極めて賢い専門家が、自分の答えを何度も練り直していく」**プロセスとして考えてみてください。

仕組みは、主に3つの概念で説明できます。

1. 「読み返し」のループ（パラメータ共有）

難しい数学の問題を解こうとしている場面を想像してください。

従来の方法： 100人の異なる人を雇います。1人目がステップ1を、2人目がステップ2を行い、といった具合です。これには100個の異なる脳（パラメータ）が必要であり、もし5人目がミスをすれば、その後に続く全員が失敗します。
LoopWMの方法： 一人の天才的な数学者を雇います。その人に問題を渡し、数学者は「少し考えさせてください」と言います。そして、再び考えます。さらに、何度も考えます。彼らは同じ脳を使って、答えが完璧になるまで何度も何度も答えを洗練させていきます。

技術的には、このモデルは同じ一連のニューラルネットワーク層を繰り返し使用します。これにより、モデルは非常に小さく効率的になります（従来のモデルより最大100倍小さい）。なぜなら、賢くなるために膨大な種類の異なる層を必要としないからです。

2. 「セーフティネット」（スペクトル安定性）

もし、その一人の数学者に100回連続で考えさせると、混乱したり、デタラメな数字を生成し始めたり（数学的な「爆発」）するリスクがあります。

論文では、数学的なセーフティネットを導入しています。モデルの中に、ショックアブソーバー（緩衝装置）のように機能する特定のルールを組み込みました。モデルが何度ループしたり思考を洗練させたりしても、このルールによって数値が穏やかで限定された範囲内に収まることが保証されます。これにより、たとえ非常に長い未来をシミュレーションしたとしても、AIが暴走しないことが保証されます。

3. 「賢い停止」（適応的計算）

これが最も巧妙な部分です。モデルは、いつ考えるのを止めるべきかを知っています。

シナリオA： あなたがAIに「真空中でボールを落としたらどうなるか？」と尋ねたとします。物理現象は単純です。AIは一度ループして、答えが明白であると判断し、「完了！」と言って終了します。これにより、膨大なエネルギーを節約できます。
シナリオB： 「車が雨の中で壁に衝突したらどうなるか？」と尋ねた場合。これは複雑です。AIは何度もループし、衝突、水、そしてダメージの予測を何度も練り直し、最後にようやく答えを出します。

これは**「適応的計算（Adaptive Computation）」**と呼ばれます。モデルは、難しい問題にはより多くの「脳の力」を使い、簡単な問題には少ない力を使うよう自動的に調整します。

「遅延デコーディング」のトリック

論文では、**「遅延デコーディング（Deferred Decoding）」**という手法も紹介しています。

映画を撮影している監督を想像してください。

従来の方法： セリフが一行出るたびに、監督は俳優を止め、照明を確認し、脚本を見直し、メモを取ってから、次のセリフを言わせます。これは流れを遮り、非常に遅くなります。
LoopWMの方法： 監督は、カメラのチェックをする前に、俳優にシーン全体を頭の中で演じさせます（「潜在空間」でのシミュレーション）。そして、最後にようやく監督が「よし、では最終的なシーンを見せてくれ」と言います。

AIの内部的な思考を、目に見える画像や特定の報酬へと翻訳するのを最後まで遅らせることで、モデルは「毎ステップ、それがどのように見えるか」という細部に気を取られることなく、「次に何が起こるか」という論理に純粋に集中できるようになります。これにより、長期的な計画の精度が大幅に向上します。

結果：小さくとも強力

研究者たちは、この新しいモデル（わずか10億パラメータ程度という、AIとしては極めて小さい規模）を、Claude OpusやGeminiといった巨大で有名なモデルと比較テストしました。

テスト内容： 複雑な科学タスク（「水を沸騰させる」「植物を育てる」「物体を見つける」など）の結果を予測させました。
結果： この小さなLoopWMは、多くのカテゴリーにおいて巨大なモデルを打ち負かしました。
- 「寿命（Lifeslip）」というタスクでは、巨大なモデルがスコア**0%だったのに対し、LoopWMは100%**を記録しました。
- 平均して、巨大なモデルよりも大幅に精度が高く、しかも100倍も小さいサイズでした。

まとめ

この論文は、AIにおける大きなジレンマを解決したと主張しています。それは、**「長期的な予測を、正確かつ安価に行うにはどうすればよいか？」**という問いです。

彼らは以下の方法でこれを実現しました：

自分の思考を何度も練り直す、**「再利用可能な一つの脳」**を使用すること（ループ）。
エラーの増幅を防ぐための、**「数学的なブレーキ」**を追加すること（安定性）。
タスクの難易度に応じて、「どの程度深く考えるか」をAI自身に選ばせること（適応的深度）。
思考を画像へと翻訳するのは、最後の方まで待つこと（遅延デコーディング）。

その結果、LoopWMは小さく、安定しており、未来を予測する能力が驚くほど高い「世界モデル」となりました。これは、賢いモデルになるために必ずしも巨大なモデルは必要ないということを証明しています。

技術要約: Looped World Models (LoopWM)

問題提起

現在のワールドモデルは、忠実な長期的シミュレーションの必要性と、デプロイメントにおける制約との間の根本的な緊張関係に直面している。物理法則は繰り返しの適用を通じて展開されるため、物理ダイナミクスの正確なシミュレーションには深い、あるいは反復的な計算が必要となることが多い。しかし、従来の固定深度アーキテクチャは、複雑さに関わらずすべての遷移に対して同じ計算リソースを割り当ててしまう。これは以下の2つの主要な失敗モードを引き起こす：

累積誤差: 予測誤差が長期的なロールアウトを通じて指数関数的に蓄積し、軌道の忠実性を低下させる。
デプロイメントコスト: これらの誤差を軽減するためにモデルの深度をスケールアップすると、パラメータ数と推論コストが比例して増加し、リソース制約のあるプラットフォームへのリアルタイム・デプロイメントが極めて困難になる。

ループ型トランスフォーマー・アーキテクチャは、層全体でパラメータを再利用することで言語モデリングにおいて有望な結果を示しているが、ワールドモデルングおよび環境シミュレーションの文脈では未だ探索されていない。

手法

著者らは、ワールドモデリングにおけるループ型トランスフォーマー・アーキテクチャの最初の適用例として、Looped World Models (LoopWM) を提案する。このアプローチは、物理ダイナミクスとの構造的整合性、証明可能な安定性、および適応的な計算深度という3つの核となる原則に基づいている。

1. 全体アーキテクチャ

モデルは以下の4つのモジュールで構成される：

観測エンコーダ ( $E_\phi$ ): 生の観測を潜在埋め込み（latent embeddings）にマッピングする。
アクション・エンベッダー ( $A_\psi$ ): アクションを潜在空間に投影する。
ループ型ダイナミクス・コア ( $L_\theta$ ): 潜在状態を反復的に洗練させる中心的なコンポーネント。
予測ヘッド ( $D_\xi$ ): 潜在状態を観測、報酬、および継続フラグへとデコードする軽量なMLP。

2. スペクトル安定性を備えたループ型ダイナミクス・コア

コアは、潜在状態を洗練するために、パラメータを共有した再帰的トランスフォーマー・ブロックを $T$ 回反復的に適用する。更新ルールは以下のように定義される：
$h^{(t+1)} = \bar{A} h^{(t)} + \bar{B} e + \bar{R}(h^{(t)}, e)$
ここで $e$ は、前の状態、観測、およびアクションから導出される条件付け信号である。

スペクトル制約: 任意のロールアウト長にわたって安定性を確保するため、状態保持行列 $\bar{A}$ は、連続時間負対角行列 ( $A := \text{diag}(-\exp(a))$ ) の離散化を介してパラメータ化される。これにより、 $\bar{A}$ のすべての固有値が区間 $(0, 1)$ に制約され、スペクトルノルムが厳密に1未満であることが保証される。これにより、勾配クリッピングや事後的な正規化を必要とせずに、潜在状態の爆発を防ぐことができる。
構造: コアは「Prelude-Recurrent-Coda」デザインに従う。Preludeが入力を処理し、再帰ブロック（共有パラメータ）が $T$ 回の反復を実行し、Coda（別個のパラメータ）が最終的な状態を投影する。

3. 適応的計算と早期終了

モデルは適応的な早期終了メカニメントを採用している。軽量な終了ゲートが、単純な遷移では早期に終了するか、複雑な遷移では継続するかを決定する。これにより、モデルは困難なイベント（例：衝突）にはより多くの反復を、単純なダイナミクス（例：自由飛行）にはより少ない反復を割り当てることができ、テスト時の計算量を動的にスケールさせることが可能となる。

4. 遅延デコーディング (Deferred Decoding)

効率性と推論の質を向上させるため、著者らは遅延デコーディングを導入している。毎ステップで観測をデコードするのではなく、一連のアクションにわたって「デコードフリー」な潜在ロールアウトを行い、最終ステップでのみデコードを行う。これにより、潜在的な軌道が、ステップごとの視覚的詳細ではなく、時間的に拡張されたアクションに関連する構造を符号化することを促進する。学習には、デフェラル・ホライゾン $K$ を漸進的に増加させるカリキュラムが用いられる。

主な貢献

初のLoopWMアーキテクチャ: ワールドモデリングのために特別に設計された初のループ型トランスフォーマー・アーキテクチャを導入し、反復的な潜在深度を、モデルサイズやデータ量とは直交する新しいスケーリング軸として確立した。
スペクトル安定性: 任意のロールアウト長にわたって安定した潜在遷移を保証するための数学的に根拠のあるメカニズム（スペクトルノルム制約）を提供し、累積誤差の問題に対処した。
パラメータ効率: 深度に対してパラメータを再利用することで、従来の設計と比較して最大100倍のパラメータ効率を達成しつつ、競争力のある予測精度を維持している。
適応的深度: 適応的な計算が、計算の深さを遷移の複雑さに一致させることで、推論コストを大幅に削減できることを示した。
遅延デコーディング: 潜在ダイナミクスの推論と観測への接地（grounding）を分離する、新しい学習および推論戦略を提案し、デコーダの呼び出し回数を減らし、長期的なプランニングを改善した。

結果

論文では、claude-opus-4-6-max、qwen-3.5-flash、gemini-3.5-flash-previewを含む強力なベースラインと比較して、ScienceWorldおよびAlfWorldデータセット上でLoopWMを評価している。

ScienceWorld: 提案されたモデル（約1Bパラメータ）は、claude-opus-4-6-maxベースラインを大幅に上回る。特に、「Lifespan」タスクのスコアを0%から100%へと向上させた。平均して、Exact Match (EM) においてベースラインを**21.2%**上回り、F1およびBLEUメトリクスにおいても優れた性能を達成している。また、ほとんどの指標においてqwen-3.5-flashやgemini-3.5-flash-previewのような小型モデルをも凌駕している。
AlfWorld: このモデルは、その小さなパラメータ数にもかかわらず、比較されたモデルの中で最高のBLEUスコアを記録し、EMおよびToken F1において第2位となった。
遅延デコーディングの分析: 実験によれば、遅延デコーディングは、特にロールアウトホライゾンが増加するにつれて（例：ステップ5においてベースラインに対して顕著な利点を示す）、実質的な相対的改善をもたらすことが示されている。

意義と主張

本論文は、反復的な潜在深度を新たなスケーリング軸として導入することにより、シミュレーションの忠実度と計算コストの間の緊張関係を解決できると主張している。

効率性: この手法は、高品質なワールドシミュレーションには膨大なパラメータ数が必要ではなく、共有パラメータを用いた反復的な洗練が極限の効率化への道であることを示している。
安定性: スペクトル制約は、標準的な自己回帰型ワールドモデルには欠けている、安定性に関する形式的な保証を提供し、より長く信頼性の高いロールアウトを可能にする。
適応性: 適応的な深度メカニズムは、計算量を環境の物理的複雑さに適合させるものであり、固定深度モデルよりも自然なシミュレーションへのアプローチを提供する。

著者らは、LoopWMをRSSMベースのモデル、自己回帰的なビデオトークンモデル、および拡散ベースのモデルとは異なる、ワールドモデルの風景における明確な地点として位置づけている。彼らは、この研究が、より有能で、効率的で、かつ長期にわたって安定したワールドモデルを構築するための新しい方向性を切り開くものであると考えている。論文は、これがコアとなるアーキテクチャ上のテーゼを確立した一方で、より広範なファミリー間のポジショニングや、より豊かなスケーリング分析は今後の開示事項として残されていることを認めている。