🤖 AI

Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

本論文は、ゼロショット強化学習における複雑な表現学習の目的関数の必要性を問い直し、単純な正則化を加えることで潜在空間の次状態予測を強化する「正則化潜在ダイナミクス予測（RLDP）」を提案し、これが最先端の複雑な手法と同等かそれ以上の性能を発揮し、かつデータカバレッジが低い状況でも有効であることを示しています。

原著者： Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

公開日 2026-03-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「ロボットや AI が、新しい仕事を教わらずに、見たこともないタスクを即座にこなせるようになるにはどうすればいいか？」**という問いに答える研究です。

タイトルにある「行動の基盤モデル（Behavioral Foundation Model）」とは、まるで**「万能な職人」**のようなものです。この職人は、事前に「どんな仕事でもこなせるように」大量の練習（データ）を積んでおき、後から「今日は皿洗いをして」とか「明日は窓拭きをして」と言われれば、その瞬間に最適な動きができるようになります。

しかし、これまでのこの「万能職人」を作る方法は、**「非常に複雑で高価な道具」を使っていたり、「練習用のデータが偏っている（低カバレッジ）」**と失敗しやすいという問題がありました。

この論文は、**「もっとシンプルで、安くて、失敗しにくい方法」を見つけました。その名も「RLDP（正則化された潜在ダイナミクス予測）」**です。

以下に、この研究の核心を日常の比喩を使って解説します。

1. 従来の方法：「未来の地図」を複雑に描こうとして失敗する

これまでの「万能職人」を作る方法は、**「未来の地図（Successor Measures）」**を正確に描くことにこだわっていました。
「もしここで左に曲がったら、10 歩先でどうなるか？」「右に曲がったらどうなるか？」を、あらゆる可能性についてシミュレーションして地図を作ろうとするのです。

問題点：
- 計算が重すぎる： 未来を正確に予測しようとすると、複雑な計算（ベルマンバックアップ）が必要で、AI が混乱しやすくなります。
- 偏ったデータに弱い： 練習データに「左に曲がる」しか含まれていない場合、AI は「右に曲がったらどうなるか」を推測しようとして、**「右に曲がったら壁に激突して消滅する！」**という間違った地図を描いてしまいます。これを「分布外（Out-of-Distribution）」の問題と呼びます。

2. 新しい方法（RLDP）：「未来の動き」をシンプルに真似する

この論文が提案するのは、複雑な地図を描くのをやめて、**「今の動きから、次の瞬間はどう動くか？」**をシンプルに予測するアプローチです。

比喩：ダンスの練習
- 従来の方法：「このステップを踏んだら、10 秒後の自分の位置と周りの景色をすべて計算して、完璧な未来図を描こう」とする。
- 新しい方法（RLDP）：「今のポーズから、次のポーズはどうなるか？」を、**「リズムに合わせて次の動きを真似する」**だけで学習する。

これなら、複雑な計算がいらず、データが偏っていても「次の動き」を予測するだけなので、AI が混乱しにくくなります。

3. 最大の発見：「同じ顔」になってしまう問題と、その解決策

しかし、研究者たちは「ただ次の動きを予測するだけ」だと、ある**「落とし穴」**があることに気づきました。

落とし穴：「顔の崩壊（Feature Collapse）」
- AI が「次の動きを予測する」ことに集中しすぎると、**「どんな状態でも、次の動きは同じだ！」**と誤って学習してしまいます。
- 比喩： 就像一个学生が「テストの点数を上げる」という目的だけのために勉強すると、**「全ての教科を『数学』だと勘違いして、すべて同じ答えを書くようになる」**ようなものです。
- これでは、AI は「皿洗い」と「窓拭き」の違いがわからなくなり、万能職人としての能力を失ってしまいます。
解決策：「多様性のルール（直交正則化）」
- そこで、研究者たちは**「多様性を保つためのルール」**を追加しました。
- 比喩： 先生が「数学だけでなく、国語、理科、音楽など、すべて異なる分野の答えを出すように」と厳しく指導するルールです。
- これにより、AI は「今の状態」と「次の状態」が似すぎないように学習し、**「多様なタスクに対応できる、鮮明な特徴」**を身につけることができました。

4. なぜこれがすごいのか？

この新しい方法（RLDP）には、3 つの大きなメリットがあります。

シンプルで強力： 複雑な「未来地図」を描く必要がなく、シンプルに「次の動き」を予測するだけで、既存の最高峰の方法と同等、あるいはそれ以上の性能を出しました。
少ないデータでも成功： 練習データが偏っている（低カバレッジ）場合でも、従来の複雑な方法は失敗しますが、この方法は**「偏ったデータからでも、正しい動きを学べる」**という強さを持っています。
高次元なロボットでも使える： 人間のような複雑な動きをするロボット（ヒューマノイド）でも、このシンプルさが活きており、安定して学習できました。

まとめ

この論文は、**「AI に万能な能力を持たせたいなら、複雑な未来予測をする必要はない。シンプルに『次の動き』を予測し、多様性を保つルールを少し加えるだけで、もっと強く、賢い職人（AI）が作れる」**と教えてくれています。

まるで、**「難しい地図帳を暗記する代わりに、リズム感を養ってダンスを覚える」**ような、シンプルで効果的なアプローチが、AI の未来を変える可能性を秘めているのです。

論文「REGULARIZED LATENT DYNAMICS PREDICTION IS A STRONG BASELINE FOR BEHAVIORAL FOUNDATION MODELS」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究であり、行動基盤モデル（Behavioral Foundation Models: BFMs） におけるゼロショット強化学習（Zero-shot RL）のための状態表現学習手法として、正則化された潜在ダイナミクス予測（Regularized Latent Dynamics Prediction: RLDP） を提案しています。

複雑な目的関数やベルマンバックアップを必要としない、シンプルかつ強力な代替手法として、低カバレッジのデータセットにおいても優れた性能を発揮することを示しています。

1. 問題設定と背景

行動基盤モデル（BFM）の課題

BFM は、事前学習フェーズで報酬なしの相互作用データから学習し、テスト時に追加の学習や計画なしに、未知の報酬関数に対する近最適方策を生成できるエージェントです。
BFM の性能は、状態表現 $\phi(s)$ の質に大きく依存します。

既存手法の限界: 従来の最先端手法（FB, PSM など）は、成功測度（Successor Measures）を予測するために、複雑な目的関数やベルマンバックアップ（Bellman backups）を反復的に適用する必要があります。
ベルマンバックップの問題: 離線データ（Offline Data）において、方策が分布外（Out-of-Distribution）のアクションを選択する場合、ベルマンバックアップは推定誤差を蓄積し、表現の崩壊（Feature Collapse）や不適切な一般化を引き起こすリスクがあります。
潜在的な問題: 単純な潜在ダイナミクス予測（Latent Dynamics Prediction）のみを目的関数にすると、学習が進むにつれて異なる状態の表現が類似し（特徴の崩壊）、表現の多様性（Span）が失われることが観察されました。これにより、多様な報酬関数に対応する能力が低下します。

研究の問い

「ゼロショット RL において、複雑な表現学習目的関数は本当に必要なのか？単純な潜在ダイナミクス予測に正則化を加えるだけで、高性能な表現は得られるのか？」

2. 提案手法：RLDP (Regularized Latent Dynamics Prediction)

RLDP は、状態表現 $\phi$ を学習するためのシンプルかつ効果的なアプローチです。

2.1 潜在ダイナミクス予測

現在の状態 $s$ とアクション $a$ から、未来の潜在状態 $\phi(s')$ を予測するタスクを行います。

エンコーダ: $\phi: S \to \mathbb{R}^d$
ダイナミクスモデル: $g: \mathbb{R}^d \times A \to \mathbb{R}^d$
予測式: $\phi(s') \approx g(\phi(s), a)^\top w$
損失関数 ( $L_d$ ): 予測された潜在状態と、ターゲットエンコーダ $\bar{\phi}$ による実際の潜在状態の MSE を最小化します。

2.2 直交正則化（Orthogonality Regularization）

単純なダイナミクス予測のみでは、すべての状態が類似したベクトルに収束する「特徴の崩壊」が起きることを発見しました。これを防ぐために、直交正則化を導入します。

目的: 学習された状態表現間のコサイン類似度を最小化し、表現空間における多様性を維持する。
手法: すべての状態表現 $\phi(s)$ を超球面上（Hypersphere）に射影し、任意の 2 点間の内積を最小化する正則化項 $L_r$ を追加します。
$L_r(\phi) = \mathbb{E}_{s, s' \sim \rho} [\phi(s)^\top \phi(s')]$
最終損失関数:
$L_{RLDP} = L_d(\phi, g, w) + \lambda L_r(\phi)$
ここで $\lambda$ は正則化の強さを制御する係数です。

2.3 理論的保証

著者は、この RLDP 目的関数を最小化することが、任意の方策に対する成功測度（Successor Measure）の予測誤差を上限付けすることを理論的に示しました（Lemma 4.3）。つまり、RLDP で学習された表現は、BFM の構築に必要な成功測度を予測するのに適していることが保証されます。

3. 主要な貢献

シンプルで強力な代替手法の提案:
複雑な成功測度推定やベルマンバックアップを不要とし、単に「潜在ダイナミクス予測＋直交正則化」だけで、BFM の状態表現を学習できることを示しました。
特徴の崩壊の特定と解決:
潜在ダイナミクス予測における「特徴の崩壊（Feature Collapse）」現象を特定し、直交正則化によってこれを効果的に抑制できることを実証しました。
低カバレッジ環境での頑健性:
既存手法が失敗する低カバレッジ（データが偏っている）な離線 RL 設定においても、RLDP は安定して高性能な方策を学習できることを示しました。これは、分布外アクションによるベルマンバックップの不安定性を回避できるためです。
広範な実験的評価:
連続制御タスク（DeepMind Control Suite）、高次元のヒューマノイド制御（SMPL Humanoid）、低カバレッジの D4RL ベンチマークなど、多様なドメインで既存の最先端手法（FB, PSM, HILP など）と同等かそれ以上の性能を達成しました。

4. 実験結果

4.1 オフラインゼロショット RL (DeepMind Control Suite)

設定: ExoRL データセット（RND による探索データ）を用いて事前学習。
結果: Walker, Quadruped, Cheetah, Pointmass などのタスクにおいて、RLDP は FB や PSM と同等か、多くのタスクでそれらを凌駕する性能を示しました（Table 1）。
特徴: 表現次元（512 次元）や学習ステップ数を揃えた条件下でも、RLDP は安定した高い性能を発揮しました。

4.2 オンラインゼロショット RL (SMPL Humanoid)

設定: 358 次元の状態空間と 69 次元のアクション空間を持つ複雑なヒューマノイド環境。
結果: 45 種類のタスクにおいて、RLDP は既存手法と競合する性能を示しました。特に「raisearms」や「lieonground」などのタスクでは、既存手法を上回る結果を記録しました（Figure 3, Table 8）。

4.3 低カバレッジデータセット (D4RL)

設定: OpenAI Gym の MuJoCo タスク（HalfCheetah, Hopper, Walker2D）の「medium」と「medium-expert」データセット（分布外アクションが多い）。
結果: RLDP は 6 タスク中 5 タスクでベースライン手法を上回る正規化されたリターンを達成しました（Figure 4, Table 9）。
意義: ベルマンバックアップを用いる手法（FB など）は低カバレッジ環境で性能が劣化しますが、RLDP は方策に依存しないダイナミクス予測を用いるため、この問題に頑健であることが確認されました。

4.4 消融実験 (Ablation Study)

直交正則化の重要性: $\lambda=0$ （正則化なし）の場合、平均リターンが低下し、状態表現のコサイン類似度が増加（崩壊）することが確認されました。 $\lambda > 0$ とすることで多様性が保たれ、性能が向上します（Figure 5, Figure 7）。
球面正規化（Spherical Normalization）: 潜在状態を球面上に射影する処理が、学習の安定性と性能向上に寄与することが示されました（Table 2, Table 5）。

5. 結論と意義

本論文は、行動基盤モデル（BFM）の学習において、「複雑な目的関数やベルマンバックップは必須ではない」 ことを示しました。

実用性: 高次元の観測空間や、データカバレッジが限られる現実的なロボット制御タスクにおいて、RLDP は計算コストが低く、実装が容易な強力なベースラインとなります。
将来展望: このシンプルで安定した手法は、実世界のロボットへの応用や、言語やビデオによるプロンプト入力との組み合わせなど、より広範な汎用 AI 開発の基盤技術として期待されます。

要約すれば、RLDP は「単純なダイナミクス予測に多様性維持の正則化を加える」だけで、既存の複雑な手法に匹敵するゼロショット RL 能力を実現する、実用的で強力なアプローチです。