🤖 machine learning

Inverting the Bellman Equation: From $Q$ -Values to World Models

本論文は、多様な報酬関数を用いて訓練された価値ベースのエージェントが、独自のワールドモデルを暗黙的にエンコードしており、それが $P$ -learningと呼ばれる新しい手法によって明示的に抽出可能であり、それによって分布外のタスクに対して強力な汎化性能を達成できることを証明することで、モデルベース強化学習とモデルフリー強化学習の間の伝統的な分離に異議を唱えるものである。

原著者： Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに迷路の進み方を教えていると想像してみてください。伝統的には、2つの方法がありました。

地図作成者（モデルベース）: あなたはロボットに白紙の紙を渡し、迷路のどこに壁があり、どのドアがどこに通じているのか、正確な地図を描くように求めます。
筋肉の記憶学習者（モデルフリー）: あなたは地図を求めません。ただロボットに、「ここで左に行けばクッキーがもらえる。右に行けば電気ショックだ」と教えるだけです。ロボットは、特定の状況における「良い動き」のリストを学習しますが、必ずしも「なぜ」その動きが有効なのか、あるいは迷路がどのように構成されているのかまでは理解していません。

長い間、科学者たちはこれら2つのアプローチは完全に別物であると考えてきました。モデルフリーの学習者は、報酬を得るための方法を知っているだけで、自分が生きている世界のルール自体は理解していないと考えていたのです。

大発見
この論文はこう述べています：実は、筋肉の記憶学習者は地図を知っています。ただ、それを隠しているだけなのです。

著者らは、もしロボットに多種多様な目標（単に「出口へ行け」だけでなく、「赤い点へ行け」「青い点へ行け」「角へ行け」など）を与えて訓練すれば、ロボットの内部的な脳（その「Q値」）には、世界全体の完璧で正確な地図が密かにエンコードされることを発見しました。たとえ、明示的に地図を描くよう求められていなくても、ロボットはあらゆる行動がどこへ通じるのかを正確に把握しているのです。

魔法の手法：「P学習」
この論文は、P学習（確率学習、または世界モデル学習）という新しい手法を紹介しています。これは、リバースエンジニアリング（逆解析）ツールのようなものです。

標準的な学習（Q学習）: 地図（世界）があり、そこから最善の動き（Q値）を導き出そうとします。
P学習: 最善の動き（Q値）があり、そこから地図（世界）を導き出そうとします。

著者らは、すでに多くの異なるタスクを解けるようになったロボットを取り上げ、その内部にある「やるべきことリスト（値）」を読み取り、数学的に方程式を「反転」させることで、その背後に隠されていた地図を引き出すことができると示しています。それは、シェフが作った完璧な料理を見て、たとえレシピが書かれていなくても、その料理に使われた正確なレシピと材料を推測できるようなものです。

「一つの目標」対「多くの目標」の謎
この論文は、また、ある難問にも答えています。「ロボットは完全な地図を学習するために、どれほど多くの異なる目標を見る必要があるのか？」という問いです。

単純で予測可能な世界（決定論的）の場合: ロボットは、世界全体の地図を解明するために、たった一つの目標を見るだけで十分です。これは、パズルのピースが合う場所が一つしかない場合のようなものです。一度絵が見えれば、すべてのピースがどこに収まるか分かります。
混沌として予測不可能な世界（確率論的）の場合: ロボットが地図を確信するためには、多くの異なる目標（およそ迷路の部屋の数と同じくらい）を見る必要があります。これは、サイコロが振られるゲームのルールを学ぶようなもので、確率を理解するには多くの異なる結果を見る必要があるのです。

驚き：隠された超能力
実験の中で最も驚くべき部分は、この「引き出された地図」を使って、ロボットが一度も経験したことのない新しい問題を解かせた時に起こりました。

ある実験では、ロボットアームに対して、特定の「位置」（例：「赤い点に触れる」）に到達することだけを学習させました。その後、P学習を用いて、そのロボットの隠された地図を抽出しました。そして、そのロボットに、学習時には一度も教わらなかった目標である「特定の速度」に到達するように命じたところ、ロボットは成功したのです！

これは、ロボットが「位置」という目標にのみ注意を向けて訓練されていたにもかかわらず、アームの基礎的な物理学（関節の動きがどのように速度を生むか）を学習していたことを示唆しています。それはまるで、「車線を維持して」と教えられたドライバーが、実は車のエンジンやステアリングの仕組みを密かに理解していたために、突然レースコースでも完璧に運転できるようになった、というようなものです。

まとめ

古い考え: モデルフリーのエージェント（報酬だけを学習するもの）は世界を知らず、ただ何をすべきかを知っているだけである。
新しい考え: 十分に多くの異なる目標で訓練すれば、彼らは頭の中に世界の完璧なモデルを密かに構築する。
ツール: P学習は、そのエージェントから隠されたモデルを「読み取る」ための方法である。
結果: この隠されたモデルは非常に正確であり、エージェントが訓練を受けていない全く新しい奇妙な問題をも解決することを可能にする。これは、「モデルフリー」と「モデルベース」の学習が、実はコインの表裏の関係であることを証明している。

技術要約：ベルマン方程式の逆転：Q値から世界モデルへ

問題提起

強化学習（RL）は、伝統的にモデルフリーとモデルベースのパラダイムに分けられる。モデルフリーのエージェントは、環境のダイナミクス（遷移カーネル $P$ ）を明示的に学習することなく、特定の方策と報酬関数に紐付いた価値関数（ $Q$ ）を推定する。この領域における根本的な理論的障害は、**価値等価性の問題（value equivalence problem）**である。すなわち、異なる世界モデルが同一の価値関数と最適方策をもたらし得ることは、モデルフリーのエージェントが、自身が置かれている環境を一意に符号化しているわけではないことを示唆している。

エージェントは**ゴール条件付き強化学習（GCRL）**を通じて多様な目標に対して訓練されているが、学習された一連の価値関数が、暗黙的に一意かつ正確な世界モデルを符号化しているかどうかは依然として不明である。本論文はこの核心的な問いに取り組む：モデルフリーのエージェントは、どのような場合に環境の正確なモデルを暗黙的に符号化するのか？

手法：P-learning

著者らは、訓練されたエージェントから暗黙的な世界モデルを抽出するために設計された、Q学習の逆のアナログであるP-learningを導入する。

概念: Q学習は、固定された環境 $P$ に対してベルマン方程式 $T^\star(Q) = Q$ を満たすように価値関数 $Q$ を反復的に更新するが、P-learningは、価値関数 $Q$ （および関連する方策 $\pi$ と報酬 $r$ ）を固定されたものとして扱う。そして、ベルマン残差を最小化するように候補となる世界モデル $P_\phi$ を更新する：
$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$
ここで、 $T^\pi_\phi$ は世界モデル $P_\phi$ によってパラメータ化されたベルマン作用素である。
メカニズム: P-learningは、エージェントの $Q$ 値、方策、および報酬からサンプリングを行い、内部モデルをデコードする。テーブル設定において、著者らは、P-learningが報酬と価値関数から導出される行列 $M$ のムーア・ペンローズ擬似逆行列を含む解に収束することを証明している。具体的には、 $M$ がフルランクであれば、抽出されたモデルは一意であり、 $P_\infty = M^+ Q$ で与えられる。
微分可能性: 連続または決定論的な設定では、この手法は勾配ベースの最適化（または再パラメータ化トリック）を利用して世界モデルのパラメータを更新し、事実上、ベルマン方程式を「逆転」させる。

主要な理論的貢献

本論文は、ゴール条件付きQ値 $(Q_g, \pi_g, r_g)_{g \in G}$ から遷移カーネル $P$ が一意に識別可能となり、価値等価性を打破するための十分条件を確立している。

有限MDP:
- 決定論的: 単一の汎用的なゴールがあれば、 $P$ を一意に特定するのに十分である（定理2）。行列 $M$ が列単射である限り、ほとんどすべての報酬関数において一意性が保持される。
- 確率論的: $P$ を一意に識別するためには、ゴールが状態空間をスパン（生成）する必要がある（すなわち、報酬行列のランクが状態数に等しい必要がある）（定理3）。これは、汎用的な報酬関数または方策において成立する。
- 近似: 著者らは、Q値が $\epsilon$ -近似である場合、抽出されたモデルの誤差が $\epsilon$ に対して線形にスケールすることを示すタイトな誤差境界を提供している。
連続MDP:
- 決定論的: 特定の条件下（例：終了条件を持つガウス報酬）では、有限の数のゴールで十分であり得る。インジケーター報酬の場合、特定の半径で状態空間をカバーするゴール集合が必要となる（定理4）。
- 確率論的: 識別性は、ゴール集合の数ではなく、その**カバレッジ（被覆）**によって駆動される。ガウス報酬の場合、空でない内部を持つゴール集合で十分であるが、インジケーター報酬の場合、集合は報酬半径によって拡張された状態空間をカバーしていなければならない（定理6および7）。
ローカルMDP: 本論文は、 $N$ -ローカルMDP（遷移が近傍に制限されているもの）への結果の拡張を行い、遷移カーネルのサポートが既知であれば、より少ないゴールで済むことを示している。

実験結果

著者らは、いくつかの環境を用いて理論と手法を検証し、理論的な保証（例：無限のゴール数）が満たされていない場合でも、P-learningが非常に正確な世界モデルを抽出できることを実証した。

FourRooms (有限MDP):
- 決定論的: $|G|=1$ で $P$ を正確に復元。
- Windy (ローカル確率論的): $|G|=4$ で準完全な復元を実現。
- Teleporting (完全確率論的): $|G|=20$ で準最適なプランニングを実現。これは理論的な最悪ケースの境界である $|S|=68$ よりも大幅に少ない。
Reacher (連続、決定論的):
- 位置ベースのゴール $|G|=4$ のみで訓練された際、抽出された世界モデルは、不完全なQ値にもかかわらず高い忠実度（NMSE $1.2 \times 10^{-4}$ ）を達成した。
- ゼロショット汎化: 抽出された暗黙的な世界モデル内でのみ訓練された方策は、訓練中に一度も遭遇していない**分布外（OOD）**のゴール（例：特定の角速度や関節構成への到達）に対しても、最適に近い性能を達成した。これは、エージェントが報酬を与えられていない変数（速度、角度など）のダイナミクスを符号化していたことを示唆している。
MountainCar (連続、決定論的):
- 位置ベースのゴールで訓練されたエージェントと、速度ベースのゴールで訓練されたエージェントは、ほぼ同一の暗黙的な世界モデルに収束した。
- これらのモデル内でのプランニングにより、訓練されていない変数（例：位置で訓練されたエージェントによる速度ベースの目標の解決）を含むタスクへのゼロショット転移が可能となった。

意義と主張

本論文は、ゴール条件付きRLが、モデルフリーとモデルベースの間のギャップを埋める、暗黙的なハイブリッド手法として機能すると主張している。

暗黙的な世界モデル: 十分に豊かな目標セットで訓練されたモデルフリーのエージェントは、決定論的および確率的な環境においても、一意かつ正確な世界モデルを暗黙的に符号化する。
隠れた汎化能力: これらの暗黙的なモデルは「隠れた汎化能力」を備えており、訓練された報酬とは直交する変数（例：位置報酬から速度ダイナミクスを学習する）に関するタスクを解決することを可能にする。
パフォーマンスの相関: エージェントの性能と、その内部化された世界モデルの正確さの間には強い相関（ $\rho = 0.98$ ）があり、高性能なGCRLエージェントは自然に、より優れた世界表現を発達させることを示唆している。
P-learningの有用性: 提案されたP-learningアルゴリズムは、これらの内部モデルを抽出するための実用的なツールを提供し、追加の環境相互作用なしに、モデルフリーのエージェントを新しいタスクへと再利用することを可能にする。

著者らは、P-learningは明示的なモデルベースRLの代替物ではないものの、根本的なつながりを明らかにしていると結論づけている。すなわち、多様で報酬豊かな訓練を行うことで、モデルフリーのエージェントは環境のダイナミクスについて「すべてを学ぶ」ことができ、価値関数の中に世界モデルを効果的に符号化するのである。