From Optimal Actions to World Models: Identifiability of Transition Kernels in Discounted MDPs

ロボットに迷路の進み方を教える場面を想像してみてください。あなたは地図を見せる代わりに、異なる目標を与えたときにロボットが何をするかをただ観察します。例えば、「チーズを見つけろ」と言えば、ロボットは左へ走ります。次に「バッテリーを見つけろ」と言えば、右へ走ります。これは、エージェントが「報酬」を最大化するために試行錯誤を通じて学習する人工知能の一分野、強化学習の世界です。

この世界では、エージェントが知っておくべきことが主に2つあります。それは「何をすべきか」（戦略）と「次に何が起こるか」（世界の物理法則）です。「何をすべきか」の部分は簡単に見えます。ロボットの選択を観察すればよいからです。しかし、「次に何が起こるか」の部分は遷移モデル（transition model）であり、これは「ここでボタンを押すと、70%の確率で穴に落ち、30%の確率で宝箱を見つける」といった確率的な秘密の地図です。通常、あらゆる可能な目標に対してロボットの完璧な戦略を知っていれば、その秘密の地図を逆エンジニアリングできると仮定されます。しかし、もしロボットが仕事に熱心すぎて、その地図を私たちから隠してしまったらどうなるでしょうか？ もし、全く異なる2つの地図が、全く同じ一連の完璧な選択肢を生み出すとしたら？ この論文は、トリッキーな問いを投げかけます。「勝者の動きを観察するだけで、ゲームの真のルールを知ることはできるのだろうか？」

---

大いなる地図の謎

あなたがビデオゲームの仕組みを解明しようとしている探偵だと想像してください。ただし、コードを見ることはできません。あなたは、スピードランナー（攻略の達人）がゲームを完璧にプレイする様子を観察することしかできません。スピードランナーは、最高スコアを得るためにどの瞬間にどのボタンを押すべきかを正確に知っています。

この論文はこう問いかけます。もし、あらゆる報酬シナリオ（コインを見つける、溶岩を避ける、鍵を集めるなど）に対して、このスピードランナーがプレイする様子を観察したとしたら、ゲームの物理法則を特定できるでしょうか？ 「ジャンプ」を押すとキャラクターが5フィート上に跳ぶのか、それとも10フィート上に跳ぶのか、確信を持って言えるでしょうか？

この研究による答えは、驚くべきことに**「いいえ、必ずしもそうとは限りません」**です。

著者であるニール・バトラ（Neal Batra）は、あらゆる報酬シナリオに対して全く同じ完璧な動きを生み出す、2つの完全に異なるゲームエンジン（世界の仕組みを示す「遷移カーネル」）が存在し得ることを証明しています。それは、たとえ壁や罠の配置が異なっていても、出口への経路が全く同じに見える2つの異なる迷路を持っているようなものです。

3つの手がかり

論文では、ロボットに報酬を与える3つの異なる方法をテストしており、それぞれの手がかりが異なる量の真実を明らかにします。

1. 「アクション」の手がかり（状態－行動報酬）
これは最も一般的なシナリオです。「もしキッチンにいてスプーンを手に取ったら、10ポイントを与える」と伝えます。
論文によれば、あらゆる部屋のあらゆるスプーン、フォーク、ナイフに対してロボットの完璧な選択を知ったとしても、依然として正確な地図を特定することはできません。そこには、見た目は同じでも中身が異なる、一連の異なる地図が存在します。

• 手品のような仕組み: 著者は、これらの異なる地図が数学的な「魔法のレンズ」（Lと呼ばれる行列）によって結びついていることを示しています。このレンズを通して世界を見ると、確率は変化しますが、ロボットの最善の選択は全く変わりません。
• 謎の規模: ロボットがいる場所が $n$ 個ある場合、隠された地図には膨大な、滑らかな一族が存在します。具体的には、$n(n-1)$ 個の自由度を持つ一族です。これは、ドアの位置さえ変えなければ、部屋の壁を塗る方法は無限にあると言うようなものです。ロボットの選択肢（アクション）が増えるほど、真実を隠すことは難しくなりますが、それでも隠すことは可能です。

2. 「次の一歩」の手がかり（遷移依存報酬）
次に、ロボットが「どこに到達したか」に基づいて報酬を与えることを想像してください。「ボタンを押して赤いタイルに着地したら、100ポイントを与える」といった具合です。
これは非常に強力な手がかりです。目的地を直接報酬として設定できるため、ゲームの物理法則をより厳格にテストすることができます。

• 結果: ロボットが部屋の中で少なくとも2つの選択肢を持っている場合、通常は正確な地図を特定できます。特定できないのは、ロボットが1つの移動手段しか持たない部屋にいる場合だけです。その場合、ロボットには選択肢がないため、物理法則が異なっているかどうかをテストできません。しかし、選択肢が存在する限り、「次の一歩」の手がかりは、ゲームが非常に特殊で稀な形で仕組まれていない限り、真の地図を明らかにします。

3. 「状態」の手がかり（状態報酬）
最後に、何をしようとも「もしキッチンにいたら、10ポイントを与える」としか言えない状況を想像してください。これは、どのボタンを押すべきかについては言及せず、「キッチンにいるなら幸せになれ」と言うようなものです。
これは最も弱い手がかりです。これは最も多くの情報を失わせます。全く異なる地図であっても、これらのルール下では同一のものとして見えてしまいます。論文は、これらの単純な報酬に基づくロボットの選択を知るだけでは、多くの異なる世界を区別するには不十分であることを証明しています。

真実の階層

論文は、これらの発見を明確な知識の梯子（はしご）として整理しています。

1. 遷移報酬（目的地に報酬を与える）が最も強力です。これらは通常、正確な地図を明らかにできます。
2. アクション報酬（選択肢に報酬を与える）は中間です。これらはアクション同士の比較を教えてくれますが、「霧」のような多くの可能性のある地図を残します。
3. 状態報酬（場所に報酬を与える）は最も弱いです。これらは最も多くの霧を残し、多くの異なる地図を同じものに見せてしまいます。

なぜこれが重要なのか

「ロボットが正しい動きをしているなら、なぜ地図が気になるのか？」と思うかもしれません。

論文は、単に勝つこと以外にも「地図」が重要であると主張しています。次に何が起こるかを予測したり、災害をシミュレーションしたり、あるいは「もし別のことをしていたらどうなっていたか？」（反事実的検証）と問うためには、現在のゲームに都合の良い地図ではなく、真の地図が必要だからです。

この研究は、**「最善の動きを知っていることが、世界のルールを知っていることを保証するわけではない」**ということを証明しています。あなたは、まるで天才のように振る舞う完璧なエージェントを目の当たりにしながら、そのエージェントの内部的な現実理解が完全に間違っている、という状況に陥る可能性があるのです。これは、AIの世界において、「正しいことを行うこと」が、必ずしも「なぜそれが正しいのか」、あるいは「その下に隠れた現実が実際にはどのような姿をしているのか」を理解していることを意味しないという教訓です。

著者は単に推測しているのではなく、数学的な証明を提供しています。彼らは、ロボットを欺く「偽の」地図をどのように構築するかを示し、それらの偽の地図がどれほど存在するかを正確に計算しています。これは、確固たる証明された事実です。宝への道は同じかもしれませんが、足の下にある地形は、どのようなものであってもあり得るのです。