Calculating Mutual Information between a Reward Maximizer and its Environment

完璧なプレイヤーたちの秘密の言語

あなたは、あるチェスの達人の試合を観ていると想像してください。あなたはその盤面のルールも、駒がどこから始まったのかも、そして対戦相手がランダムに動いているのか、あるいは壮大な計画に基づいて動いているのかも知りません。しかし、達人が次々と手を指していくうちに、あなたはある深い事実に気づき始めます。彼らの完璧な戦略には、ゲームの隠された地図が必ず含まれているはずだ、ということです。もし彼らがどの手が勝利をもたらすかを正確に知っているなら、駒の動き方や盤面の構成について何かを知っているはずです。これは人工知能（AI）の世界における大きな問いの核心です。賢いエージェントが優れた仕事をするためには、自分が生きている世界を「理解」する必要があるのでしょうか？ それとも、単に成功へとたどり着くための推測だけで十分なのでしょうか？

この問いに答えるために、科学者たちは**相互情報量（Mutual Information）**という概念を用います。これは、二つの事柄が互いにどれほど多くのことを「語っているか」を測る尺度だと考えてください。例えば、天気がわかれば、人々が傘を持っているかどうかを多く推測できます。この二つは相互情報量が高いと言えます。一方で、誰かの靴のサイズを知ったところで、その人が朝食に何を食べたかについてはほとんど何も分かりません。この場合、相互情報量は低くなります。AIの研究において、研究者たちは知りたいのです。もしAIが完璧な振る舞いを見せているとしたら、その振る舞いはその世界の隠されたルールについて、どれほどの情報を明らかにしているのでしょうか？ AIは脳内に巨大で詳細な「世界モデル」を抱えていなければならないのでしょうか、それとも、小さくて曖昧なヒントだけで十分なのでしょうか？ 本論文は、AIの完璧な戦略を、一度開ければ中の世界の正確なデータが一定量現れる「鍵のかかった箱」として扱い、この問いを掘り下げます。

論文の大きな発見：完璧な地図

この新しい研究において、Dovetail Researchとサンパウロ大学の研究チームは、「リバースエンジニアリング（逆解析）」のゲームを行うことにしました。彼らはシンプルかつトリッキーな問いを投げかけました。「もし、AIエージェントが『完璧な報酬最大化エージェント』（つまり、常に最高のスコアを獲得するもの）として行動しているのを見たとしたら、その完璧な振る舞いの中に、環境に関するどれほどの情報が隠されているのか？」という問いです。

これを解明するために、彼らは巨大な多目的迷路のような世界を想定しました。この迷路には、$n$ 個の異なる部屋（状態）があり、各部屋でエージェントが選べるドア（行動）は $m$ 個あります。ひねりはここにあります。研究者たちは「最大限の無知」の状態からスタートしました。どのドアがどこへ通じているのかは分かりません。すべてのドアの接続パターンは、カードのデッキのシャッフルと同じように、あらゆる可能性が等しくあり得ると考えました。

次に、彼らはAIを観察しました。AIが特定の決定論的な計画を見出したことを確認しました。「もし部屋1にいたら、ドアAを開ける。もし部屋2にいたら、ドアBを開ける」といった具合です。決定的なのは、この計画こそが、特定の目標（例：金貨を最も多く集めること）に対して最高スコアを得るための唯一の方法であったという点です。

研究チームは、驚くべき数学的事実を証明しました。あなたが「この特定の計画こそが完璧である」と学んだ瞬間、迷路に関する情報を正確に $n \log m$ ビットだけ即座に学習することになるのです。

この意味を、遊び心のある比喩で分解してみましょう。迷路を、$n$ 個の棚がある巨大な図書館だと想像してください。各棚には、取り出すことができる $m$ 種類の異なる本があります。「完璧な計画」とは、すべての棚から最高の物語を見つけ出すために、どの本を手に取るべきかを正確に知っている司書のようなものです。研究者たちは、司書の完璧な選択リストが「鍵」として機能することを示しました。それは単に一つのことを教えてくれるだけでなく、図書館の接続関係についての情報を、特定の情報量へと絞り込むのに十分な量まで教えてくれるのです。

$n \log m$ という数字は、その秘密の「サイズ」です。

• $n$ は、存在し得る場所の数です。
• $m$ は、それぞれの場所における選択肢の数です。
• $\log m$ は、$m$ 個の選択肢から一つを選ぶために必要な情報量です。

したがって、もし3つの部屋があり、各部屋に2つのドアがあるなら、完璧な戦略には $3 \times \log(2)$ ビットの情報が含まれます。もし100の部屋があり、それぞれに10のドアがあるなら、戦略には $100 \times \log(10)$ ビットが含まれます。論文は、この数字がほとんどのケースにおいて正確であり、ポリシーに含まれる情報の正確な下限値であることを証明しています。

なぜこれが重要なのか（そして何を否定するのか）

この発見は、完璧なエージェントがどれほどの「世界知識」を持っていなければならないかについて、厳格な下限値を設定したという点で非常に重要です。これは、完璧な報酬最大化エージェントであるためには、自分の世界がどのように機能しているかについて、暗黙的に特定の量の情報を知っていなければならないことを示唆しています。

また、本論文は「言わないこと」についても非常に慎重です。AIが頭の中に人間のような巨大な3Dモデルを持っていると主張しているわけではありません。AIが画像で「考えている」とも言っていません。そうではなく、AIの振る舞いが、世界モデルと同じ量の情報を「含んでいる」と言っているのです。その情報は、複雑なニューラルネットワークに格納されていようと、単純なルックアップテーブルにあろうと、あるいは魔法のブラックボックスであろうと、そこに存在します。論文は、情報の「内容」が、AIがどのように構築されているかにかかわらず、$n \log m$ ビットに固定されていることを証明しています。

研究者たちは、このアイデアを異なるタイプの「ゲーム」でもテストしました。彼らは以下のケースを調査しました。

1. 短いゲーム： エージェントが決まったステップ数の中で最高のスコアを目指す場合。
2. 長いゲーム： エージェントが永遠にプレイするが、即時報酬を重視する場合（割引報酬）。
3. エンドレスなゲーム： エージェントが永遠にプレイし、時間の経過に伴う平均スコアを重視する場合。

これらすべてのケースにおいて、数学的整合性は保たれました。目標が（エージェントの所在に基づいたものであり、奇妙でランダムなルールに基づいたものでない限り）、完璧な戦略は常に、環境の秘密である正確に $n \log m$ ビットを明らかにします。ただし、数学的に無視できるほど微小な例外的なエッジケースを除きます。

「等ボリューム」の秘密

どのようにして彼らはこれを証明したのでしょうか？ 彼らは巧妙な幾何学的なトリックを用いました。あらゆる可能な迷路の空間を、巨大な多次元の塊（ブロブ）だと想像してください。研究者たちは、どの戦略が最適であるかに基づいてこの塊を切り分けると、すべての戦略がこの塊の全く同じサイズの断片を受け取ることを見出しました。

これは、巨大なピザを $m^n$ 個のスライスに切り分けるようなものです（$n$ 個の部屋に対してそれぞれ $m$ 個の選択肢があるため）。ランダムにピザを選んだとき、どの特定のピースも、他のどのピースも、それが「最高」のピースである確率は等しくなります。すべてのスライスが同じサイズであるため、どのスライスにいるかを知ること（＝完璧な戦略を観察すること）によって、不確実性は正確な量、すなわちスライスの数の対数分だけ減少します。この計算が、直接的に $n \log m$ という結果へと導きます。

論文は厳密です。彼らは、ほぼすべての可能な迷路（複数の戦略が完璧にタイ（同点）になる、数学的に無視できるほど微小な特殊なケースを除外して）において、正確に一つの完璧な戦略が存在することを証明しました。そして、「最善」の戦略は、起こり得るすべての戦略の中で等しく選ばれる確率を持つため、情報獲得量は一定であり、計算可能なものとなります。

次なるステップ

著者たちは、自らの研究の限界についても正直です。彼らが対象としたのは、現在の場所に基いて一つの決定を下すエージェント（決定論的、かつメモリレスなポリシー）のみです。コイン投げのようにランダムに決定を下すエージェントや、過去の履歴を記憶するエージェントについては検討していません。また、部屋全体が見えていない（部分観測環境）エージェントについても見ていません。

しかし、彼らが研究した特定のタイプの、明確な視界を持つ完璧なエージェントについては、答えは明白です。完璧であるためには、世界の秘密である正確に $n \log m$ ビットを携えていなければならないのです。 これは、優れたパフォーマンスは単なる運ではなく、隠された地図の反映であり、私たちは今やその地図がどれほどの大きさであるかを正確に測定できるようになった、という精密な数学的証明なのです。