What Capable Agents Must Know: Selection Theorems for Robust Decision-Making under Uncertainty

この論文は、不確実性下で低平均後悔を達成する能力あるエージェントは、確率的方策や部分観測性を扱える構造を持つ予測的内部状態（世界モデルや信念状態）を実装することが数学的に必要であることを示す選択定理を証明し、従来の最適制御の実現可能性から必要性への転換を図ったものである。

要約

不確実な世界で賢く生きるために、AI は「心」を持つ必要があるのか？

～「選択定理」で解き明かす、能力あるエージェントの秘密～

この論文は、**「人工知能（AI）が不確実な世界で賢く行動するためには、どのような『内なる構造』が必要なのか？」**という根本的な問いに答えています。

従来の研究は、「もし AI が完璧に最適化されれば、未来を予測する『心のモデル（世界モデル）』を持っていると便利だ」ということを示していました。しかし、「じゃあ、持っていないと絶対に失敗するのか？」という点は不明確でした。

この論文は、**「低く抑えられた失敗率（後悔）を達成するには、AI は強制的に『予測的な心』や『記憶』を備えなければならない」**という、数学的に証明された新しい法則（選択定理）を提示しています。

---

🎲 核心となるアイデア：「賭け」としての予測

この論文の面白いところは、複雑な予測問題を、まるで**「カジノでの賭け」**のように単純化して考え直している点です。

1. 賭けのシナリオ

Imagine してください。AI は未来の出来事について二択の賭けを迫られます。

• 左（L）に賭ける：「この先、ある事象は少ない回数しか起きない」と予想する。
• 右（R）に賭ける：「この先、ある事象は多い回数起きる」と予想する。

もし AI が「左」に賭けたのに、実際には「右」のことが多く起きたら、それは**「間違った賭け」**をしてしまい、失敗（後悔）になります。

2. 賢い AI の条件

論文はこう言っています。

「もし AI が、多くの賭けで**『平均して』ほとんど失敗しない（低後悔）ように振る舞いたいなら、『勝てる確率』を正確に計算できる仕組み**を体内に持たなければならない」

つまり、単に運良く勝つだけではダメで、「なぜ勝てるのか」を計算できる予測モデルが、AI の内部構造として必須になるのです。

---

🔍 2 つの重要な発見

この「賭け」の考え方を使うと、2 つの重要なことがわかります。

① 全部が見えている場合（完全観測）

• 状況: AI は世界のすべての状態（サイコロの目や、相手の手など）を正確に見ている。
• 結論: 失敗しないためには、AI は**「もし私がこう行動したら、世界はどう変わるか？」**という因果関係（介入モデル）を、おおよそ正確に頭の中でシミュレートしている必要があります。
• アナロジー: 将棋の棋士が、指し手を考えるときに「もしここを指せば、相手はこう動くだろう」という未来の盤面をイメージしているのと同じです。これを「世界モデル」と呼びます。

② 一部しか見えない場合（部分観測）

• 状況: AI は世界の一部しか見えていません（例：霧の中を歩いている、相手の手元が見えない）。
• 結論: この場合、AI は**「記憶」と「信念（Belief）」**を持たなければなりません。
  • 過去の情報を覚えておき、「今、見えていないけど、おそらく私はこういう状態にいるはずだ」と推測する力です。
  • もし、過去が全く違うのに「同じ状態だ」と勘違いして（これを**「エイリアシング（混同）」**と呼びます）、同じ行動を取れば、必ず失敗します。
• アナロジー: 暗闇で歩いているとき、足元の石の位置を覚えていないと、同じ場所を何度も踏んで転びます。賢い AI は「暗闇でも、過去の足跡を覚えて、今の自分の位置を推測する地図（記憶）」を心の中に作らなければなりません。

---

🧩 さらなる発見：タスクの形が「心」の形を決める

この論文は、さらに面白いことを発見しました。AI が挑戦する**「タスクの種類」**によって、AI の心の構造も変わってくるというのです。

1. ブロック構造のタスク（異なる分野のタスクが混ざっている）

   • → AI は**「モジュール化（部品化）」**された心を持つようになります。
   • 例: 料理と運転を同時にやる AI は、「料理をする部分」と「運転をする部分」が独立して動く心を持つ必要があります。

2. 環境が切り替わるタスク（天気やルールが変わる）

   • → AI は**「モードを切り替えるスイッチ」**のような内部状態を持つようになります。
   • 例: 晴れの日と雨の日で行動を変える必要があるなら、AI は「今は雨だ」という状態を常に監視し続ける必要があります。これは人間の**「感情」や「気分」**（情動）が行動を調整する仕組みに似ています。

3. 最小限の AI（無駄なことをしない AI）

   • → 失敗しない限り、**「どの AI も、最終的には同じような心の地図」**を描くことになります。
   • 例: 異なる会社が作った AI でも、同じ複雑な世界で生き残ろうとすれば、その「心の構造」は驚くほど似通ってくるでしょう。

---

💡 まとめ：なぜこれが重要なのか？

この論文が示すのは、**「賢い AI が生まれるためには、単にデータが多ければいいわけではない」**ということです。

不確実な世界で生き残り、失敗を避けるためには、AI は**「未来を予測する心（世界モデル）」と「過去を記憶する心」、そして「状況に合わせて柔軟に変わる心」**を、強制的に備えさせられるのです。

これは、**「AI の能力が向上すると、その内部構造は人間の脳や認知科学の理論（記憶、予測、モジュール性など）と似てくる」**という現象を、数学的に裏付けるものです。

「能力あるエージェントは、不確実な世界を生き抜くために、必然的に『心』のような構造を手に入れる」
これが、この論文が私たちに教えてくれる、シンプルで力強いメッセージです。

技術概要

論文「What Capable Agents Must Know: Selection Theorems for Robust Decision-Making under Uncertainty」の技術的サマリー

この論文は、不確実性下で能力のある人工エージェント（AI）が、なぜ特定の内部構造（予測モデルや記憶など）を「必要」として獲得するのかを数学的に証明する「選択定理（Selection Theorems）」を提案しています。従来の制御理論や強化学習では「最適な制御は信念状態（belief states）や世界モデルを用いて実現可能である」という十分条件は示されていましたが、それらが必要条件であることは示されていませんでした。本論文は、平均的なケースでの後悔（regret）が低いという性能保証から、エージェントの内部構造に対する具体的な制約を導き出すことに成功しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定と背景

背景

• 従来の知見: 制御理論や強化学習の古典的結果（Sondik, 1971; Kaelbling et al., 1998）は、最適な行動が「信念状態（belief states）」や「世界モデル」の関数として表現可能であることを示しています（十分性）。
• 未解決の課題: しかし、タスクの分布が要求する性能を達成するために、エージェントが強制的に予測的な内部構造を実装しなければならないかどうかは不明でした。アーキテクチャが信念ベースの制御を「できる」ことと、タスクの要求によって「実装せざるを得ない」ことは異なります。
• 目的: 「選択定理（Selection Theorems）」の枠組み（Wentworth, 2021）を用い、平均的なケースでの低後悔（low average-case regret）という性能条件から、内部構造の必要性を導き出すことです。

核心的な問い

「不確実性下で堅牢に行動するために、エージェントに必要な内部構造とは何か？」

---

2. 手法と技術的アプローチ

基本的なアプローチ：予測モデルの「賭け（Betting）」への還元

論文の核心的な技術的貢献は、予測モデリングの問題を二値の「賭け（betting）」決定問題に還元することです。

1. 二値賭けの定式化:
   • エージェントは、未来の事象（例：「$n$ 回の試行で $k$ 回以下成功するか、それ以上か」）に対して、二つの互いに排他的な選択肢（L または R）のいずれかを「賭け」として選択します。
   • 成功確率 $u_L, u_R$ と方策 $\pi$ による選択確率 $q$ を用いて、達成される成功確率 $V$ と最適成功確率 $V^\star$ を定義します。
2. 正規化後悔と誤った行動の質量:
   • 正規化後悔 $\delta = 1 - V/V^\star$ を定義します。
   • 補題 1（Lemma 1）: 後悔 $\delta$ が小さい場合、最適でない選択肢（誤った賭け）に割り当てられる確率質量 $w$ は、マージン（予測の確実性）に比例して小さくなることを示します。
   • 具体的には、マージンが大きいテスト（確実な予測が求められる局面）において、低後悔を達成するには、内部状態がその予測的区別（predictive distinction）を正確に反映している必要があります。

評価の枠組み

• タスクの分布: エージェントは、構造化された予測タスクの分布（action-conditioned prediction tasks）に対して評価されます。
• 仮定: 最悪ケースの最適性や決定論的な方策は仮定せず、**確率的方策（stochastic policies）と平均ケースの後悔（average-case regret）**のみを仮定します。

---

3. 主要な結果と定理

3.1 完全観測環境における結果（Fully Observed Environments）

定理 1（Theorem 1）: 完全観測環境において、構造化された予測タスク群に対する平均後悔が低い場合、エージェントは遷移確率（transition kernel）を近似する内部モデルを実装せざるを得ないことを示します。

• 結果: 方策 $\pi$ から遷移確率の推定量 $\hat{P}$ を構成でき、その誤差は平均後悔 $\bar{\delta}$ とタスクの深さ $n$ に依存して制御されます。
• 帰結 1（Corollary 1）: 制御マルコフ過程が因果マルコフ過程の近似とみなせる場合、この推定量は Pearl のレベル 2（介入的クエリ、$P(St+1 | St, do(At))$）を近似します。
• 帰結 2（Corollary 2）: 介入的カーネル（レベル 2）から、反事実的クエリ（レベル 3、$P(St+1 | St, do(At=a), do(At=a'))$）を一般的に復元することは不可能であることを示します。これには明示的な構造因果モデルが必要です。

3.2 部分観測環境における結果（Partially Observed Environments）

部分観測マルコフ決定過程（POMDP）において、エージェントは真の状態ではなく観測値 $o_t$ のみを得ます。この場合、異なる内部状態が同じ観測を生む「エイリアシング（aliasing）」の問題が発生します。

定理 2（Theorem 2）: 部分観測下でも、予測的テストに対する低平均後悔は、エージェントが「予測的状態（predictive state）」を計算する内部メカニズムを持つことを強制します。

• 意味: 観測値が同じでも、未来の予測が異なる履歴（history）を区別できない場合、低後悔を達成できません。

定理 3（Theorem 3）: メモリの必要性（No-aliasing）

• 結果: 異なる履歴 $h, h'$ に対して、同じ内部状態 $M(h) = M(h')$ を割り当て（エイリアシング）、かつそれらの履歴で最適な賭けが明確に異なる場合、エージェントは少なくとも一方のタスクで大きな後悔を被らざるを得ません。
• 結論: 低後悔を達成するためには、内部メモリ $M$ は、予測的に区別可能な履歴を区別する必要がある（「エイリアシングしない」必要がある）ことが示されます。これは、信念状態（belief state）のような予測的記憶の必要性を定量的に示すものです。

3.3 構造化されたタスクファミリーからの追加的制約

タスクの分布構造が、内部構造のさらに具体的な特性を強制します。

• 相関 3（Corollary 3）: 情報モジュール性
  • ブロック構造を持つテスト分布は、エージェントが情報をモジュール的に処理する必要性（情報モジュール性）を強制します。
• 相関 4（Corollary 4）: 体制追跡（Regime Tracking）
  • 異なる体制（regime）の混合分布は、潜在的な評価条件を追跡する内部変数（体制追跡状態）の必要性を強制します。これは、情動神経科学における「モジュレーター」や「アフェクティブ・ステート」の機能的な対応物と解釈できます。
• 相関 5（Corollary 5）: 表現の一致（Representational Match）
  • 異なるエージェントが同じ評価分布で低後悔を達成し、かつ最小限の表現（$\gamma$-minimality）を持つ場合、それらの内部状態は可逆的な再符号化（invertible recoding）を除いて同一になります。これは、異なるアーキテクチャ間でも「表現の収束」が起こることを示唆します。

---

4. 既存研究との違いと貢献

特徴	既存の研究 (Richens et al., 2024/2025 など)	本論文 (Nayebi, 2026)
性能仮定	最悪ケースの最適性（Worst-case optimality）	平均ケースの後悔（Average-case regret）
方策	主に決定論的方策	確率的方策（Stochastic policies）（現代の深層 RL に対応）
環境	主に完全観測	**部分観測（POMDP）**を含む
結論	方策からのモデル「復元（Recovery）」手順	性能から内部構造の「必要性（Necessity）」を導出
新規性	-	部分観測下での「エイリアシングなし」の定量的境界の導出

主な貢献:

1. 平均ケース後悔からの構造制約の導出: 最悪ケースの仮定なしに、実用的な性能保証から内部構造の必要性を証明した初の定量的選択定理。
2. 部分観測下での記憶の必要性: Richens らが提起した「部分観測下での世界モデル復元」の未解決問題に対し、確率的方策と平均後悔の枠組みで「信念的記憶の必要性」を定量的に回答。
3. 因果モデルの限界の明確化: 介入的モデル（レベル 2）は復元可能だが、反事実（レベル 3）は追加仮定なしには復元不可能であることを示した。
4. 表現の収束の理論的裏付け: 異なるエージェントが同じタスクで高性能を発揮する場合、その内部表現は本質的に一致する（Corollary 5）ことを示し、NeuroAI における「表現の収束」仮説を支持する理論的根拠を提供。

---

5. 意義とインパクト

理論的意義

• 能力と構造の架け橋: 「能力（Capability）」と「構造（Structure）」の間に、後悔（Regret）という定量的な指標を通じて必然的な関係を確立しました。
• 設計原則の提示: 堅牢なエージェントを設計する際、世界モデルやモジュール性、状態追跡変数は単なるアーキテクチャの選択肢ではなく、タスクの要求によって強制される構造であることを示しました。

実用的・学際的意義

• NeuroAI との統合: 人工知能と生物学的脳（視覚、聴覚、記憶、世界モデル領域など）の表現が類似している現象（Yamins et al. など）を、「共通の能力制約による収束」として説明する枠組みを提供します。
• 意識と認知理論への示唆: グローバル・ブロードキャストやモジュラー処理といった認知理論のテーマは、単なる哲学的仮説ではなく、不確実性下での意思決定圧力によって生じる構造的帰結である可能性を示唆しています。
• 将来の AI 開発: 高度に汎用的で堅牢な AI システムを開発する際、内部に「予測的状態」「モジュール性」「体制追跡変数」が自然に出現する傾向があることを理解することで、システムの解釈性や安全性の向上に寄与します。

結論

本論文は、不確実性下での堅牢な一般化能力が、エージェントの内部表現空間を圧縮し、予測的構造、記憶、モジュール性、そして表現の収束を強制することを示しました。これは、AI の能力向上に伴って、特定の組織的規則性（世界モデル、記憶、モジュール性など）が必然的に現れることを理論的に裏付ける重要な一歩です。