ロボットの脳を構築していると想像してみてください。その脳は、選択肢に満ちた世界をナビゲートする方法を学ぶ必要があります。コンピュータサイエンスの世界では、この分野は「強化学習」と呼ばれ、エージェント（ロボットやゲームをプレイするAIなど）が最高の報酬を得るための意思決定を行う方法を教えることを目的としています。これを行うために、エージェントは「既知のことがうまくいくことに固執すること（利用）」と、「それがさらに良いものかどうかを確認するために新しいことを試すこと（探索）」のバランスを取らなければなりません。この「新しいことを試す」方法を扱うための標準的なやり方は、数十年にわたり、「ソフトマックス（softmax）」関数と呼ばれる数学的なレシピでした。これは、シェフがスープにどの材料をどれくらい加えるかを決めるようなものです。もし一つの材料がわずかに美味しいと感じたら、シェフはその材料を少し多めに加えますが、他の材料を完全に無視することはありません。このレシピは非常に一般的であるため、ほぼすべての現代的なAIシステムにおけるデフォルト設定となっています。しかし、ここにはミステリーがあります。誰もがこのレシピを使用しているにもかかわらず、なぜこれが最初から唯一正しい方法であったのかを、誰も正確に説明することができなかったのです。実際、このレシピを使用することは、私たちが合理的な選択を行う際に通常考える基本的なルールをいくつか破っているように見え、「何がうまくいくか」と「何が理にかなっているか」の間の混乱した緊張を生み出していました。

「Rationalizing Boltzmann Rationality（ボルツマン合理性の正当化）」と題されたこの論文は、このミステリーを解決する探偵小説のような役割を果たします。著者であるシルヴィウ・ピティス（Silviu Pitis）は、シンプルかつ深遠な問いを投げかけます。「もしエージェントが合理的であり、かつ自分自身の選択能力を価値あるものと見なすと仮定した場合、この特定の『スープのレシピ』（ソフトマックス・ポリシー）が論理的な選択であると証明できるだろうか？」と。この論文は、混乱の原因が二種類の異なるランダム性を混同していたことにあると主張しています。想像してみてください、あなたは交差点に立っています。「偶然（Chance）」は、天候が突然変わり、あなたの意志に関係なく進路変更を強いるようなものです。「選択（Choice）」は、あなたがどの道を進むかを決めることです。この論文は、天候（偶然）とあなたの決定（選択）を別々のものとして扱い、エージェントがいかに選択肢を評価すべきかといういくつかの常識的なルールを適用すれば、ソフトマックスのレシピが唯一の解として導き出されることを示しています。実は、「エントロピー・ボーナス」と呼ばれる、一見するとペナルティのように聞こえる数学的用語は、「オプション・プレミアム（選択肢の対価）」なのです。それは、自分の進む道を選ぶ自由から得られる追加の価値です。論文は、もしエージェントが自分の進む道を選ぶ能力を価値あるものと見なすならば、一貫性を保つために必ずこの特定の公式を使用しなければならないことを証明しています。もしそうしなければ、それは合理的ではなく、単に一貫性を欠いていることになるのです。

ロボット・シェフの物語

発見の核心に触れてみましょう。あなたが、ピザ、タコス、寿司というメニューを持つキッチンにいるロボット・シェフだと想像してください。あなたには、過去の経験に基づいた各料理の「スコア」があります。

• 古いやり方（断固とした選択）： 古い厳格な考え方では、もしピザのスコアが10で、タコスのスコアが9であれば、あなたはピザだけを選びます。もし寿司のスコアが5であれば、あなたはそれを完全に無視します。これは「ハード」な決定と呼ばれます。
• 新しいやり方（ソフトな選択）： しかし、現実の世界、そしてほとんどの現代のAIでは、「ソフト」な選択を用います。私たちは依然としてピザを最も頻繁に選びますが、タコスを選ぶ確率もわずかに与え、寿司を選ぶ確率もごくわずかに与えます。これが「ボルツマン・ポリシー（またはソフトマックス）」です。これは、「ピザが最高だが、今日は他のものが食べたいかもしれない」と言っているようなものです。

長い間、科学者たちは、ロボットが探索し、より速く学習するのを助けるために、このソフトな選択を使用してきました。しかし、そこにはつきまとう問題がありました。「ハード」な選択（期待効用理論と呼ばれます）の背後にある数学では、もしメニューに新しい、ひどい選択肢（例えば「焦げたトースト」）が追加されたとしても、ピザとタコスの間のあなたの好みが変わるべきではないとされています。このルールは「無関係な選択肢からの独立性（IIA）」と呼ばれます。しかし、ソフトな選択の数学は、このルールを破っているように見えました。もし「焦げたトースト」が追加されると、数学的には、メニューが大きくなったという理由だけで、ピザへの愛が変わってしまうことが示唆されるのです。これにより、システム全体が、まるで基礎が合わない家に建てられた家のように、不安定に感じられました。

大きな区別：天候 vs 意志

この論文は、「偶然」と「選択」の間の鮮やかな区別を作ることで、この問題を解決します。

• **偶然（Chance）**とは、宇宙があなたのためにコインを投げるようなものです。もしあなたが袋の中からランダムに料理を食べさせられる運命にあるなら、その袋の価値は、中に入っている料理の平均値に過ぎません。これが「天候」の部分です。
• **選択（Choice）**とは、あなた自身が選ぶ場合です。メニューがあるとき、あなたは単にランダムな料理を食べているのではなく、選ぶという「力」を持っています。論文は、メニューを持つこと自体に価値があるのだと主張しています。それは、宝箱を開ける鍵を持っていることと、すでにポケットの中に宝を持っていることの違いのようなものです。宝自体は同じですが、「箱を開ける能力」が追加の価値をもたらします。

著者は、もし「偶然」の部分（天候）にのみ合理性のルールを適用し、そして「選択」の部分（あなたの意志）に新しい一連のルールを適用すれば、魔法が起きることを示しています。選択のルールは以下の通りです：

1. 無関係な選択肢からの独立性（IIA）： ピザとタコスの間のあなたの好みは、メニューに「焦げたトースト」が載っているからといって変わるべきではありません。
2. 単調性（Monotonicity）： もしピザのスコアが良くなれば、あなたはそれを選ぶ可能性が高くなるべきです。

これら二つのシンプルなルールを「選択肢を持つことは価値がある」という考え方と組み合わせると、数学はあなたを単一の、特定の形へと強制します。その形こそが、ボルツマン・ポリシーです。結局のところ、「エントロピー・ボーナス」（選択肢を持つことに与える追加の価値）は、まさにオプション・プレミアム（選択肢を保持しておくことから得られる価値）だったのです。論文は、もしエージェントが「選ぶ力を持つことは価値がある」こと、そして「選択肢が真に独立している」ことを信じるならば、この特定の公式を使わなければならないことを証明しています。そうでなければ、それは合理的ではなく、単に一貫性を欠いていることになるのです。

これが未来に意味すること

この論文は単に「これはクールだ」と言っているだけではありません。いつこのレシピを使い、いつそれを捨てるべきかを示す明確な地図を与えてくれます。

• 使うべき時： もしあなたのロボットが、互いに影響を与えない独立したもの（例えば、異なるフレーバーのアイスクリームなど）の間で選択しているなら、ボルツマン・ポリシーは数学的に証明された完璧な選択です。それは、これらの条件下において一貫性を保つための唯一の方法です。
• 使わないべき時： 論文は、もし選択肢が「固まっている」場合、このレシピは失敗すると警告しています。例えば、10種類の異なる「赤いバス」と1台の「青いバス」があるメニューを想像してください。もしすべての赤いバスを完全に独立した選択肢として扱うと、ロボットは、たとえ実際に青いバスを好んでいたとしても、赤いバスが非常に多いため、時間の90%を赤いバスを選ぶことに費やす可能性があります。これは「類似性の効果」と呼ばれます。このようなケースでは、単純なボルツマン・レシピは、独立性の仮定が損なわれるため崩壊し、ロボットにはよりスマートなメニューシステム（赤いバスをグループ化するなど）が必要になります。

著者らはまた、「どれほど合理的である必要があるか」についても驚くべき発見をしました。彼らは「最小合理性閾値」を見つけました。もしロボットが不確実すぎて（「温度」スケールが低すぎる、あるいは $\beta$ が低い）、一つの選択が報酬を爆発させる可能性がある状況（例えば、資産が2倍、3倍になる投資など）に直面した場合、数学は完全に崩壊します。ロボットの価値は無限大となり、意味をなさなくなります。しかし、もしロボットが「将来はある時点で重要ではなくなる」という概念（ホライゾン連続性と呼ばれる概念）を理解していると仮定すれば、この問題は消失し、数学はどのような合理性レベルにおいても機能することを論文は示しています。

ビッグピクチャー（全体像）

結局のところ、この論文は、複雑な数学の世界において稀なこと、すなわち経済学、情報理論、そして人工知能の間の点と点を結びつけています。人間がなぜガンメル味のアイスクリーム（特定の種類のランダムなノイズ）を選ぶのかを説明するのと同じ論理が、なぜAIがソフトマックス関数を使用すべきかを説明することも示しています。それは、「エントロピー・ボーナス」が学習を速めるための単なる微調整（ファッジファクター）ではなく、オプション・プレミアムであることを証明しています。それは、選択をされるのではなく、自らが選択を行う者であることから得られる価値なのです。

ですから、次にAIが少しのランダム性を伴って意思決定を行っているのを見かけたら、覚えておいてください。それは単に推測しているわけではありません。それは、「選択肢が独立しているとき、選択の自由を持つことは価値があり、それこそがその自由を尊重するための数学的に完璧な方法である」という深い数学的法則に従っているのです。この論文は、私たちが長年使用してきた道具を正当化するだけでなく、それがなぜ機能するのか、いつ使う必要があるのか、そしていつ新しいものを作る必要があるのかを正確に教えてくれるのです。