あなたは、ある友人と「信頼（Trust）」というゲームをしていると想像してください。あなたたち二人は、大きな賞品を分かち合うという共通の秘密の目標を持っています。しかし、ここにはひねりがあります。このゲームは、時々ノイズが入るトランシーバー越しに行われます。あなたは「君を信頼している」と言うつもりでも、静電気の影響でメッセージが反転し、友人の耳には「君の賞品を盗む」と聞こえてしまうかもしれません。ここで、友人は重大な決断を迫られます。あなたは本当に自分から盗もうとしたのか、それとも単に通信状態が悪かっただけなのか？ もし彼が、通信がガリガリ鳴るたびに、あなたを泥棒だと決めつけてしまうなら、彼はあなたを永遠に信じなくなるでしょう。そして、二人とも賞品を逃すことになります。これは、ゲーム理論における有名なパズルである「囚人のジレンマ」に、ノイズという厄介な要素を加えたものです。科学者たちは、世界が静電気に満ちているとき、ロボットやAIがいかにして「悪い動き」がミスなのか、それとも裏切りなのかを見分けることができるかを、長い間研究してきました。もし判断を誤れば、協力関係を破壊する怒りの連鎖を引き起こしてしまうからです。

この論文は、まさにその問題に切り込んでいます。著者であるキヴァル・マハデワとジョナサン・ショックは、次のように問いかけます。「エージェントはどうすれば、ノイズによる偶然の事故と、悪意のある意図を区別できるのか？」 彼らは、このゲームの新しい考え方を提案しています。つまり、「意図」を隠された秘密として扱い、「行動」をノイズ混じりの手がかりとして扱う方法です。彼らは、この「心の読み取り」アプローチが、協力したいと考えている相手と対戦しているときは見事に機能する一方で、非常にノイズの多い世界で両プレイヤーが互いに相手の心を読み合おうとすると、実は逆効果になる可能性があることを発見しました。その場合、両プレイヤーは「相手が怒っている」と正しく推測し合うループに陥り、信頼の完全な崩壊を招くことがあります。つまり、相手の意図を推測するのが上手すぎることが、ノロすぎる環境では罠になり得るのです。

ガリガリ鳴るトランシーバーの物語

場面を設定しましょう。二つのエージェント（「ロボA」と「ロボB」と呼びましょう）が、「反復囚人のジレンマ」というゲームをしていると想像してください。このゲームでは、彼らは「協力する（親切にする）」か「裏切る（利己的になる）」かの選択を交互に行います。両者が協力すれば、二人とも大きな利益を得られます。一方が裏切り、もう一方が協力した場合、裏切った方は莫大な利益を得ますが、協力した方は損失を被ります。両者が裏切った場合、二人は小さく悲しい報酬しか得られません。

ここで、トランシーバーに「静電気」の問題がある状況を想像してください。例えば、静電気が意図したメッセージを10%の確率で反転させるとします。ロボAは「協力」ボタンを押そうとしているのですが、静電気の影響で反転し、ロボBには「裏切り」の信号が見えてしまいます。

ここでの問題は、ロボBは、ロボAが意図的に意地悪をしたのか、それとも単に静電気が悪さをしたのかを知らないということです。

• 従来の方法 (MDP): 標準的なコンピュータモデルは、「裏切り」の信号を事実として扱います。「ロボAが私を裏切った！」と考え、即座に報復します。これは、実際には起こっていないミスに対して互いに罰を与え続ける、怒りのスパイラルを引き起こします。
• 新しい方法 (POMDP): 著者たちはより賢いモデルを提案しています。信号だけを見るのではなく、ロボットは「意図」が何であったかを推測すべきだと考えます。「『裏切る』という信号を見たけれど、トランシーバーはノイズが多いことを知っている。ならば、ロボAが意地悪をした可能性が高いのか、それとも単なる静電気だったのか？」と問いかけるのです。

「心を読み取る」ロボット

著者たちは、「能動的推論（Active Inference）」と呼ばれるフレームワークを用いてロボットを構築しました。このロボットを、常に二つの謎を解こうとしている探偵だと考えてください。

1. 友人は今、何をしようとしているのか？（これはミスなのか、それとも裏切りなのか？）
2. 友人はどのように学習するのか？（もし私が協力すれば、彼も協力し返してくれるだろうか？）

このロボットには、二つの欲求のバランスを取るための特別な「コスト関数（意思決定のスコア付け方法）」があります。

• 実用的価値（Pragmatic Value）: 「今、最高の報酬を得たい」（騙されるな！）
• 認識的価値（Epistemic Value）: 「真実を知りたい」（友人が本当に親切なのか、それともふりをしているだけなのか、テストする必要がある）

これらをバランスさせることで、ロボットはこう言うことができます。「『裏切る』という信号を見たけれど、私の友人は普段は協力してくれるし、静電気も激しい。だから、これはミスだと仮定して、様子を見るために再び協力を試みよう」。これは、単なる「お人好し」ではなく、原理に基づいた「許し」の形です。

驚きの展開：心を読み取ることが裏目に出るとき

論文では、数千回のシミュレーションを行い、この新しいロボットが異なるタイプの対戦相手に対してどのように機能するかを検証しました。

シナリオ1： 「親切な」対戦相手（Tit-for-Tat）との対戦
ロボットが、挑発されない限り協力するようにプログラムされた相手と対戦する場合、この新しい「心を読み取る」ロボットは超一流の成績を収めます。それは、「裏切る」という信号の多くが単なる静電気であることを正しく識別します。ミスを許し、協力を続け、従来の「最悪を想定する」ロボットよりもはるかに高いスコアを獲得します。相手のパターンを学習し、幸福な協力のリズムに落ち着きます。

シナアリオ2： 「コピーキャット（模倣者）」との対戦（自己対戦）
ここからが奇妙な展開です。著者たちは、これら二つの新しい「心を読み取る」ロボット同士を対戦させました。

• 低ノイズ時（非常にクリアなトランシーバー）: 二人は互いに親切であることを理解し、完璧に協力します。
• しかし、高ノイズ時（非常にガリガリ鳴るトランシーバー）では、奇妙なことが起こります。 ロボットたちが崩壊し始めるのです。

なぜでしょうか？ 彼らは、自分の仕事を「やりすぎてしまった」からです。
ロボットAが「裏切る」という信号を見たとします。するとロボAは考えます。「うーん、ノイズは大きいけれど、最近の友人の様子がおかしい。もしかしたら、本当に怒っているのではないか？」 そして報復を決意します。ロボットBはロボットAの報復を見て、「ああ、彼らは間違いなく今、怒っている」と考え、報復します。
両方のロボットが相手の「真の意図」を推論しようとしているため、彼らはフィードバックループを生み出してしまいます。両者は、相手が実際に敵対的である（なぜなら、最初の片方が実際に報復したのだから）と正しく推論してしまうため、戦い続けます。「ノイズ」は単なる誤解を引き起こしただけでなく、**「信念による崩壊（belief-driven collapse）」**を引き起こしたのです。彼らは混乱したからではなく、相手が敵意を持っていると「確信してしまった」ために、協力をやめてしまったのです。

決定的な閾値（しきい値）

論文では、ノイズの「転換点」を算出しています。

• ノイズが10%未満（数学的には0.05から0.10の間）であれば、ロボットは通常、ミスと裏切りの区別をつけることができます。
• ノイズが15%を超えると、ロボット同士で協力を維持することができなくなります。「協力的な意図」が極めて稀なものとなり、ロボットは「これはミスではない。彼らは間違いなく私を傷つけようとしている」と判断し、永久的な防御姿勢へと切り替わります。

著者らは、この崩壊はロボットの計算能力が低いせいではなく、計算が「正確すぎる」せいであることを見出しました。ノイズの多い世界において、二つのエージェントが互いの隠された思考を推測しようとすると、たとえ両者が最初は友人であろうとしても、相手が敵であると誤って確信してしまうのです。

これが意味すること

この論文は、協力の問題を永遠に解決したと主張しているわけではありません。むしろ、「世界をどう表現するか」が重要であるということを示しています。

• 行動を「事実」として扱う（従来の方法）と、混乱しやすく、すぐに怒りに駆られます。
• 行動を「隠された意図へのノイズ混じりの手がかり」として扱う（新しい方法）と、より賢く、寛容になれます。
• しかし、もし全員が非常にノイズの多い環境で「心の読み取り」戦略を用いているならば、全員が「他者は怒っている」と正しく推測してしまうことで、システム全体が崩壊するという「信頼の崩壊」のリスクを負うことになります。

著者らは、この「意図の推論」は強力なツールであるが、限界があることを示唆しています。それは、相手が協力したいと思っている相手と対戦しているときには非常に有効ですが、混沌とした世界で全員が互いの心を読み合おうとしているときには、脆いものとなるのです。これは、他者が何を考えているかもしれないかを知りすぎることは、時に、相手を信頼することを難しくさせてしまう可能性があるという教訓です。