Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

コンピュータが単にゲームをするだけでなく、優れたチームメイトになる方法を学ぶ世界を想像してみてください。これは、コンピュータプログラム（エージェント）が、試行錯誤を通じて協力する方法を、良い動きに対してポイントを得ることで学んでいく「マルチエージェント強化学習」という人工知能の一分野です。通常、これらのエージェントは利己的であり、自分のスコアだけを気にします。もしパートナーを欺いてより大きな報酬を得られるなら、彼らはしばしばそうします。これを防ぐために、科学者たちは、スコアに「社会的ボーナス」を加えることで、他者を思いやるように教えようと試みています。しかし、ここで難しい問題があります。そのボーナスは、どの程度の重みを持つべきでしょうか？それは、かすかな囁きであるべきか、それとも大きな叫びであるべきでしょうか？これまで、科学者たちは主に、適切な量を見つけ出すことを願いながら、数字を推測したり手動で微調整したりしてきました。

この論文が取り組む大きな問いは、「私たちは推測をやめて、友人を失望させたときに人間が感じる量を、正確に測定できるのか？」という点です。著者たちは、「罪悪感」と呼ばれる感情、つまり自分の選択が誰かを傷つけたときに胃のあたりに感じるあの重苦しい感覚に着目しました。彼らは、人間の罪悪感の「重み」をラボで測定し、その正確な数値をコンピュータに手渡すことで、人間と同じようにパートナーを思いやるように教えられるのではないかと考えました。もし成功すれば、単に厳格なルールに従うだけでなく、自らの行動がもたらす感情的なコストを理解するAIを構築できるかもしれません。

---

実験：ロボットに罪悪感を教える

この研究において、研究者のアーディティア・メッタとアーヤ・シャーは、推測をやめて測定を開始することに決めました。彼らは、人工的な罪悪感をどのように「校正（キャリブレーション）」できるかを知りたいと考えました。それはラジオのチューニングのようなものです。音楽が心地よく聞こえるまでダイヤルを回すのではなく、人間の脳が罪悪感という歌を歌う正確な周波数を見つけ出し、そしてロボットを同じ放送局に合わせるのです。

データはどこから来たのか？
彼らは、40人の実在する人間による脳スキャンと行動記録を含む、SoDecという公開データセットを使用しました。元の実験では、これらの人々は「安全」な選択肢（確実な小さな報酬）と、「リスク」のある選択肢（大きな報酬が得られるか何も得られないかのコイン投げ）の間で選択を行うゲームを行いました。時には自分のためだけにプレイし、時には自分とパートナーのためにプレイしました。

研究者たちは、特定の瞬間に注目しました。それは、人が「リスク」のある選択肢を選び、その結果としてパートナーが悪い結果に直面したときです。研究者たちはこう問いかけました。「その人が責任を感じることによって、その人の幸福度はどれくらい減少するのか？」データを分析することで、彼らはこの「罪悪感の重み」を表す特定の数値を算出しました。彼らは、パートナーが不運に見舞われるごとに、その人の幸福度は1.118の係数で減少することを見出しました。

ロボットゲーム
次に、彼らは**ソーシャル・ロッタリー（Social Lottery）**と呼ばれるデジタルな遊び場を構築しました。彼らは2つのAIエージェント（PPOと呼ばれるスマートな学習手法を使用）をこのゲームの中に投入しました。エージェントたちは、同じ「安全 vs リスク」の選択を行わなければなりません。研究者たちは、エージェントを教えるための4つの異なる方法をテストしました。

1. 利己的なロボット: 罪悪感が全くない。自分のポイントのみを気にする。
2. 推測するロボット: 罪悪感のペナルティはあるが、その数値は単なるランダムな推測（0.5）である。
3. 「完璧な」ロボット: 数値がちょうど1.0という、科学者がよく使う標準的で整った数値の罪悪感ペナルティを持っている。
4. 人間が測定したロボット（NeuroGuilt）: これは、人間の脳データから導き出された正確な数値である1.118を使用している。

何が起きたのか？
ロボットに20,000ラウンドのゲームをさせた後、結果は非常に興味深いものでした。

• 利己的なロボットは、チームワークにとって災厄でした。それはパートナーの安全を完全に無視し、ほとんど常に「リスク」のある選択肢を選んでいました（安全な選択はわずか10%でした）。
• 推測するロボットは、わずかに改善しましたが、依然としてあまり思いやりはありませんでした。
• 「完璧な」ロボット（整った数値1.0を持つ）は、まずまずの結果でしたが、それでも人間の行動には完全には一致しませんでした。
• 人間が測定したロボットは、主役となりました。このロボットは、**45.9%**の割合で「安全」な選択肢を選びました。

なぜこれが重要なのでしょうか？
研究者たちは、ロボットの選択を、元の研究における40人の人間の実際の選択と比較しました。人間は**48.4%**の割合で「安全」な選択を行いました。

人間が測定したロボットは、人間の行動に驚くほど近かったのです。ロボットの選択と人間の選択の間の差（数学的な距離であるKLダイバージェンス）は、わずか0.0012でした。対照的に、他のロボットは大幅に外れており、その差は数百倍も大きかったのです。

さらに興味深いことに、「完璧な」ロボットは罪悪数の1.0を使用しましたが、「人間が測定した」ロボットは1.118を使用しました。数値が大きいほどペナルティが強くなり、行動が改善すると考えるかもしれませんが、ここではそうではありませんでした。数値がわずかに大きい（1.118）方のロボットの方が、より安全な道を選ぶことで、ミスが少なく、全体としての「罪悪感ペナルティの質量」も少なくなりました。これは、単にペナルティを与えることが重要なのではなく、人間が実際に感じている通りに、ペナルティを正確に校正することが重要であることを証明しています。

まとめ

この論文は、AIに道徳的なルールを考案する必要はないことを示唆しています。代わりに、人間が誰かを失望させたときに実際にどのように感じるかを見つめ、その感情を測定し、それを直接機械にコピーすることができるのです。実在の人間の脳から導き出された数値（1.118）を使用することで、AIは人間とほぼ同様にパートナーを思いやることができました。

研究者たちは、これはあくまでシミュレーションであり、人間のデータ自体は統計的に完璧ではない「小〜中程度」の効果を示したものであると慎重に述べています。しかし、この結果は強力なヒントを与えています。もし私たちがAIを人間の価値観に適合させたいのであれば、数字を推測するのをやめ、その背後にある人間の経験を測定すべきなのです。これは、単に最善の動きを計算するだけでなく、自らの選択の重みを理解するAIを構築するための、一歩となります。