人間は、リスクを計算することに関して著しく不得意であることで知られている。私たちは数学者のように確率を衡量するのではなく、それを「感じる」のである。私たちは、大きな確率の緩やかな損失よりも、わずかな確率の壊滅的な損失をはるかに恐れる傾向があり、また、たとえ勝算が低くとも、莫大な棚ぼたを狙って突き進むことがよくある。これはソフトウェアの不具合ではなく、私たちの脳の仕組み（ワイヤリング）によるものである。数十年にわたり、経済学者や心理学者は、こうした癖を説明するために「累積プロスペクト理論」と呼ばれる枠組みを用いてきた。この理論は、私たちが結果を絶対的な価値によって判断するのではなく、個人の参照点と比較して判断すること、そして、稀な災厄を過大評価し、一般的な出来事を過小評価するという、確率の歪曲を行うことを示唆している。

長い間、人工知能の分野、特に強化学習は、こうした人間の癖を無視してきた。この分野では、エージェント（学習主体）は環境と相互作用することで報酬を最大化するように学習する。標準的なアプローチでは、エージェントは完全に合理的であると仮定し、あらゆる可能な経路の平均的な期待値を計算し、最も高い数値を持つものを選択する。これは機械にとってはうまく機能するが、複雑で不確実な状況における人間の実際の振る舞いを捉えることはできない。人間と共に働く、あるいは人間のために意思決定を行うAIを構築しようとする際、純粋に合理的なエージェントは、人間の観察者にとって冷徹で不合理、あるいは単に間違っていると感じられる行動をとることが多い。研究者たちが問い続けてきたのは、機械に最終的な選択だけでなく、リスクと報酬をどのように知覚するかという点において、より人間らしく考える方法を教えることができるか、ということである。

研究チームは現在、その問いに答えるための重要な一歩を踏み出した。彼らは、人工知能エージェントが、冷徹な計算ではなく、人間の心理原則に基づいて行動を最適化できる新しい数学的枠組みを開発した。一連のシミュレーションにおいて、彼らは、累積プロスペクト理論のレンズを通して世界を見るようにエージェントを教えることで、機械が人間が見せるような、ニュアンスに富んだ、時には矛盾したリスク行動を示すようになることを実証した。研究者たちは単に理論を提案しただけではない。これらの行動を学習できる実用的なアルゴリズムを構築し、それが数学的に機能することを証明した。これにより、金融、ヘルスケア、交通管理といったハイステークスな環境において、AIが人間の好みに適合するための道筋を示したのである。

彼らの研究の核心は、エージェントへの「学び方」を教える新しい手法にある。従来の強化学習では、エージェントは得られると予想される報酬の総和を最大化しようとする。新しい手法はこの目標を変更する。「平均的な報酬はいくらか？」と問う代わりに、「人間はこの報酬の流れをどのように知覚するか？」と問うのである。これを行うために、エージェントはまず、特定の参照点に対して何が利得であり、何が損失であるかを決定しなければならない。例えば、痛みのレベルが7から5に下がった場合、ベースラインが7であればそれは大きな勝利と感じられるかもしれないが、ベースラインが2であれば些細な改善と感じられるだろう。次に、エージェントはこれらの利得と損失に特別な変換を適用し、損失の痛みが生み出す重みを、同等の利得から得られる喜びよりも重く感じさせる。最後に、人間が精神的に行うのと同様に、確率を歪曲させ、稀な出来事をより起こりやすく、一般的な出来事をより起こりにくく感じさせる。

研究者たちは、これを実現する上で大きな障害に直面した。人間のような歪曲によって作り出される数学的な景観（ランドスケープ）は、極めて険しく複雑である。標準的な最適化に見られる滑らかで予測可能な丘とは異なり、この新しい景観は鋭い峰と深い谷に満ちており、アルゴリズムが途中で立ち往生することなく最適な経路を見つけることを困難にしている。さらに、標準的なAIの学習ツールはここには適用できなかった。なぜなら、人間のような目的関数は、ほとんどの学習アルゴリズムが依存している単純な加法性や線形性のルールに従わないからである。チームは、エージェントの行動を改善するための指針となる「コンパス」として機能する、全く新しい一連のルール、すなわち「方策勾配定理」を導き出す必要があった。この新しい定理は、パフォーマンスが複雑な人間的な基準によって測定される場合であっても、エージェントがパフォーマンスを向上させるためにどの方向に振る舞いを変えるべきかを計算する方法を提供する。

この新しいコンパスをテストするため、研究者たちは一連の実験を行った。一つの単純なシナリオでは、エージェントを「安全で小さな報酬」と「リスクはあるが大きな報酬」のどちらかを選択しなければならない状況に置いた。標準的な合理的なエージェントは、たとえ賭けを意味するとしても、常に平均的な支払額が最も高い選択肢を選んだ。一方、不確実性を避けるよう設計されたリスク回避型のエージェントは、一貫して賭けを避けた。しかし、新しい人間的な枠組みで訓練されたエージェントは、より興味深い挙動を示した。選択が「利得」に関わる場合、エージェントは慎重に行動し、安全な選択肢を好んだ。しかし、シナリオが「損失」を伴うものに入れ替わると、同じエージェントは突然大胆になり、確実な損失を避けるためにリスクのある選択肢を選んだ。この「反射効果」として知られる行動の変化は、標準的なAIモデルが再現することに苦慮する、人間の意思決定の特徴である。新しいアルゴリズムは、同じ内部設定を用いながら、このニュアンスを完璧に捉えた。

研究者たちはまた、リスクをモデル化しようとする既存の手法とも比較を行った。ゼロ次推定（本質的には、小さな変化を試みて何が起こるかを見ることで改善の方向を推測すること）に依存する古い手法は、問題が複雑になるにつれて苦戦することを彼らは発見した。変数の数が増えると、これらの手法は非効率になり、速度が低下した。対照的に、改善の正確な方向を計算するために一次情報を使用する新しいアルゴリズムは、はるかに優れたスケーラビリティを示した。環境の複雑さが増しても効率性を維持しており、これは、電力網の管理や株式取引のような、多くの動的な要素を持つ現実世界の問題にも適用できる可能性を示唆している。

この研究の意義は、単純なゲームの枠を超えている。研究者たちは、このアプローチがどのように重要な分野で使用できるかを例示した。例えばヘルスケアにおいて、慢性的な痛みを管理する医師は、即時的な緩和と長期的な依存のリスクとのバランスを取る必要がある。標準的なAIは単に平均的な痛みスコアを最小化しようとし、患者の離脱症状への恐怖を無視する可能性がある。しかし、人間と整合したエージェントは、稀ではあるが壊滅的な副作用への恐怖をより重く考慮することができ、結果として、患者にとってより安全で配慮の行き届いた治療計画を提示できる。同様に、金融においても、エージェントは単一の数値を調整するだけでなく、市場の暴落や好機をどのように知覚するかという根本的な部分を変えることで、投資家の特定のリスク許容度を反映するように調整できる。

研究はまた、これらのエージェントが機能するために何が必要であるかを明確にした。研究者たちは、アルゴリズムが機能するためには、人間がどれほど損失を恐れ、どのように確率を歪曲するかという「人間の好み」があらかじめ分かっていなければならないと指摘した。これらはエージェントがゼロから学習するものではなく、ゲームのルールを設定するように、モデルの一部として提供されるものである。これにより、システムを特定の個人やグループに合わせてカスタマイズすることが可能になる。研究者たちは、参照点を調整したり、損失に対する感受性を変えたりすることで、エージェントの行動を劇的に変化させられることを示し、システムが幅広い人間の態度をモデル化できるほど柔軟であることを証明した。

結果は有望であるが、研究者たちは自身の発見をシミュレーションの限界の中に留めて記述することに注意を払っている。彼らは、アルゴックリズムが安定した解に収束すること、および複雑で非線形な環境において最適な方策を見つけられることを証明した。また、速度とスケーラビリティの点で従来の手法を凌駕することをシミュレーションを通じて示した。しかし、彼らはまだ、人間の命や金融資産が直ちに危険にさらされるような、ライブの現実世界にこのシステムを導入したわけではない。この研究は依然として理論的かつ計算的なブレイクスルーであり、機械が人間のリスク知覚という、混沌とした不合理な景観をナビゲートできることを示す概念実証である。

今後の道のりは、これらのモデルを洗練させ、より多様な現実世界のシナリオでテストすることである。研究者たちは、将来の研究として、人間の好みを事前にプログラムするのではなく、データから直接学習することや、この理論を連続的な無限ホライゾンの問題へと拡張することに焦点を当てるべきだと示唆している。また、彼らは、このアプローチを人間からのフィードバックから学習する他の手法と組み合わせ、時間の経過とともに変化する好みに適応できるハイブリッドシステムを作る可能性も視野に入れている。現時点では、この成果は二つの世界の架け橋となっている。すなわち、機械の最適化という冷徹な論理と、人間の意思決定という温かく、しばしば矛盾に満ちた現実との架け橋である。それは、単に最善の結果を計算するだけでなく、その結果が仕える人々にとってどのような意味を持つのかを理解するAIを構築するための道筋を提示している。