Waiting, judgment, and responsibility: lessons from divination for human oversight of irreversible decisions

人工知能という極めて重要な世界において、増大している懸念は、人間がいかにして不可逆的な選択を行う機械を効果的に監督できるかという点である。ソフトウェアエージェントが送金の実行、重要なファイルの削除、あるいは新しいコードのリリースを提案するとき、ループ内にいる人間（ヒューマン・イン・ザ・ループ）は困難な課題に直面する。彼らは、迅速な対応を求められるプレッシャーの下で、機械の提案を信頼すべきかどうかを判断しなければならない。この状況は「責任の空白」を生み出し、物事がうまくいかなかった場合に誰が責任を負うべきかが不明確になる。人々は、さらなる情報を待つことに不安を感じたり、悪い結果に対して非難されることを恐れたりするため、急いで行動してしまうか、あるいは早々に諦めてしまうかのどちらかになりやすい。研究者たちは、より良い証拠を待つことが意思決定を改善することや、意思決定の枠組みの提示方法が人々のリスクに対する感じ方を変えることを古くから知っている。問題は、人々を恐怖や過信のサイクルに陥らせることなく、より良い選択ができるようにする監視システムをいかに設計するかである。

ジュンジェ・シー（Junzhe Shi）氏と、カリフォルニア大学バークレー校やデューク大学などの機関に所属する共同研究者らによる新しい研究は、古代の慣習である『易経』への相談に着目することで、これらのダイナミクスを探求している。何世紀もの間、人々は戦争に赴くべきか、あるいは新しい土地へ移住すべきかといった人生の重大な決断を下す際、このテキストを用いて指針を得てきた。研究者たちは、伝統的な『易経』の相談プロセスには、現代のAI承認プロンプトに欠けている3つの具体的な特徴があることに気づいた。それは、答えを出す前の「強制的な休止」、単純な「はい」か「いいえ」ではなく「解釈を必要とする答え」、そして「人間のバイアスとは独立した権威を持つ審判であるという感覚」である。チームは、これらの特徴が現代のユーザーがAIエージェントを扱う際に、いかに優れた意思決定を行う助けとなるかをテストするために、コンピュータ・シミュレーションを構築した。

研究者たちは、結果が良くなることもあれば悪くなることもあるが、真実が隠されている状況に直面する、4つの異なるタイプの人間モデルを作成した。第一のタイプは、証拠を完璧に衡量できる「較正された（キャリブレーションされた）」人である。第二のタイプは、初期の手がかりを実際よりもはるかに強力なものとして扱う「過信した」人である。第三のタイプは、さらなる情報を待つことが肉体的・精神的に消耗すると感じる「不安を感じている」人である。第四のタイプは、もし行動を起こして事態が悪化した場合に非難されることを恐れる「恐怖を感じている」人である。シミュレーションにおいて、これらの人々は、成功するか失敗するかは分からないが、ある行動をとるか、あるいは完全に断念するかを決定しなければならなかった。研究者たちは、過信した人々はしばる不適切な情報に基づいて行動しすぎる一方で、不安を感じている人々や恐怖を感じている人々は、チェックを早めに切り上げすぎたり、行動することを恐れたりしたために、多くの好機を逃していることを発見した。

研究では、これらの人々が決定を下す前に、システムが強制的に2つの追加の証拠を待つようにした場合に何が起こるかをテストした。過信した人々にとって、この強制的な休止は命綱となった。それは、彼らが「幻のパターン（実際には単なる偶然の連鎖である、幸運に見える手がかりの連続）」に基づいて行動してしまうのを防いだ。シミュレーションにおいて、これらの追加チェックを義務付けることで、過信した人々が悪い状況下で行うミスは、4.5%から2.1%へと減少した。しかし、すでに証拠を正しく衡量できている人々にとっては、この追加の待機は時間の無駄であり、潜在的な利益をわずかに損なうものであった。このことは、強制的なチェックは急ぎすぎる傾向にある人々には非常に有用であるが、すでに慎重な人々にとっては負担になり得ることを示唆している。

次に、研究者たちは「安心感（リアシュアランス）」の効果をテストした。古代の託宣では、神託が決定に対して「責めを負わない」と約束したり、ランダムな判定が「進め」または「待て」と告げたりすることがあった。シミュレーションにおいて、研究者たちは、不安を感じている人に「待て」と伝え、恐怖を感じている人に「進め」と伝えるシステムをシミュレートした。これにより、待つことによるコストや失敗することによるコストへの不安を実質的に軽減した。この単純な安心感は、不安を感じている人々がプロセスを長く継続する助けとなり、恐怖を感じている人々が証拠が良い場合には行動を起こす助けとなった。恐怖を感じている人々については、「進め」と言われたことで、機会損失の割合が13.8%から2.7%へと低下した。しかし、本研究は重要な警告を発している。もし人々がこの安心感を、単に神経を落ち着かせるための手段としてではなく、世界に関する「新たな証拠」として扱った場合、実際には意思決定を悪化させてしまうということである。恩恵は、その安心感が事実に対する信念を変えることなく、感情的なプレッシャーを軽減した場合にのみ得られた。

研究者たちがこれら2つのアプローチ、すなわち「証拠のための休止を強制すること」と「不安を和らげるための安心感を提供すること」を組み合わせたとき、強力な改善が見られた。混合グループにおいて、この複合的なアプローチは、悪い決定や機会損失を大幅に減少させ、グループ全体の成功率を向上させた。研究は、この保護策をランダムに選ばれた人に提供するのではなく、全員に提供しても、ランダムに選ぶのと同様にうまく機能し、かつより一貫性があることを示した。鍵となったのは、システムが事実を集めるための明確な経路を提供すると同時に、悪い結果に対して非難されるという麻痺するような恐怖から意思決定者を守ったことである。

著者らは、これらの知見を現代のAI監視の問題に適用した。例えば、AIエージェントが新しい家主への送金を提案するシナリオを想定する。もしシステムが、エージェントがどのようにその結論に至ったかを示さずに、単に「はい」か「いいえ」を問うだけであれば、ユーザーは盲目的に信頼するか、あるいは恐怖から拒絶するかのどちらかになりやすい。本研究は、より優れたシステムとは、ユーザーがエージェントが収集した証拠を確認することを義務付け、アクションが許可される前に、おそらく数回の独立したチェックを行う必要があることを示唆している。また、AIを使用している組織が明確な方針を持つことも示唆している。すなわち、ユーザーがルールに従い、証拠をチェックしたにもかかわらず、その行動が失敗した場合、組織はその損失を補償すべきであるという方針である。このように意思決定のプロセスと結果を切り離すことで、人々は自信を持って行動できるようになる。

論文は、効果的な監視とは、単に人間がボタンを押すことではないと結論づけている。それは、証拠のための休止を強制し、計画を解釈する方法を提供し、そしてルールに従った人々へのセーフティネットを提供する構造を必要とするものである。待ち、判断、そして安心感という『易経』に見られる古代のバランスから学ぶことで、私たちは、不可逆的な結果を伴う世界において、人間がより良く、より責任ある選択を行えるようなAIシステムを設計することができる。シミュレーションは、不安と過信を管理するための適切なツールを人々に与えれば、彼らはより大きな成功を収めながら複雑な意思決定をナビゲートできることを示している。