Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

あなたは、話すことができ、考えることができ、人々を助けることができるロボットを作ろうとしていると想像してください。あなたは、そのロボットが安全であり、誤って誰かを傷つけたり、意地悪なことを言ったりしないようにしたいと考えています。これを行うために、科学者たちはテストを行ってきました。しかし、ここにはトリッキーな点があります。こうしたテストのほとんどは、ロボットが「別のロボット」と会話するというビデオゲームのようなものです。彼らは人間がどのように反応するかをシミュレートしたり、数学を使ってロボットがルールに従っているかどうかをチェックしたりします。これは、速くて安く、1日に100万回の「ロボット対ロボット」のゲームを実行することも簡単です。

しかし、ビデオゲームをプレイするだけでは大きな問題があります。ロボットが別のロボットに対してテストに合格したからといって、それが、現実の、混沌としていて感情的な人間と出会ったときに安全であるとは限らないからです。本物の人間は複雑です。彼らは混乱し、感情を抱き、シミュレーションでは決して起こり得ないような方法でロボットを欺くこともあります。この論文は、シンプルですが非常に大きな問いを投げかけています。「なぜこれほど多くの科学者が、現実の人間に実際に話を聞いて何が起こるかを確認する代わりに、依然としてロボットを使ったビデオゲームを続けているのでしょうか？」

---

偉大なるロボットテスト：なぜシミュレーションだけでなく、現実の人々が必要なのか

この論文は、AIセーフティ（AIの安全性）の世界における奇妙なギャップを調査する、探偵小説のようなものです。研究者たち（トロント大学やマギル大学などの大学から集まった専門家チーム）は、なぜ「AI安全性と倫理（以下、AISEと呼びます）」という分野が、実験に実在の人間を使うことをこれほどまでに躊躇しているのかを理解したいと考えました。

AISEを、人々が最も安全で倫理的なロボットを作ろうとしている巨大なワークショップだと考えてください。このワークショップの中には、さまざまな専門家グループが存在します。コードや数学、シミュレーションを愛する「テクニカル（技術的）」な魔法使いもいれば、テクノロジーと人間が実際にどのように感じ、どのように相互作用するかを重視する「ソシオテクニカル（社会技術的）」な探偵もいます。また、ルールや法律を考える「ガバナンス（統治）」の人々や、何が「正しい」か、あるいは「善」であるかを考える「ノーマティブ（規範的）」な思想家もいます。

論文の主な発見は、全員がワークショップ内で「実在の人間と話すことは極めて重要である」と同意している一方で、「テクニカル」なグループがそれをほとんど無視しているということです。彼らは、高速でクリーンなコンピュータ・シミュレーションを好みます。著者らは、これはテクニカル・グループが効率を優先しているからだけではなく、彼らが何をもって「証拠」とみなすかという考え方自体が異なっているからだと指摘しています。

「ビデオゲーム」対「現実世界」

著者らは、大きな隔たりについて説明しています。テクニカルな研究者は、しばしば人間を数式の中の変数として扱います。彼らは定規やストップウォッチで物事を測定したいと考えています。完璧に測定できないのであれば、彼らはそれを信頼しないことが多いのです。彼らは、実在の人々と話すことは「厄介（メッシー）」だと考えています。

あなたが新しい橋のテストをしている場面を想像してみてください。

• シミュレーション・アプローチ： コンピュータ上に完璧なデジタルの橋のモデルを構築します。そこに100万回の暴風雨を流し込みます。コンピュータは「100%安全です！」と言います。これは速くて安上がりです。
• 人間による研究アプローチ： 実際に橋を建設し、現実の人々にその上を歩いてもらいます。何人かの人が恐怖を感じたり、コンピュータが予測したものとは異なる風を感じたり、あるいはモデルでは予測できなかった揺れが橋に発生したりするかもしれません。

論文は、AISEが現在、コンピュータ・モデルに執着していると示唆しています。彼らはAIが安全かどうかを確認するために、何十億ものシミュレーション（前述の「ビデオゲーム」のようなもの）を実行しています。しかし、著者らはこれはリスクが高いと主張しています。もしコンピュータの中でしか橋のテストを行わなければ、風が吹いたときに人々がパニックに陥ることや、橋が人々を怖がらせるような奇妙な音を立てることに気づかない可能性があるからです。

「ヒューマン・ウォッシング」の罠

論文が警告している最も興味深いことの一つは、著者らが「ヒューマン・ウォッシング（人間による洗浄）」と呼ぶ現象です。これは、製品が実際には環境に優しくなくても、ボトルに葉っぱの絵を描いてエコに見せる「グリーン・ウォッシング」のようなものです。

「ヒューマン・ウォッシング」は、研究者が単にチェックボックスを埋めるためだけに「ねえ、何人かの人と話しましたよ！」と言うときに起こります。しかし、彼らは本当に人々の声を聞いたわけでも、正しい質問をしたわけでもありません。彼らは、自分たちの研究が本当の人間研究を行っているように見せるために、研究に数人の人間を付け加えただけであり、実際には手法を変えていません。著者らは、これは誤った安全感を与えるため危険であると述べています。それは、壁に偽の消火器を設置するようなものです。準備ができているように見えますが、いざ火災が発生したときには機能しません。

壁：なぜ単にそれを行わないのか？

「誰もが人間による研究が良いと同意しているなら、なぜもっと行わないのか？」とあなたは思うかもしれません。論文は、彼らを阻んでいる3つの大きな壁を見つけました。

1. お金と時間の壁： 実在の人間と話すことは、コストがかかり、時間がかかります。著者らは、コンピュータ・シミュレーションの実行コストが1,000ドル未満である可能性があると指摘しています。しかし、実在の人々を対象とした本格的な研究はどうでしょうか？ それには30万ドル以上の費用がかかることもあります。さらに、適切な人々を見つけ、倫理委員会の許可を得て、テストを実施するには数ヶ月を要します。それは、ケーキの絵を描くことと、パーティーのために巨大なケーキを実際に焼くことの違いのようなものです。
2. メンター（指導者）の壁： 多くの若い研究者は実在の人々を研究したいと考えていますが、彼らの上司（メンター）はそれをやめるよう指示します。論文には、学生たちがアドバイザーから「そんなことはしないで、それは『本物の』科学ではない」「コードに集中しなさい」と言われたエピソードが紹介されています。これにより、若い科学者たちは、人間研究を行うことが自身のキャリアを損なうと考えて、挑戦することを恐れるようになります。
3. 「汚れたデータ」の壁： テクニカルな研究者は、人間のデータを扱うことにフラストレーションを感じることがよくあります。人間は常に同じように回答するわけではありません。嘘をついたり、疲れたり、あるいは奇妙なことを言ったりします。完璧な数字を愛するコンピュータ科学者にとって、これはシステム内の「バグ」のように感じられます。しかし、著者らは、この「厄介さ（メッシーさ）」こそが、それが現実の生活である以上、最も重要なデータであると主張しています。

「望むこと」と「行うこと」の間のギャップ

研究者たちは93人の専門家に調査を行い、17人に詳細なインタビューを行いました。その結果、巨大なギャップが見つかりました。ほぼ全員が、人間による研究をもっと行いたいと「言って」いました。彼らはそれが価値があると同意していました。しかし、実際に人々が「何を行っているか」を見たとき、その数字ははるかに低かったのです。

それは、ジムに通う全員が「本当にフィットネスを目指してウェイトを持ち上げたい」と言っているのに、器具を見ると、誰も実際にウェイトを持ち上げていないような状態です。彼らはただ、ウェイトについての本を読んでいるだけなのです。テクニカル・グループは、ウェイトを持ち上げることに最も消極的であり、本の（シミュレーションの）方を好みました。

私たちは何をすべきか？

この論文は問題を指摘するだけでなく、解決策もいくつか提示しています。

• 「ヒューマン・ウォッシング」を止める： 人間を含める場合は、それを適切に行う必要があります。人間を単なる小道具として扱うのではなく、彼らの時間を尊重し、彼らの言葉に耳を傾ける必要があります。
• お金を変える： 資金提供団体（助成金を出す人々）は、人間による研究にはより多くのコストがかかることを認識する必要があります。これらのプロジェクトがコストの高さによって押しつぶされないよう、より多くの資金を提供すべきです。
• チームを混ぜる： コードの魔法使いと人間に関する専門家が、最初から共に働くチームをもっと増やす必要があります。現在は、彼らはしばしば別々の部屋で作業しています。著者らは、もしテクニカルな研究者が安全なAIを作りたいのであれば、人間が実際にどのように行動するかを理解しているソシオテクニカルな研究者と話し合う必要があると示唆しています。

結論

この論文は、AIセーフティの分野が現在、完璧なコンピュータ・モデルに集中しすぎており、人間という混沌とした現実世界に十分に注意を払っていないことを示唆しています。シミュレーションは有用ですが、実在の人々と対話することからしか得られない真実に取って代わることはできません。もし私たちが真に安全なAIを構築したいのであれば、人間を数学の問題の中の変数として扱うのをやめ、彼ら自身の人生の専門家として扱い始める必要があります。

著者らは、シミュレーションが悪いと言っているのではなく、シミュレーションだけに頼ることは、水についての本を読んで泳ぎ方を学ぼうとするようなものだと言っています。あなたは、実際に濡れる必要があるのです。そして現在、AIセーフティ・コミュニティのほとんどは、濡れることなく、本を読みながら、水が安全であることを祈っているのです。