Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

全体像：「ヒューマン・イン・ザ・ループ」の問題

高度なオートパイロット機能を備えた車を運転しているところを想像してみてください。法律では、車がミスをした場合に備えて、ハンドルに手を置き、いつでも操作を引き継げる状態にしておくことが義務付けられています。これが、欧州連合（EU）の**AI法（AI Act）**が「人間による監視（human oversight）」と呼んでいるものです。

しかし、この論文の著者たちは、**オートメーション・バイアス（自動化バイアス）**と呼ばれる、人間の心理における危険な欠陥を指摘しています。これは、GPSがあまりに頼りになるので、たとえGPSが自分を湖の中に導こうとしていても、道路から目を離してしまう乗客のようなものです。人間は自然と機械に過度に依存し、「機械は常に正しく、自分の判断は間違っている」と思い込んでしまう傾向があります。

AI法は、この問題を明示的に名示した初めての法律です。この法律は、これらのAIシステムを構築する企業に対し、監視している人間が「自分は機械を信じすぎている可能性がある」ということを**認識（aware）**していなければならないと定めています。

主な問題：その「欠陥」の責任は誰にあるのか？

この論文は、法律にミスマッチがあることを指摘しています。それは、建築家に対して、設計図ではなく施工業者（ビルダー）にしか解決できない問題を修正するように命じているようなものです。

1. 建築家（AIプロバイダー）： 法律は、AIを作る企業に対し、人間が機械を過信してしまうリスクについて、オペレーターに周知させるよう求めています。彼らは、人間が警戒心を維持できるようなシステムを設計しなければなりません。
2. 施工業者（AIデプロイヤー）： これは、実際にAIを使用している企業や個人です（例：患者の診断にAIを使う病院や、ローンの承認にAIを使う銀行など）。

ミスマッチ： 論文では、「オートメーション・バイアス」は単に機械のデザインによって引き起こされるだけでなく、環境によっても引き起こされると説明しています。オペレーターは疲れていませんか？ 過度なプレッシャーを感じていませんか？ オフィスは騒がしくありませんか？ 受けたトレーニングは適切ですか？

• **建築家（プロバイダー）**は、**施工業者（デプロイヤー）**の従業員がどれほど疲れているかをコントロールすることはできません。
• **施工業者（デプロイヤー）**は、職場環境、トレーニング、および業務量をコントロールしています。

著者らは、施工業者の職場で発生する問題に対して、建築家だけに責任を負わせるのは不公平であると主張しています。人間が警戒心を維持するためには、両者が責任を持つ必要があります。

「意識（Awareness）」の罠：誰かが「意識していなかった」ことを証明できるのか？

法律は、人間が自身のバイアスを「認識（aware）」していることを求めています。著者らは、厄介な法的問いを投げかけています。「ある人が意識していなかった」ということを、裁判でどうやって証明するのでしょうか？

• 「読心術」の問題： 人の脳の中を覗いて、「よし、このAIをダブルチェックしよう」と考えていたかどうかを確認することはできません。
• 「グラウンド・トゥルース（正解）」の問題： 人間がバイアスによるミスをしたかどうかを知るには、「正しい答え」を知る必要があります。しかし、多くのケース（採用決定や法的判断など）において、全員が同意する唯一の「正解」は存在しません。もしAIが「この人を採用せよ」と言い、人間が「ノー」と言った場合、どちらが正しいのでしょうか？ もし人間がAIを盲信して「イエス」と言った場合、もし「真実」自体が存在しない可能性がある中で、どうやってその人がバイアスに陥っていたと証明できるのでしょうか？

このため、論文は、この法律の違反を証明することは非常に困難であると示唆しています。それは、単に一つの悪い決定を見るのではなく、システムがバイアスを助長するように設計されていたかどうかについて、**専門家証人（心理学者）**が証言することに依存することになるでしょう。

「過剰修正」のリスク

著者らはまた、副作用についても警告しています。もし私たちが人間に「AIを信じるな！」と言えば、彼らは逆方向に振れてしまうかもしれません。

• 例え話： 教師が生徒に「電卓を信じるな」と言ったとします。すると生徒は、電卓が正しくてもそれを無視し始め、手計算をしてミスを犯すようになるかもしれません。
• これは**アルゴリズム嫌悪（Algorithm Aversion）**と呼ばれます。もし人間が過剰に反応してAIを拒絶しすぎれば、テクノロジーの恩恵を失ってしまいます。現在の法律は、AIを信じすぎるリスクにのみ焦点を当てていますが、結果として、人間がAIを信じなさすぎるという新しいバイアスを意図せず生み出してしまう可能性があります。

ルールの「抜け穴」

論文は、巧妙な抜け穴を指摘しています。AI法には、厳格なルールに従わなければならない「ハイリスク」なシステムのリストがあります。しかし、「もしAIが人間を置き換えるのではなく、単に人間を補助しているだけなら、それは『ハイリスク』ではないかもしれない」というルールが存在します。

著者らは、これは危険であると主張しています。たとえAIが単に「補助」しているだけであっても、人間は依然としてその助言を盲信する（オートメーション・バイアス）可能性があるからです。企業に自社のAIが「ハイリスク」かどうかを判断させることで、人間が依然として機械に過度に依存しているにもかかわらず、誰もそれをチェックしないという危険な状況が、法の網の目から漏れてしまう可能性があります。

解決策：法律ではなく、科学を見る

著者らは、現在の法律はあまりに曖昧であり、単一の心理学的概念（オートメーション・バイアス）に依存しており、それをどう解決すべきかを説明していないと結論づけています。

彼らは解決策として、**「整合化された標準（Harmonized Standards）」**を提案しています。
これらを、法律が要求する「取扱説明書」だと考えてください。著者らは、これらのマニュアルが以下の条件を満たすべきだと提案しています。

1. 最新の科学を参照すること： 単に「意識せよ」と言うのではなく、「人間がAIとどのように相互作用するかに関する最新の研究に従え」と具体的に示すべきです。
2. すべてのバイアスを含めること： AIを信じすぎることだけに焦点を当てるのではなく、人間がテクノロジーに対してミスを犯すあらゆる方法を考慮すべきです。
3. 全員に責任を持たせること： AIを構築する側と、使用する側の両方が、人間のオペレーターが鋭敏な状態を維持できるように責任を負うべきです。

まとめ

この論文は、EUの新しいAI法が、人間の心理的問題（機械への過度な信頼）を解決しようとしているものの、誰がそれを解決する責任を負うのか、あるいはどのように解決されたかを証明するのかについて、まだ明確な答えを出せていないという警告です。著者らは、法律がより柔軟で、実際の科学的研究に基づいたものとなり、AIの創造者と利用者の双方が、人間がコントロールを維持するための責任を共有するようにすることを求めています。