Practical Judgment, Virtue, and Intuition in the Use of Opaque AI-Enabled Systems

あなたは、ルールが理解できない言語で書かれており、ゲームエンジンが「ブラックボックス」であるハイステークスなビデオゲームをプレイしているところだと想像してください。あなたは入力（ボタンを押すこと）と出力（キャラクターがジャンプすること）を見ることはできますが、その中にあるコードがどのようにしてそのジャンプを決定したのか、その仕組みについては全く知りません。次に、同じブラックボックスが戦車を運転したり、ドローンを操縦したり、あるいは自律的に生死を分ける決断を下している場面を想像してください。これが「不透明なAI（opaque AI）」の世界です。システムは機能していますが、その内部の仕組みは隠されており、予測不可能で、人間が完全に理解することはしばに不可能なのです。

この論文の著者であるネイサン・ガブリエル・ウッドとアンドリュー・P・レベラは、懸念を抱いています。彼らはこう問いかけます。もし機械がどのように考えているかが見えず、かつ機械が自律的に行動できるとしたら、どうすれば機械が致命的な間違いを犯すのを防げるのだろうか？

問題点：「ブラックボックス」と「オートパイロット」

不透明さは、手品のようなものだと考えてください。あなたはウサギが現れるのを見ますが、その仕掛けは見えません。機械が「不透明」であるとき、たとえその製作者であっても、なぜ特定の出力が選ばれたのかを常に説明できるとは限りません。ここに「自律性」が加わると、事態は恐ろしいものになります。

セキュリティカメラ（不透明なシステム）が人物を検知し、その人物を「脅威」としてフラグを立てる場面を想像してください。

• シナリオA（人間がコントロールしている場合）： カメラが人物にフラグを立てます。人間の警備員がそのフラグを確認し、ビデオを見て、それが単に水着を着た人（「裸の兵士」シナリオ）であることに気づき、アラームを止めます。人間がミスを補います。
• シナリオB（自律的な場合）： カメラがロボット兵士に接続されています。カメラは水着の男を脅威としてフラグを立て、誰にも確認することなく、ロボット兵士が発砲します。システムが不透明であるため、誰もそれがミスを犯すとは予期しておらず、また自律的であるため、人間が間に合って「ストップ」ボタンを押すこともできませんでした。

論文では、これを単に優れた技術（「説明可能なAI」やXAIなど）だけで解決しようとすることは不十分であると論じています。時には、数学が説明するにはあまりにも複雑すぎたり、システムが変化する速度が速すぎて、説明が書き上げられる前に使い物にならなくなったりすることがあるからです。

解決策：「徳のあるパイロット」

ブラックボックスを透明にする（それは不可能かもしれない）代わりに、著者たちは、人間ができる唯一のこと、すなわち「人間の直感と人格」に頼ることを提案しています。

彼らは、謎めいた自律型機械に対する最善の防御策は、実用的な判断力、徳、そして直感を備えた人間であると提唱しています。

これは犬の訓練に似ています。あなたは犬に対して、「もしボールが赤ければ取ってこい、青ければ無視しろ」といった厳格なルールブックでプログラムするわけではありません。経験、反復、そして信頼の絆を通じて犬を訓練します。最終的に、犬は奇妙な状況においても、それが「正しい判断」を持っているため、何をすべきかを知っているのです。

著者らは、軍関係者（およびその他の専門家）も同様に訓練されるべきだと主張しています。彼らは「徳のある人格」――勇気、誠実さ、抑制といった特性――を養う必要があります。これにより、以下のことが可能になります。

1. 「雰囲気」を感じ取る： 熟練した動物のハンドラーが、耳のわずかな動きから動物が飛び出そうとしていることを察知するように、熟練した人間オペレーターは、たとえコードが見えなくても、AIシステムが挙動不審になっていることを察知できます。
2. 「裸の兵士」を見抜く： 機械は入浴中の人を「標的」と見なすかもしれません。しかし、優れた判断力を持つ人間は、文脈を理解し、「待て、あれは脅威ではない」と考えます。
3. 「ノー」と言うタイミングを知る： 最も重要な判断とは、そのシステムを「使うかどうか」を決めることです。

判断力は有限のバッテリーである

ここには、この論文における極めて重要な転換点があります。判断力はリソースであるということです。それはバッテリーのようなものです。

何か困難な決断を下すたびに、あなたの「判断力のバッテリー」は消費されます。疲れていたり、ストレスを感じていたり、あるいは圧倒されていたりすると、バッテリーは急速に消耗します。もしバッテリーがゼロになれば、あなたは危険な間違いを犯し始めます。

著者らは、不透明なAIを使用するための新しいルールを提案しています。ブラックボックスを起動するのは、あなたの判断力のバッテリーが切れそうになった時だけにするというルールです。

• もしエネルギーと時間に余裕があるなら、自分の脳を使いなさい。
• もし状況があまりにも過酷で、自分一人で全てをやろうとすることでるはずの致命的なエラーを犯しそうになるほど燃え尽きそうになった時、その時に初めて、いくつかのタスクを不透明なAIにオフロード（委託）することができるのです。

これは、AIが「より賢い」からといって、AIに主導権を渡すことではありません。人間が限界に達した時のための、緊急用のバックアップとしてAIを使うということです。もし、まだ十分な判断力が残っている状態でAIを使うならば、それは貴重な人間のスキルを浪費し、「脱技能化（デスキリング：自分でやり方を忘れてしまうこと）」のリスクを冒していることになります。

この論文が言っていないこと

この論文が約束していないことも知っておく必要があります。

• AIが安全だと言っているわけではありません。 著者らは、これらのシステムがリスクを孕み、予測不可能であることを認めています。
• ブラックボックスを修正できると言っているわけではありません。 多くの現代的なAIシステムにおいて、完全な透明性は不可能であると彼らは主張しています。
• ルールが無用だと言っているわけではありません。 ルールや技術的な修正は依然として必要ですが、それだけでは不十分なのです。
• 誰もがこれを実行できると言っているわけではありません。 論文は、必要な人格（誠実さ、自己省察、勇気）を欠いている人物は、これらのシステムを運用させるべきではないと明言しています。実際、彼の上司は彼からその決定権を取り上げるべきなのです。

「スイスチーズ」安全モデル

著者らは、最後に「スイスチーズモデル」と呼ばれる視覚的なアイデアで締めくくっています。安全性をスイスチーズの塊だと想像してください。各層（ルール、技術、トレーニング）には穴が開いています。もしその穴が一直線に並んでしまうと、災難が起こります。

著者らは、人間の徳と判断力もまた、チーズの一片であると示唆しています。それらは全ての穴を塞ぐわけではなく、全ての災難を防ぐわけでもありません。しかし、それらを技術的な修正や制度的なルールの上に積み重ねることで、穴が一直線に並ぶ可能性を低くすることができるのです。

要約すると、私たちは常に機械の内部を見通せるわけではなく、機械が何を成すかを常に予測できるわけでもありません。しかし、人間を賢明で、誠実で、自己認識の高い存在へと訓練し、真に圧倒された時にのみこれらの謎めいた機械を使用させることで、リスクが悲劇へと変わるのを防ぐことができるのです。これは魔法のような解決策ではありません。人間がループの中にいる限り、その人間が方程式の中で最も賢く、最も慎重な部分であり続けられるようにするための方法なのです。