The Contribution of XAI for the Safe Development and Certification of AI: An Expert-Based Analysis

あなたは、完璧なラザニアを素早く作り上げることはできるものの、中身が全くわからない「ブラックボックス」である、超スマートなロボットシェフを開発したと想像してください。あなたが「なぜ塩を多めに入れたのですか？」と尋ねても、そのロボットはただ光る画面を見つめて黙り込み、秘密のレシピを説明することを拒みます。これは、多くの現代的な人工知能（AI）システムが抱える問題です。彼らは意思決定を行いますが、正確に「どのように」、あるいは「なぜ」そうしたのかは誰にも分かりません。

次に、そのロボットを実際のレストランで調理させる前に、厳格な安全検査官から認証を受ける必要があると想像してください。検査官は言います。「あなたのロジックを理解できない限り、承認はできません」。ここで登場するのが**XAI（説明可能なAI）**です。これは、ブラックボックスの中を覗き込み、ロボットの秘密の思考を人間の言葉へと翻訳するために設計された、新しい一連のツールです。

しかし、ここにひねりがあります。ベンジャミン・フレス（Benjamin Fresz）氏とその同僚たちが率いる研究チームは、XAIが認証を得るための魔法の鍵となるのかどうかを問うため、15人の専門家（ロボットの構築方法と、それらを検査する方法の両方に精通している人々）に調査を行いました。彼らはコンピュータ・シミュレーションを実行したり、新しいロボットを作ったりしたわけではありません。ただ人間に話し、彼らの現実世界の物語に耳を傾けたのです。

大きな発見：魔法の杖ではなく、頼もしいサイドキック

主な結論は、少し現実的なものです。専門家たちは、Xate XAIはAIを構築する人々にとっての**非常に有益なサイドキック（相棒）**であるという点で一致しています。それは、ロボットの散らかったキッチンを覗き込み、「おい、トマトが酸っぱかったから塩を入れているんだよ」とか、「おっと、ロボットに与えたデータが塩分の多いレシピに偏っていたから塩を加えているんだね」と言ってくれる探偵のようなものです。

この役割において、XAIはデバッグに優れています。開発者がエラーを特定し、バイアスを見つけ、モデルがラボを出る前にどこで間違っているのかを理解するのを助けてくれます。ある専門家は、XAIが人間が見落としていたデータ内の新しく妥当なパターンを見つけるのに役立ったと指摘しました。

しかし、公式な認証（「これは安全に使用できる」という承認のスタンプ）に関して言えば、専門家たちの意見は非常に懐疑的です。彼らは、XAIは完全な解決策ではないと主張しています。XAIの説明をひとまとめにして検査官に渡し、「ほら、安全ですよ！」と言うことはできないのです。

なぜXAIは最終回答ではないのか

論文では、いくつかの一般的な考えを明確に否定しています。

1. XAIは「真の」説明ではない： 著者らは、複雑なAIにとって「真の」説明は不可能かもしれないと示唆しています。ある専門家は、人間の思考と比較しました。人間は、自分の行動に対して後付けで理由を作ることができます（例えば「気分で塩を入れた」と言うなど）。しかし、それは本当の理由（一瞬の直感など）ではありません。同様に、XAIは人間が理解できる理由を提示するかもしれませんが、本当の理由は、人間が到底把握できない数百万もの計算の中に埋もれているのです。
2. XAIは単独の安全保証にはならない： 論文は、XAIだけでシステムを認証できるという考えに異議を唱えています。専門家は、現在のXAIの手法は扱いにくい場合があることを指摘しています。時には、同じ決定に対して異なるXAIツールが異なる説明を出すことがあり、「どちらが正しいのか？」と疑問を抱かせます。それは、3人の異なる探偵に犯罪現場の説明を求めた結果、全員が異なるストーリーを語るようなものです。
3. XAIは「検査官のブラックボックス」を解決しない： XAIが、AIというブラックボックスを、XAIツールという別のブラックボックスに置き換えてしまうリスクがあります。もし、AIを説明するために使われるツール自体も謎に包まれているとしたら、どうやってそれを信頼できるのでしょうか？

「エビデンス（証拠）」の問題

ここで、専門家たちが提起した非常に興味深い点があります。従来の安全チェックでは、検査官は製造業者が提供する証拠を信頼します。しかしAIの場合、もし製造業者が、見た目は良くても実際には間違っている説明を生成するためにXAIを利用していたらどうなるでしょうか？論文は、そのXAIの説明自体が「正しい」かどうかをチェックする方法が、今のところ存在しないことを示唆しています。それは、生徒がエッセイを書くようなものです。私たちはその内容を読むことはできますが、教師の採点基準を知らなければ、そのエッセイが本当に真実であるかどうかは分からないのです。

専門家たちが望むこと

専門家たちは、XAIが無用だと言っているわけではありません。彼らは、XAIが「大人になる」必要があると言っています。彼らが望んでいるのは以下の通りです。

• より優れたツール： 単なる画像の「ヒートマップ」ではなく、時系列データ（時間の経過とともに変化するデータ）やテキストなどを説明できる新しいタイプの説明。
• 明確なルール： 現在、どの程度の説明が「十分」であるかについての標準的なルールはありません。専門家は、企業が検査官に何を提示すべきかを正確に知ることができるよう、レシピカードのような明確なガイドラインが必要だと述べています。
• ヒューマン・イン・ザ・ループ（人間が介在すること）： 彼らは、人間がプロセスの中に留まり続ける必要があることを強調しています。検査官は依然としてXAIの出力を確認し、それが理にかなっているかどうかを判断しなければなりません。

結論

では、XAIは安全なAIへの魔法の鍵なのでしょうか？完全にはそうではありません。

論文は、XAIはバグを見つけ、AI開発者を賢くするための価値ある資産であることを示唆しています。それは暗い部屋の中の非常に優れた懐中電灯のようなものです。罠がどこにあるかを見つける手助けをしてくれます。しかし、それは証明書そのものではありません。懐中電灯を安全検査官に振って見せるだけで、建物の使用許可が下りると期待することはできないのです。

専門家たちは、AIが真に認証されるためには、より良いテスト、形式的な数学的証明、そしてXAIがパズルのピースの一つであるという、これらを組み合わせたものが必要だと考えています。「十分な説明」を測定する方法についての明確なルールができるまでは、XAIは構築者にとっての有益なツールであり続け、安全検査官にとっての最終回答にはならないでしょう。