Bridging Explanation and Operations: A Systematic Review and Taxonomy of XAI-Enabled Cybersecurity Detection

現代のデジタル防御の世界において、セキュリティチームはもはや、既知の悪質な挙動を捉えるための静的なリストだけに頼ることはありません。代わりに、彼らは人工知能、すなわち膨大なネットワークトラフィックから学習し、侵害の兆候を示すパターンを特定するシステムへと目を向けてきました。これらのシステムは脅威を見つけ出すことに非常に長けており、人間の専門家が見逃してしまうような複雑な攻撃を特定することも多々あります。しかし、この力には代償が伴います。最も高度な学習システムは「ブラックボックス」のように機能するからです。それらはセキュリティアナリストに対し、ある事象が危険であることを伝えることはできますが、なぜそう判断したのかを容易に説明することはできません。誤報が貴重な時間を浪費させ、見逃された脅威が惨事を引き起こしかねない分野において、決定の背後にある理由を知ることは、決定そのものと同じくらい重要なのです。この明快さへのニーズが、「説明可能な人工知能（XAI）」と呼ばれる分野を生み出しました。これは、ブラックボックスを開き、機械の選択の背後にある論理を示すことを目的としています。

キプロス、ノルウェー、ギリシャの大学の研究チームは、最近、この分野の現状をサイバーセキュリティに特化してマッピングする試みを行いました。彼らは、2020年から2026年の間に発表された数百の研究に対して大規模かつ体系的なレビューを実施し、これらの説明ツールがネットワーク、デバイス、および産業システムを保護するためにどのように使用されているかを調査しました。「説明と運用の架け橋（Bridging Explanation and Operations）」と題された彼らの研究は、単に新しい技術を列挙するだけではありません。これらのツールが実際にどのように構築され、テストされ、実世界で使用されているのかを解剖しています。研究者たちは、技術は大幅に進歩しているものの、説明を生成する能力と、それを信頼してライブセキュリティセンターで行動に移せる能力との間には、決定的な溝が存在することを発見しました。

研究者たちは、企業ネットワークをガードする侵入検知システムから、スマート工場を保護するセンサー、そしてモノのインターネット（IoT）のデバイスに至るまで、幅広いデジタル戦場をカバーする研究を調査しました。彼らは、調査結果を明確なフレームワークに整理しました。それは、解決しようとしている特定のセキュリティ問題の種類、解決に使用される学習アーキテクチャ、決定を説明するために選ばれた手法、そして結果がどのように評価されたかという4つの主要な領域です。明らかになったのは、特定のアプローチが支配的な風景でした。ほとんどの研究者は、非常に高精度で複雑な機械学習モデルを採用し、それが作業を終えた後に、その決定を説明するための別のツールを付加しています。これは「ポストホック（事後的）」な手法として知られており、家が建てられた後に、塗装の層のように説明が付け加えられるものです。この役割のための最も一般的なツールは、最終的な決定に対してどのデータポイントが最も重要であったかを算出する2つの特定の技術です。このアプローチは高い精度を可能にしますが、研究者たちは、これが説明を設計の不可欠な一部としてではなく、後付けの事項として扱っていることが多いと指摘しました。

また、このレビューは、これらのシステムがテストされる方法における著しい不均衡についても浮き彫りにしました。分析された研究の大部分において、研究者たちは、精度やエラー率といった標準的なスコアを用いて、システムがいかに攻撃を検知したかにほぼ完全に焦点を当てていました。説明自体の質をテストするためにさらに踏み込んだ研究は極めて少数でした。研究者たちは、説明は説得力があるように見えても、根本的に間違っていたり、不安定であったり、あるいは巧妙な攻撃者によって簡単に欺かれたりする可能性があると指摘しました。彼らは、説明の安定性（同様の攻撃に対して同じ理由を示すかどうか）や、操作に対する耐性といった特性が、ほとんど測定されていないことを発見しました。攻撃者が検知システムを欺こうと積極的に試みるサイバーセキュリティというハイステークスな環境において、操作可能な説明は危険な負債となります。論文は、現在の分野は、検知器が機能することを証明することに集中しすぎており、説明が信頼できることを証明することには十分に注意を払っていないと示唆しています。

もう一つの大きな発見は、これらのツールによる人間（セキュリティアナリスト）による実用性に関するものでした。レビューによれば、多くの論文がアラートが発せられた理由を示すために色彩豊かなチャートやグラフを作成していますが、それらの視覚情報が人間のアナリストによるより良い、あるいはより迅速な判断を実際に助けるかどうかをテストしたものはほとんどありませんでした。研究者たちは、現実世界のセキュリティオペレーションセンターでは、アナリストは大量のアラートに圧倒されており、迅速な判断を下さなければならないことを観察しました。技術的には正しくても、複雑すぎたり処理に時間がかかったりする説明は、負担を軽減するどころか、むしろ負担を増やすことになります。研究では、現在の研究が人間のユーザーに対する認知負荷や、説明を生成するのにかかる時間を考慮できていないことが多いことが判明しました。これは脅威がリアルタイムで進行している場合には極めて重要です。

著者らはまた、この分野がこれらのシステムをテストするために、少数の標準的なデータセットに大きく依存していることも指摘しました。これらの共有データセットにより、研究者は結果を比較できますが、レビューは、この慣行が誤った安心感を生んでいる可能性があることを示唆しています。これらの特定の、よく知られたデータセット上で完璧に動作するシステムは、ライブネットワークの乱雑で予測不可能な現実に直面すると苦戦することが多いのです。研究者たちは、これらのツールが真に有用であるためには、データが不完全であったり、環境が絶えず変化したりするシナリオを含む、より現実的な条件下でテストされなければならないと主張しました。また、説明能力を後から追加するのではなく、最初からモデルに組み込むシステムの研究を増やすよう呼びかけました。その方が、より信頼性が高く堅牢なセキュリティツールにつながる可能性があるからです。

結局のところ、この包括的なレビューは、デジタル防御の未来へのロードマップとして機能します。それは、私たちが脅威を見つけるために機械を教えることには大きな進歩を遂げたものの、それらが人間にとって信頼でき、効果的に使用できる方法で自らを説明するように教えるという問題は、まだ完全には解決していないことを裏付けています。研究者たちは、次のステップは単に賢い検知器を構築することではなく、説明が検知そのものと同様に安全で、安定しており、信頼できるシステムを構築することであると結論付けています。単に説明を生成することから、それらを現実世界の脅威や人間のニーズに対して厳格に検証することへと焦タスを移すことで、この分野は、人工知能が私たちのデジタル世界を守るための、真に透明で頼りになるパートナーとなる未来へと進むことができるのです。