Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
本論文は、大規模言語モデルが明示的な攻撃グラフ構造を与えられた場合には構造化されたサイバーセキュリティの推論を近似できるものの、その意思決定能力は脆弱であり、プロンプトのフレーミングに対して非常に敏感であり、かつ形式的な最適化ベースラインと比較して複雑性に対して堅牢にスケールすることに失敗することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
サイバーセキュリティという極めて緊張感の高い世界において、組織は絶え間なく、目に見えない戦争に直面している。攻撃者はネットワークの弱点を突き、防御をすり抜けてデータを盗み、あるいはサービスを中断させる方法を探っている。防御側は、限られたリソースをどのように投入すべきかを判断しなければならない。あらゆるものを最強の盾で守ることはできないため、どの鍵を設置し、どの警報を設定し、どの扉を強化すべきかを選択しなければならない。これは単なるテクノロジーの問題ではなく、戦略の問題である。それは、攻撃者が取り得るあらゆる経路をマッピングし、どの特定の障壁が最も危険なルートを阻止できるのかを見極めることを要求する。何十年もの間、専門家たちはネットワークを地図として捉え、防御側が先手を打って攻撃者の最善の反応を予測しようとするゲームとして扱い、複雑な数学的モデルを用いてこのパズルを解いてきた。
近年、この領域に新しい種類のツールが登場した。大規模言語モデル（LLM）である。これらは、コードを書いたり、質問に答えたり、膨大な量のテキストを要約したりできる強力な人工知能システムである。これらは、インターネット上で利用可能なほぼすべての公開情報、すなわち数え切れないほどのセキュリティレポートやテクニカルマニュアルを含めて学習されている。彼らはこの分野について非常に多くの知識を持っているため、多くの人々は、彼らが専門家のアドバイザーとして機能し、防御者がより迅速により良い選択ができるよう支援してくれることを期待している。しかし、決定的な疑問が残っている。これらのシステムは、攻撃の論理を真に理解しているのだろうか、それとも単に馴染みのある言葉を認識し、以前に読んだ内容に基づいて推測しているだけなのだろうか。もし防御者が、脅威の根本的な構造を把握せずに専門知識を模倣しているだけのAIに依存してしまった場合、その結果は深刻なものになりかねない。
ある研究チームは、制御された実験を通じてこの問いを検証することにした。彼らはAIにハッキングについての詩を書かせたり、ニュース記事を要約させたりはしなかった。代わりに、彼らはモデルを厳格な意思決定シナリオの中に置いた。彼らは、ランサムウェア攻撃、サプライチェーンへの侵害、産業制御システムへの攻撃など、現実世界の事例に由来する7つの異なる現実的な攻撃シナリオをAIに提示した。各シナリオに対し、研究者はネットワークの詳細なマップを提供し、攻撃者が初期侵入地点から重要なターゲットへとどのように移動できるかを示した。AIには、ファイアウォールや多要素認証といった、それぞれ特定のコストと有効性の評価を持つ、利用可能なセキュリティ制御のリストが与えられた。タスクは単純だが困難であった。特定の予算内に収まるように、攻撃者が成功する確率を最小限に抑える制御の組み合わせを選択することである。
AIがうまく機能しているかどうかを知るために、研究者たちはその選択を「ゴールドスタンダード」と比較した。この基準は、与えられたマップに対して絶対的に最適な防御を見つけ出すために数学者によって構築された、特化したコンピュータプログラムである。このプログラムは推測を行わない。あらゆる可能性を計算し、最も高い保護を提供する単一の戦略を見つけ出す。研究者たちはその後、AIモデルに「審判」としての役割を与え、自分自身の戦略や、数学的プログラムによる戦略、そして意図的に質の低い戦略を含む、さまざまな防御戦略の質を評価させた。また、AIがゼロから問題を解決するためのコンピュータコード自体を記述できるかどうかもテストした。
結果は、「条件付きの有能さ」という姿を明らかにした。研究者が明確で構造化された攻撃経路のマップを与えたとき、モデルはしばなる数学的に完璧な解に近い戦略を生み出した。モデルは、攻撃経路の中間にある重要な接点をブロックすることが、経路の始点にある小さな穴を修正することよりも価値が高いということを理解しているようであった。これらの制御された設定において、AIは単に事実を想起しているのではなく、問題に対して推論を行っているように見えた。しかし、この能力は脆弱であった。研究者が問題の提示方法を変更した瞬間、AIのパフォーマンスは不安定になった。
研究によれば、AIの判断はオプションのラベル付けに強く影響されることが判明した。ある驚くべきテストにおいて、研究者は意図的に弱い防御戦略（ネットワークを無防備にするようなもの）を用意し、それを単に「最適戦略」と改名した。AI評価者がこのラベルを目にすると、彼らはこのひどい防御を、真に数学的に完璧な解決策よりも優れた選択肢として頻繁に評価した。逆に、強力な戦略に否定的なラベルが付与されると、そのスコアは低下した。このことは、AIが防御のセキュリティ論理を深く分析しているのではなく、記述されている示唆的な言葉に反応していることを示唆している。モデルはフレーミングに容易に左右され、実際のコンテンツよりもラベルを優先させていた。
研究者たちはまた、ネットワークの複雑さが増すと、AIが苦戦することも発見した。マップが大きくなり、考え得る攻撃経路の数が増えるにつれ、AIが最善の解を見つける能力は衰退した。いくつかのケースでは、モデルはマップの特定の構造を完全に無視し始めた。攻撃者が辿る可能性のある独自の経路を見る代わりに、彼らは一般的な知識に立ち返り、その制御が実際にそのシナリオの経路を阻止するかどうかに関わらず、暗号化や多要素認証といった業界で有名な制御を選択した。研究者がマップを完全に排除し、テキストによる説明のみに基づいて防御を選択するよう求めたとき、モデルは構造的な推論を完全に放棄した。彼らは、攻撃の固有のトポロジーを無視して、一般的な有効性評価が高い制御を単に選んでいた。
自らのコンピュータコードを書いて問題を解決するよう求められたときでさえ、AIは理解と実行の間にギャップがあることを示した。モデルは正しく見えるコードを生成し、適切なハイレベルのアプローチを使用できたが、より大きなネットワークでテストした際、そのコードは実用的なレベルで動作するほど高速ではなかった。AIが生成したプログラムは、特化した数学的ソルバーよりも解決策を見つけるのに大幅に長い時間を要し、最大のマップにおいては、AIのコードはタスクを完了できずに終わることが多かった。AIは解決策の論理を模倣することはできたが、それを大規模に実行するための堅牢なエンジンを構築することはできなかった。
これらの知見は、大規模言語モデルが専門的なセキュリティアナリストの振る舞いを近似することはできるものの、高リスクの意思決定に必要とされる信頼可能で構造化された推論力を備えていないことを示唆している。彼らは問題が明確に定義され、コンテキストが単純な場合には優れた回答を出すことができるが、プレッシャー、曖昧さ、あるいは誤解を招くラベルの下では、そのパフォーマンスは崩壊する。彼らはまだ、人間の専門家や形式的な数学的ツールに取って代わることはできない。むしろ、提案された内容が厳格で構造化された分析によって検証されることを前提とした、アドバイザーとして機能するのが最適である。研究は、たった一つのミスが大規模な侵害につながるサイバーセキュリティの世界において、AIの直感だけに頼ることはできないと結論づけている。私たちが使用するツールは、単に説得力のあるラベルという「ソフトな力」ではなく、攻撃経路という「硬い論理」に基づいていることを保証しなければならない。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。