Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
本論文は、攻撃的タスクと防御的タスクの間で異なるスケーリング挙動を明らかにする、セキュリティエージェントのためのコストを考慮した評価フレームワークを導入しており、攻撃性能は計算量の増加に伴い向上する一方で、防御の成功は生の推論予算よりも、規律あるツールの使用や運用効率に依存することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
AIが単に詩を書くチャットボットではなく、デジタル探偵であり、かつデジタルの泥棒でもある世界を想像してみてください。これがサイバーセキュリティの最前線です。そこでは、コンピュータはシステムの弱点を見つけるためにシステムに侵入するように（「攻撃」側）、あるいはデジタル犯罪現場を調査して攻撃を阻止するように（「防御」側）訓練されます。長い間、これらのAIエージェントをテストしてきた科学者たちは、ある単純な問いを投げかけてきました。「もし無制限の時間と資金を与えたら、このAIはどれほど難しいパズルを解くことができるのか？」という問いです。これは、ガソリン代を無視して、タンクが空になるまでレースカーを走らせてテストするようなものです。しかし現実の世界では、AIが行う一歩一歩――それが発するあらゆる質問や、チェックするあらゆるデータベース――が、実際のお金（コスト）となります。もしAIの稼働コストが高すぎるなら、どんなに賢かったとしても、実際のセキュリティチームにとっては役に立ちません。本論文は、より実用的な問いを投げかけます。「このAIは、特定の予算内で実際にどれほどのことができるのか？」
研究者のポール・カシアニク、ブレイン・ネルソン、ヤロン・シンガーは、単にAIが解いたパズルの数を数えるのをやめ、その「値札」を数え始めることにしました。彼らは、AIエージェントに2つの全く異なる種類の挑戦を課しました。第一に、「Capture the Flag (CTF)」ミッションです。これは、AIがサンドボックス化されたコンピュータにハッキングして秘密のコードを見つけ出す、デジタル版のスカベンジャー・ハントのようなものです。第二に、「Security Operations Center (SOC)」ミッションです。これは、誰が会社に侵入し、どのように行ったのかを突き止めるために、膨大な量のセキュリティログを精査しなければならない、デジタル版の探偵業務のようなものです。
ここで、彼らが発見した驚きの事実があります。攻撃と防御では、スケール（規模の拡大）の仕方が全く異なるということでした。AIがハッカーの役割（攻撃側）を演じているとき、より多くの思考や再試行のために資金を与えることは、通常、効果がありました。それは、探偵に手がかりを読み返すための時間をより多く与えるようなものでした。リソースが多ければ多いほど、事件を解決できる可能性が高まったのです。一部のオープンソースモデルは、適切な予算を与えられると、最も高価なトップクラスの商用モデルにさえ追いつくことができました。
しかし、AIが探偵の役割（防御側）を演じているときには、問題に対してさらなる資金を投入しても、必ずしも賢くなるわけではありませんでした。実際には、最も優れた成績を収めたのは、規律のあるモデルでした。彼らは、いつ立ち止まるべきか、いつ助けを求めるべきか、そしていつ予算を節約すべきかを正確に理解していました。この研究では、こうした調査において、成功の鍵はどれほど多くのツールを使ったか、あるいはどれほど長く考えたかではなく、いかに「適切なツールを、適切なタイミングで」使ったかにあることが判明しました。予算がたっぷりあるからといって、世界中のあらゆるデータベースを狂ったように呼び出すAIは、いくつかの重要な証拠を慎重に選び取ったAIよりも、結果として成績が悪くなることが多かったのです。
著者らはまた、これらのテストにおける「完璧な」スコアの中には、誤解を招くものがあるとも警告しています。パズルが公開されており、かつ古いものであるため、一部のAIは学習過程で答えを単に暗記してしまった可能性があります。これは、数学を学ぶ代わりに解答集を丸暗記した学生のようなものです。研究者が、ツールを使ったり手がかりを見たりすることを禁止してAIをテストしたところ、一部のモデルのスコアは大幅に低下しました。これは、「答えを知っていること」と「問題を解くこと」は別物であることを証明しています。
最終的に、本論文は、セキュリティAIを真空状態におけるピーク時の性能だけで判断すべきではないと主張しています。代わりに、私たちはその「経済的効率性」を見る必要があります。5ドルで問題の90%を解決できるモデルは、500ドルで95%の問題を解決するモデルよりも、実際のセキュリティチームにとって優れた道具となります。この研究は、ハッキングのタスクにおいては計算能力が助けになる一方で、システムの防御においては、スマートで規律あるツールの使用こそが真のスーパーパワーであることを示唆しています。彼らは、これらのコスト対成功の曲線を示すウェブサイトさえも構築しており、AIセキュリティの世界では、「安くて賢いこと」が「裕福で無謀であること」よりも優れている場合が多いことを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。