The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
本論文は、7,369件の文献に対する計量書誌学的分析と批判的レビューを組み合わせることで、サイバーセキュリティにおける大規模言語モデルの研究が、孤立した攻撃的役割と防御的役割に断片化されていることを明らかにし、適応的な評価と統合的なセキュリティ戦略の欠如に対処するために、結合されたデュアルユース（二重用途）フレームワークと8つの優先的な研究方向を提唱している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ここ数年、人間の言語を読み、書き、そして推論することができる新しい種類のコンピュータプログラムが登場しました。大規模言語モデルとして知られるこれらのプログラムは、単なるチャットボットではありません。組織がデジタルセキュリティを管理するために使い始めている強力なツールなのです。これらは何千ものセキュリティアラートをスキャンして真の脅威を見つけたり、ソフトウェアの脆弱性を修正するためのコードを書いたり、あるいはセキュリティチームの防御計画を立てるのを手助けしたりすることさえできます。しかし、これらのツールには暗い側面もあります。指示に従ったりテキストを生成したりすることに非常に長けているため、悪意のある者がこれらを欺いて、マルウェアを作成させたり、説得力のある偽のメールを作成させたり、あるいは安全規則を回避させたりすることができてしまうのです。これにより、単一のテクノロジーが「盾」であり、「武器」であり、同時に「標的」でもあるという独特な状況が生み出されています。ネットワークを保護する時には「盾」となり、攻撃者を助ける時には「武器」となり、そして誰かがプログラム自体を欺こうとする時には「標的」となるのです。これら3つの役割がどのように相互作用するかを理解することは極めて重要です。なぜなら、もし私たちがこのツールを「防御者」としてのみ研究してしまうと、そのツール自体が、阻止しようとしている攻撃そのものに対して脆弱であるという事実を見落としてしまう可能性があるからです。
ある研究チームは、単に数本の論文を読むのではなく、数千もの論文を分析することで、科学界が実際にこれらの問題についてどのように考えているのかを明らかにし、この複雑な状況をマッピングしようと試みました。彼らは2023年から2026年後半までに発表された約13,000件の記録を集め、これらを大規模言語モデルとサイバーセキュリティの接点を直接扱っている7,369件のコアグループへと絞り込みました。研究を地図のように扱う手法を用い、異なるトピックがどの程度頻繁に併せて登場するか、そしてどの研究が最も多く引用されているかを調査しました。彼らは、科学者たちがこれらモデルの3つの役割を一緒に研究しているのか、それとも別々のサイロの中で作業しているのかを知りたかったのです。また、これらのツールの安全性に対する根拠が、見た目通りに強固なものであるかどうかも確認したいと考えました。
研究者たちは、この分野が驚異的な速さで成長しており、関連文書の数が毎年2倍、3倍と増えていることを発見しました。しかし、研究は深く分断されています。大多数の研究は、これら3つの役割のうちの1つだけに焦点を当てて、孤立して行われています。調査した文書のうち、2つ以上の役割を同時に扱っていたものは、わずか約8パーセントでした。これは、これらのモデルを攻撃する方法を研究している人々が、それらを防御に使う方法を研究している人々と、ほとんど対話していないことを意味します。さらに懸念されるのは、研究者がこれらのモデルを用いて防御システムを構築する際、そのシステムが本来阻止すべき攻撃によって欺かれる可能性があるかどうかをテストすることが、ほとんど行われていないことです。彼らがレビューした防御に関する研究の中で、モデル自体が侵害されるリスクに言及していたものは、わずか約11パーセントでした。研究者たちは、テクノロジー自体は本質的に結びついており（つまり、防御ツールは潜在的な標的でもある）、研究コミュニティはこの現実についてまだ追いついていないのだと結論付けました。
チームが、これらのモデルが武器や盾としてどの程度うまく機能するかという証拠を詳しく調べたところ、異なる研究間で報告されている数値が極めて不一致であることが分かりました。例えば、人工知能がコンピュータシステムをハッキングできるかどうかをテストした際、報告された成功率は0パーセントから90パーセントまで幅がありました。この大きな隔たりは、モデルが変化したからではなく、テストのデザインが異なっていたために起こりました。ある研究では、モデルに対して弱点がどこにあるかを正確に教えることで、モデルに大きなアドバンテージを与えていました。一方で、他の研究では、モデルが自力で弱点を見つけなければならないような、より現実的な環境でテストを行っていました。研究者たちは、多くの研究が、積極的に破壊しようと試みる攻撃者に対して防御をテストしていなかったと指摘しました。代わりに、静的で予測可能な攻撃に対してテストを行っていたのです。これは、鍵が変わることのない鍵に対して錠前をテストするようなものであり、鍵師が解錠しようと試みる相手に対してテストするものではありません。
また、この研究は、最も危険な脅威が段階的に高度化していることも明らかにしました。初期の研究は、モデルに望まないことを言わせるための単純なトリックに焦点を当てていました。現在、焦点は、モデルが過去の会話を記憶し、ツールを使用し、時間をかけて意思決定を行うことができる、より複雑なシステムへと移行しています。これらの「エージェンティック（代理的）」なシステムは、単一のミスがネットワーク全体に広がる一連の悪い行動の連鎖につながる可能性があるため、保護するのがより困難です。研究者たちは、これらのシステムに対する攻撃方法は数多く存在する一方で、防御策はしばしば脆弱であることを発見しました。今日機能する防御策も、攻撃者がアプローチを少し変えるだけで、明日には失敗する可能性があります。さらに、成功を測定するために使用されるツールは時代遅れであったり、英語でのみ利用可能であったりすることが多く、そのため世界中の他の地域では機能しない可能性があります。
最終的に、この論文は、これらのモデルを単に「良い」か「悪い」かのどちらかである単純なツールとして扱うことはできないと主張しています。これらは、攻防の境界線が曖昧な、デュアルユース（軍民両用）のテクノロジーなのです。研究者たちは、将来に向けた最も重要な仕事は、単に新しい攻撃や新しい防御を発明することではなく、それらをテストするためのより優れた方法を構築することであると示唆しています。私たちは、単に簡単なテストに合格したからといって、防御が機能すると想定することをやめる必要があります。代わりに、あらゆる防御システムを、それが分析すべきコンテンツによって欺かれ得る「標的」としてもテストし、常にチェックしなければなりません。研究コミュニティがこれら3つの役割を一体として研究し始めない限り、私たちは、これらの強力なツールがどのように使用され、悪用され、そして保護されるのかという全容に対して、盲目のままであり続けることになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。