Like a Hammer, It Can Build, It Can Break: Large Language Model Uses, Perceptions, and Adoption in Cybersecurity Operations on Reddit

この論文は、Reddit のセキュリティフォーラムでの議論を分析し、セキュリティ運用センター（SOC）における大規模言語モデル（LLM）の実態、利点、課題、および導入の現状を明らかにするとともに、組織と実務者の安全を確保するための提言を行っている。

要約

この論文は、**「サイバーセキュリティの現場で、AI（特に大規模言語モデル：LLM）が実際にどう使われていて、どう受け止められているか」**を調査した研究です。

タイトルにある**「ハンマーのように、建設も破壊もできる」**という表現が、この AI の両刃の剣（メリットとリスク）を完璧に表しています。

以下に、専門用語を避け、身近な例え話を使って分かりやすく解説します。

---

🛠️ 1. 研究の舞台：セキュリティの「救急センター」

まず、SOC（セキュリティオペレーションセンター）という場所を想像してください。ここは企業の「サイバー救急センター」です。
毎日、何千もの「不審な動き（アラート）」が鳴り響きます。従来のシステムでは、これらを機械が自動で処理しようとしてきましたが、「誤報（本当は問題ないのに危険と判断すること）」が多すぎて、担当者のセキュリティアナリストたちは疲れ果て、心が折れそうになっています。

そんな中、**「AI（LLM）」**という新しい助手が登場しました。「これなら楽になるかも！」と期待されています。

🔍 2. 調査方法：ネット上の「掲示板」を覗き見る

研究者たちは、実際に使っている人たちの本音を知るために、Reddit（アメリカの巨大掲示板）のセキュリティ関連コミュニティを調査しました。
2022 年 12 月から 2025 年 9 月までの892 件の投稿を読み込み、どんな使われ方をしているか、どんな意見があるかを分析しました。

🚀 3. 発見された「3 つの大きな特徴」

① 「万能な AI」が人気、専用 AI はまだマイナー

• 状況: 専門家の間では、「ChatGPT」や「Microsoft Copilot」のような、何でもできる汎用 AIが最もよく使われています。
• 例え: 医療現場で、「何でも治せる魔法の杖」（汎用 AI）が、「心臓専門の最新手術ロボット」（セキュリティ専用 AI）よりも、まず医師の机の上に置かれているような状態です。
• 理由: 汎用 AI はすぐに使えて便利ですが、セキュリティ専用 AI はまだ「誰が作っているか」「本当に効果があるか」が分かっていないため、導入に慎重なようです。

② 「危険な仕事」は任せず、「軽い仕事」を任せる

• 状況: AI に任されているのは、主に**「報告書の作成」「スクリプト（プログラム）の作成」「ログの要約」**などの作業です。
• 例え: AI は**「優秀な新人インターン」**として扱われています。
  • ✅ OK な仕事: 「この資料をまとめて」「このコードを書いて」「このメールを要約して」といった、失敗しても大きな被害が出ないタスク。
  • ❌ NG な仕事: 「怪しい犯人を逮捕して」「サーバーをシャットダウンして」といった、**命がけの判断（自動実行）**は、まだ人間がすべて確認してから行います。
• 結論: 「AI が全部やってくれる」という夢物語ではなく、**「AI が下書きを作り、人間が最終チェックをする」**という形が主流です。

③ 「便利だけど、怖くて信頼しきれていない」

• メリット: 作業スピードが劇的に上がります。以前 45 分かかっていた作業が、2 分で終わることもあります。
• デメリット（懸念点）:
  1. 嘘をつく（ハルシネーション）: AI は自信満々に**「存在しないウイルスの報告」や「間違った証拠」**を作ることがあります。セキュリティでは「嘘」が命取りになるため、これが最大の懸念です。
  2. 情報の漏洩: 会社の機密データを AI に入力すると、そのデータが AI の学習に使われてしまう恐れがあります。
  3. コスト: 使う量が増えると、お金がかかりすぎて「人を雇った方が安い」という意見もあります。

⚖️ 4. 結論：AI は「助手」であって「主人」ではない

この研究から分かったのは、**「AI は素晴らしい道具だが、まだ完全に信頼して任せる段階ではない」**ということです。

• 建設面: 効率化や、アナリストの負担軽減には大いに役立っています。
• 破壊面: 誤った判断やセキュリティリスクを招く可能性があり、人間が常に監視（オーバーサイト）する必要があります。

💡 5. 未来への課題：「新人教育」のジレンマ

最も深刻な問題は、**「新人の育成」**です。

• 昔は、新人アナリストが「アラートの整理」や「簡単な調査」という下積み作業をこなしながら、経験を積んで熟練していました。
• しかし、AI がその下積み作業を代わりにやってしまうと、「経験値を積む機会」が失われます。
• 例え: 「AI が料理の下ごしらえを全部やってくれるから、新人シェフは包丁の使い方を知らずに、いきなり「料理長」として AI の指示を監視する役割を任される」ような状態です。これでは、いざ AI が失敗した時に、誰が正しい判断ができるのか？という危機が生まれます。

📝 まとめ

この論文は、**「AI はサイバーセキュリティの現場で『ハンマー』として使われ始めています。釘を打つ（作業効率化）には便利ですが、間違って壁を壊す（セキュリティ事故）リスクもあります。だから、今は人間がハンマーを握り、AI という道具を慎重に使いながら、新しい仕事の在り方と、次世代の育成方法を考えていかなければならない」**と伝えています。

技術概要

論文要約：サイバーセキュリティ運用における大規模言語モデル（LLM）の使用、認識、および採用に関する研究

タイトル: Like a Hammer, It Can Build, It Can Break: Large Language Model Uses, Perceptions, and Adoption in Cybersecurity Operations on Reddit
著者: Souradip Nath, Chih-Yi Huang, Aditi Ganapathi, Kashyap Thimmaraju, Jaron Mink, Gail-Joon Ahn (Arizona State University, Technische Universität Berlin)

1. 研究の背景と課題 (Problem)

セキュリティ運用センター（SOC）は、組織を複雑化する脅威から守る上で不可欠な役割を果たしていますが、アラート疲労、バーンアウト、人的リソースの不足に直面しています。従来の機械学習（ML）ベースの自動化や SIEM/SOAR ツールは導入されていますが、依然として人間の分析官への負荷は大きく、意思決定支援の必要性が指摘されています。

近年、生成 AI である大規模言語モデル（LLM）が、SOC ワークフローを強化する有望なツールとして登場し、ベンダーは自律的な AI ソリューションを市場に投入し始めています（例：Microsoft Copilot for Security, CrowdStrike Charlotte AI）。しかし、実際のセキュリティ実務家がこれらのツールをどのように使用し、認識し、採用しているかについての実証的な理解は限られていました。 既存の研究は特定のツールやタスクに焦点を当てており、広範な運用現場での実態、採用の動機、障壁、および業界全体への影響に関する包括的な知見が不足していました。

2. 研究方法 (Methodology)

本研究は、オンラインコミュニティにおける実務家の自然な議論を分析対象とした**混合研究法（Mixed-Methods Analysis）**を採用しています。

• データ収集:
  • 対象: Reddit のサイバーセキュリティ特化コミュニティ（主に r/cybersecurity, r/Information_Security, r/ciso）から収集。
  • 期間: 2022 年 12 月から 2025 年 9 月まで。
  • 規模: 1,703 件の投稿（ポスト）を収集し、そのうち研究質問に関連する892 件の投稿を最終分析対象としました。
• 分析手法:
  • 定性的分析: 投稿内容に対して、使用ツール、ユースケース、利点・欠点、採用意向などのコードを付与するハイブリッドコーディング手法を採用。複数の研究者による相互評価（Inter-rater reliability）を行い、コードの信頼性を確保しました（Krippendorff's Alpha）。
  • 定量的分析: コード付けされたデータを用いて、ツールの使用頻度や意見の偏りを統計的に比較（カイ二乗検定、比例の等質性の検定など）しました。
• 倫理的配慮: 公開データの使用、匿名化、IRB（機関審査委員会）の免除取得など、研究倫理に準拠しています。

3. 主要な貢献と結果 (Key Contributions & Results)

本研究は、3 つの主要な研究質問（RQ）に対して以下の知見をもたらしました。

RQ1: 実務家が議論する LLM ツールとユースケース

• ツールの偏り: セキュリティ特化型の商用ツール（Microsoft Security Copilot など）よりも、汎用 LLM（ChatGPT, Microsoft Copilot など）の使用が圧倒的に多いことが判明しました。セキュリティ特化ツールは多数存在しますが、その認識は断片的であり、採用は限定的です。
• ユースケースの集中:
  • 最も頻繁: インシデント対応（IR）とアラート選別（Triage）。
  • 次点: スクリプト作成、クエリ生成、レポート作成などの生産性向上タスク。
  • 少ない: 脅威分析、知識サポート。
• 自律性のグラデーション: LLM は主に「意思決定支援ツール」として使用され、完全な自律的な対応（アラートの自動封鎖など）は稀です。実務家は、リスクの低いタスクや分析官の制御が容易なタスクに限定して LLM を採用する傾向があります。

RQ2: LLM ツールの利点と欠点（認識）

実務家の認識は、以下の 6 つの要因に基づいて評価されました。

1. 機能性（Capabilities）: 肯定的。アラートの文脈化、ログの解釈、誤検知（False Positive）の削減に有効と評価されています。
2. 効率性（Efficiency）: 肯定的。選別時間（MTTT）の短縮や大量データの処理速度向上が報告されています。
3. 信頼性（Reliability）: 否定的。 ハルシネーション（誤った情報の生成）、非決定論的な出力、複雑なタスクでの失敗が大きな懸念点です。セキュリティ分野では「小さなミス」が致命的であるため、信頼性が自律性の障壁となっています。
4. セキュリティとプライバシー: 否定的。 機密データの漏洩リスク、LLM ツール自体が新たな攻撃対象となる可能性（プロンプトインジェクション等）が懸念されています。
5. 自律性（Autonomy）: 否定的。 完全な自律運用には抵抗があり、「人間が最終確認を行う（Human-in-the-loop）」ことが不可欠という認識が支配的です。
6. コスト: 否定的。 推論コストの高さ、ROI（投資対効果）の不明確さが採用の障壁となっています。

RQ3: 採用と将来への影響

• 採用の現状: 約 54% の投稿で LLM の積極的な利用が報告されていますが、その多くは汎用 LLM を個人レベルで生産性向上のために使用しているケースです。企業レベルでのセキュリティ特化ツールの採用は、ベンダーの過剰な宣伝への懐疑や、既存の自動化手法との比較検討により、慎重に進められています。
• 障壁: ベンダーの過剰な期待（「自律型 SOC」の宣伝）、既存のルールベース自動化で十分なタスクへの AI 導入の無理やりさ、組織的なデータガバナンスの制約が主な障壁です。
• ** workforce（人材）への影響:** 初級レベル（L1）のタスクが自動化されることで、分析官は「LLM の監督者」としての役割を求められるようになります。しかし、経験に基づく専門知識（ドメイン知識）は初級タスクを通じて習得されるため、自動化が進むと次世代の専門家育成が困難になるという「循環的な依存関係（Circular Dependency）」のリスクが指摘されています。

4. 研究の意義と示唆 (Significance)

本研究は、LLM を SOC に統合する際の重要な示唆を提供しています。

1. 信頼性と自律性のトレードオフ: LLM の自律性は技術的な能力だけでなく、出力の信頼性と検証コストに依存しています。現在の技術レベルでは、LLM は「完全な自律エージェント」ではなく、「高度なアシスタント（意思決定支援）」として位置づけるべきです。
2. 信頼できるシステムの設計: 将来の SOC ツール設計においては、単なる精度向上だけでなく、不確実性を明示的に伝え、分析官が状況に応じて信頼性を評価できる仕組み（Actionable Uncertainty）が不可欠です。
3. SOC 人材育成の危機と再構築: LLM による自動化は、初級分析官の学習機会を奪う可能性があります。これに対処するためには、LLM と人間が相互に学習する「共学習（Co-learning）」の枠組みや、LLM を活用したシミュレーション・メンタリングによる新しい教育アプローチの必要性が提唱されています。
4. 社会技術的プロセスとしての採用: LLM の採用は単なる技術導入ではなく、組織のガバナンス、コスト、人材戦略、そして実務家の心理的受容が絡み合った複雑なプロセスであることを強調しています。

総じて、LLM はサイバーセキュリティ運用において「ハンマー」のような存在であり、生産性を高める一方で、信頼性やセキュリティリスクという側面から慎重な扱いを必要とします。実務家の声に基づき、人間中心の設計と段階的な導入が、組織のセキュリティと人材の持続可能性を両立させる鍵となります。