A Sociotechnical, Practitioner-Centered Approach to Technology Adoption in Cybersecurity Operations: An LLM Case

1. 研究の背景と課題 (Problem)

セキュリティ運用センター（SOC）における技術導入、特に生成 AI（LLM）の導入には、長年の遅延と懐疑的姿勢が存在します。

• 既存の課題: SOC アナリストは、大量の分散データ、不明確なログ、複数のプラットフォーム間の手作業による相関分析など、反復的で認知負荷の高いタスクに直面しています。
• AI 導入の障壁: 従来の AI ツールやベンダー提供のソリューションは、アナリストの実際のワークフローや「暗黙知（Tacit Knowledge）」を無視して設計されることが多く、信頼性（ハルシネーション、出力の不安定性）やワークフローの分断を招き、採用されずに廃棄されるケースが多発しています。
• 研究のギャップ: 学術研究と現場の実践の間には隔たりがあり、LLM が実際の SOC 環境でどのように受け入れられ、ワークフローに統合されるかについての実証的な知見が不足していました。

2. 研究方法論 (Methodology)

本研究は、社会技術的アプローチと**エスノグラフィ（民族誌）**を組み合わせ、6 ヶ月間にわたって多国籍企業の SOC 内に 2 名の博士課程研究者を埋め込み（Embedded）、実践者中心の共同創造（Co-creation）を行いました。

• 理論的枠組み: 野中郁次郎のSECI モデル（社会化、外部化、結合、内面化）をセキュリティ分野に適用した「ツール指向 SECI（Tool-Oriented SECI）」を基盤としています。
  • 社会化 (Socialization): 研究者が SOC アナリストと密接に協力し、暗黙のワークフローや課題を共有体験を通じて理解。
  • 外部化 (Externalization): 観察とインタビューを通じて、アナリストの暗黙の課題（反復作業、データ断片化など）を明確化。
  • 結合 (Combination): 得られた知見に基づき、LLM ベースのツールを共同開発。
  • 内面化 (Internalization): 開発されたツールを実運用に導入し、アナリストの信頼を得てワークフローに定着させるプロセス。
• データ収集: 参加観察、インタビュー、ツール使用時のフィードバックループ、およびテーマ分析を用いました。
• 技術的実装:
  • RAG (Retrieval-Augmented Generation): 組織固有のドキュメント、クエリ例、プレイブックをベクトルストアに格納し、LLM の出力を組織の文脈に適合させる。
  • ローカルデプロイ: 機密保持のため、Ollama を使用して組織内インフラ上でモデルをホスト。
  • エージェント設計: ReAct パターンを用いたエージェント（資産発見、クエリビルダー、MCP サーバー連携など）を構築。

3. 開発されたツールと技術的実装 (Key Technical Solutions)

研究者と SOC アナリストが共同で開発・改善した 3 つの主要ツールと統合プラットフォームは以下の通りです。

1. LLM セキュリティプラットフォーム:
   • LangChain の ReAct チェーンを使用し、LLM が適切なツール（エージェント）を動的に選択・実行するアーキテクチャ。
   • 複数のモデル（Mistral 7B, Llama 3.2, GPT-OSS 等）を比較評価し、リソース制約下で最も安定した出力を行うモデル（Mistral 7B）を選択。
2. クエリビルダー (Query Builder):
   • 課題: SIEM での複雑なログ検索クエリの作成が困難。
   • 解決: 組織内の過去の成功例やアナリストが作成したクエリ例をベクトルストアに蓄積し、RAG を介して LLM に提示することで、文脈に即したクエリを生成。
   • 改善: 初期段階ではベンダーの例のみだったが、アナリストのフィードバックにより「ログデータを直接入力できる領域」や「組織固有の例」を追加し、精度と採用率を向上。
3. 根本原因分析 (RCA) ツール:
   • 課題: インシデント発生時の多様なデータ（JSON, ログ等）から迅速に報告書を作成する負担。
   • 解決: 非構造化データを構造化し、組織のプレイブックや過去の RCA 報告書を RAG で参照させながら、証拠に基づいた構造化レポートを生成。ハルシネーションを防ぐため、「データにない場合は明記する」という制約をプロンプトに組み込み。
4. 資産発見 (Asset Discovery) ツール:
   • 課題: 複数のシステムにまたがる資産情報の収集と、ベンダープラットフォームへの未報告資産の特定が手作業で非効率。
   • 解決: MCP (Model Context Protocol) を通じて API を呼び出し、資産ステータスを自動収集・要約し、担当者へのメール草案を作成。
   • 課題解決: 当初、API への自動アクセスにセキュリティポリシーの壁があったが、ガバナンスチームとの対話とプロトコルの改善により、部分的な自動化を可能に。

4. 結果と知見 (Results & Findings)

• 採用プロセスの変容: 初期のツールはワークフローを乱し、アナリストから拒絶されました。しかし、反復的な改善（イテレーション）と実践者のフィードバックを取り入れることで、ツールは「アナリストの能力を拡張するコンパニオン」として再定義され、持続的な採用に至りました。
• 信頼の構築: 信頼は一度に得られるものではなく、出力の解釈可能性、一貫性、ワークフローへの適合性をアナリストが検証するプロセスを通じて「較正（Calibration）」されました。
• SECI モデルの拡張: 従来のツール指向 SECI モデルを、LLM 時代に合わせて拡張する新たな枠組みを提案しました。
  • 生成的反復再結合 (Generative Recombination): LLM は既存の明示的知識を単に格納するだけでなく、RAG を通じて文脈に合わせて新しい構造化された明示的アーティファクト（レポート、クエリ等）を動的に生成します。
  • 信頼較正された内面化 (Trust-Calibrated Internalization): 生成された出力は、人間による検証・承認プロセスを経て初めて、アナリストの暗黙知としてワークフローに定着します。

5. 貢献と意義 (Contributions & Significance)

• 実践者中心の共同創造フレームワーク: SOC などのライブ環境において、研究者と実践者が密接に協力して LLM ツールを開発・統合するための構造化されたアプローチを提示しました。
• LLM 指向 SECI モデルの提案: 生成 AI 時代における知識変換プロセスを再定義し、「生成的反復再結合」と「信頼較正された内面化」という 2 つの新たな要素をモデルに追加しました。
• 実務への示唆: 単なる自動化ツールとしての AI ではなく、アナリストの判断を補完し、信頼関係を築きながらワークフローに埋め込まれる「コンパニオン型 AI」の重要性を実証しました。
• セキュリティ運用の効率化: 認知負荷の軽減、調査時間の短縮、そしてアナリストのスキル向上（トレーニング支援）に寄与し、SOC の持続可能性を高める可能性を示しました。

結論

この研究は、LLM の SOC への導入が技術的な性能だけでなく、社会技術的なプロセス（信頼、ワークフロー適合性、共同創造）に依存することを示しました。エスノグラフィックなアプローチによる継続的な対話と反復的なツール改善が、AI ツールの採用障壁を克服し、新しいパラダイムを創出する鍵であることを実証しています。