论文技术总结：基于社会技术、以从业者为中心的网络安全运营技术采用方法——以大语言模型（LLM）为例

1. 研究背景与问题 (Problem)

安全运营中心（SOC）是现代信息安全的基石，但其技术采用往往缓慢，主要源于对新技术（特别是人工智能）的信任危机和可靠性担忧。

• 核心痛点：SOC 分析师面临重复性任务、数据碎片化/不清晰、工具瓶颈以及跨平台数据关联困难等挑战。
• LLM 的局限性：尽管大语言模型（LLM）在生成式 AI 领域表现突出，但在安全运营中，其“幻觉”（hallucinations）、输出不一致以及缺乏对特定组织上下文的理解，导致从业者持谨慎态度。
• 研究缺口：现有的学术研究往往与实际操作脱节，缺乏在真实 SOC 环境中通过长期参与和共同创造（Co-creation）来开发 LLM 工具的实证研究。传统的工具开发往往忽视了分析师的隐性知识（Tacit Knowledge）和实际工作流。

2. 方法论 (Methodology)

本研究采用社会技术（Sociotechnical）视角，结合民族志（Ethnography）与共同创造（Co-creation）方法，深入一家跨国公司的 SOC 进行了为期6 个月的实地研究。

2.1 理论框架：面向工具的 SECI 模型

研究基于野中郁次郎（Nonaka）的SECI 知识转化模型（社会化、外化、组合、内化），并将其扩展为面向工具的 SECI 模型（Tool-Oriented SECI）：

1. 社会化 (Socialization, 隐性→隐性)：研究人员嵌入 SOC，通过参与观察、会议和日常互动，建立信任并获取分析师的隐性工作流知识。
2. 外化 (Externalization, 隐性→显性)：通过反思、访谈和任务演示，将分析师的痛点（如日志关联困难、查询构建复杂）转化为显性的问题描述。
3. 组合 (Combination, 显性→显性)：利用 LLM 和检索增强生成（RAG）技术，将显性知识（如查询示例、RCA 报告、策略文档）转化为具体的 AI 辅助工具。
4. 内化 (Internalization, 显性→隐性)：通过迭代部署和反馈，使工具输出被分析师验证、信任并最终融入日常操作习惯。

2.2 实施过程

• 参与者：2 名计算机科学博士生嵌入 SOC，与 18 名分析师（包括 CISO、SOC 总监等）合作。
• 迭代反馈循环：采用“观察 - 开发 - 演示 - 反馈 - 改进”的循环模式。研究人员不仅开发工具，还亲自执行分析师任务（如处理工单、编写 API 代码），以深入理解技术约束。
• 技术栈：
  • LLM 模型：对比测试了 Llama 3.2, Mistral 7B, Qwen3, GPT-OSS 等，最终基于资源限制和输出一致性选择了 Mistral 7B。
  • 架构：基于 LangChain 和 ReAct (Reasoning + Acting) 代理框架，构建了多智能体系统。
  • 数据增强：使用 RAG (检索增强生成) 技术，将组织内部的向量存储（Vector Store）作为知识库，确保 LLM 基于组织特定的上下文（如私有日志、策略文档）生成回答，减少幻觉。
  • 部署：所有模型在组织内部本地部署（Ollama），确保数据不出域，满足安全合规要求。

3. 关键贡献与系统构建 (Key Contributions & System)

研究开发了三个核心 LLM 辅助工具和一个集成平台，解决了具体的运营痛点：

3.1 核心工具

1. 根本原因分析 (RCA) 助手：
   • 功能：将异构的事件工件（JSON/YAML/原始日志）转化为结构化的 SOC 就绪叙事。
   • 技术：支持 RAG 工作流，检索组织内部的 Playbook 和过往 RCA 报告。强制模型引用具体指标，若数据缺失则明确标注，避免幻觉。
   • 输出：包含事件经过、贡献因素、缓解措施（分时间跨度）、数据缺口及 MITRE ATT&CK 映射的结构化报告。
2. 查询构建器 (Query Builder)：
   • 功能：辅助分析师构建复杂的 SIEM 查询语句。
   • 创新：利用 RAG 从向量库中检索组织内部的历史查询示例（而非仅依赖通用文档），随着使用次数增加，知识库不断生长，形成“共享经验数据库”。
   • 改进：初期因缺乏特定日志输入导致效果不佳，经迭代后增加了日志输入窗口，实现了日志与提示词的分离。
3. 资产发现 (Asset Discovery)：
   • 功能：自动化检测未向安全供应商平台正确报告资产的资产。
   • 流程：通过 MCP (Model Context Protocol) 服务器调用 API 获取资产状态，结合内部数据库（Azure/ServiceOne）生成报告邮件。
   • 挑战：初期因无法自主调用内部 API 而受阻，经与 AI 治理团队协商安全策略后推进。

3.2 集成平台

构建了一个统一的 LLM 安全平台，作为上述工具的入口。它使用 ReAct 代理根据分析师的查询自动路由到相应的工具（资产发现、查询构建或 MCP 代理），并生成可操作的输出。

4. 研究结果 (Results)

通过 6 个月的迭代，研究从最初的怀疑转变为持续采用：

• 工作流对齐：工具并非完全自动化，而是作为“分析师助手”（Analyst Enabler）。例如，RCA 工具帮助新入职员工快速建立调查思路，查询构建器减少了编写复杂查询的时间。
• 信任建立：
  • 内部倡导者 (IA) 在初期起到了关键的信任桥梁作用。
  • 可解释性与验证：分析师将 LLM 输出视为“假设”而非“定论”，通过人工验证（Human-in-the-loop）逐步建立信任。
  • 迭代改进：早期的负面反馈（如查询质量差、缺乏上下文）被迅速转化为功能改进（如增加日志输入、引入内部示例），显著提升了采纳率。
• 知识转化：成功将分析师的隐性知识（如特定的调查技巧、非正式的协作模式）转化为显性的工具逻辑，并通过 RAG 系统固化下来。

5. 理论扩展与意义 (Significance)

本研究提出了面向 LLM 的 SECI 模型 (LLM-Oriented SECI)，对传统模型进行了重要扩展：

1. 生成性重组 (Generative Recombination)：
   • 在传统模型中，工具是显性知识的静态容器。
   • 在 LLM 模型中，LLM 作为显性知识的主动生产者。它通过 RAG 动态重组现有的显性材料（日志、文档、示例），生成新的结构化工件（如新的 RCA 报告、查询语句）。这扩展了“组合”阶段的内涵。
2. 信任校准的内化 (Trust-Calibrated Internalization)：
   • 传统内化是线性的（使用即内化）。
   • 在 LLM 环境中，内化是条件性且非线性的。显性输出（LLM 生成的内容）必须经过信任校准（解释性、可靠性、工作流契合度）和人工验证，才能转化为分析师的隐性知识。
3. 社会技术共同创造的价值：
   • 证明了通过深度嵌入和共同创造，可以克服 LLM 在安全领域的信任障碍。
   • 强调了“人”在 AI 集成中的核心地位：AI 不是替代者，而是增强分析师能力的协作伙伴。

结论：
该研究证明了在网络安全运营中，采用社会技术视角和共同创造方法，能够有效解决 LLM 工具的信任、可靠性和工作流整合问题。通过构建“信任校准”的机制，LLM 可以从单纯的自动化尝试转变为能够持续产生价值、增强人类专家能力的智能伙伴。这一框架为未来在高风险、高压力环境中部署生成式 AI 提供了重要的实践指南和理论依据。