💻 computer science

A Unified Framework for Human AI Collaboration in Security Operations Centers with Trusted Autonomy

本文提出了一种用于安全运营中心人机协作的新型分层框架，该框架将五个层级的 AI 自主性动态映射到特定的“人机回环”角色与信任阈值，从而实现自适应且可解释的决策，进而增强而非取代人类在网络防御中的监督作用。

原作者： Ahmad Mohsin, Helge Janicke, Ahmed Ibrahim, Iqbal H. Sarker, Seyit Camtepe

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmad Mohsin, Helge Janicke, Ahmed Ibrahim, Iqbal H. Sarker, Seyit Camtepe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一个巨大的、繁忙的城市，数据像交通流量一样流动，人们住在数字化的房屋里。在这个城市里，总会有捣蛋鬼试图闯入民宅、偷窃邮件或制造混乱。为了保护每个人，我们设立了特殊的警察局，叫做安全运营中心（SOC）。这些不仅仅是摆放着电脑的房间，更是人类侦探观察屏幕、分析线索并阻止网络罪犯造成实际破坏的指挥中心。但问题在于：城市正在变得越来越大，而坏人也变得越来越聪明、越来越快、越来越狡猾。警察局正淹没在警报的洪流中——每天都有成千上万条警报。其中大多数都是误报，就像有人烤焦了吐司导致烟雾报警器响起一样，但侦探们必须检查每一条。这导致了“警报疲劳”，即人类感到疲惫不堪和应接不暇，以至于可能会错过真正的火灾。

为了解决这个问题，我们开始引入由人工智能（AI）驱动的机器人助手。这些机器人可以在瞬间扫描数百万个线索，速度远超人类。但有一个陷阱：如果我们让机器人掌控全局，它们可能会犯下我们无法理解的错误，或者被聪明的黑客所欺骗。如果我们不让它们充分协助，我们又会回到不堪重负的状态。因此，一个大问题摆在科学家面前：我们如何建立一个完美的团队协作，让人类侦探和AI机器人彼此信任，明确各自的角色，并协同工作，既不会让人感到职业倦怠，也不会酿成巨大的错误？这正是来自澳大利亚的一个研究小组致力于解决的谜题。

这篇论文的核心思想：人类与机器人侦探的协作指南

你正在阅读的这篇名为《基于信任自主性的安全运营中心中人机协作统一框架》的论文，本质上就是一本构建这种完美团队的规则手册。作者 Ahmad Mohsin 及其同事认为，我们不能只是把 AI 强行套用在安全系统中并寄希望于好运。相反，他们提出了一种根据人类信任程度和任务复杂程度来融合人类大脑与机器人速度的结构化方法。

把它想象成教一名新的实习司机。你不会在他们第一天开车时就让他们在繁忙的高速公路上行驶（那太冒险了）。你会从空旷的停车场开始（等级 1：AI 提供协助，但人类握着方向盘）。随着他们技术进步且你更加信任他们，你会让他们在安静的街道上行驶（等级 2：AI 负责驾驶，但人类密切观察）。最后，如果他们证明自己非常出色且道路安全，你可能会让他们自动驾驶，而你只需在后座小睡一会儿（等级 4：AI 全权负责）。

论文建议安全中心应该使用这种相同的“升级”系统。他们创建了一个拥有五个自主等级（即 AI 的独立程度）的框架：

等级 0： 人类完成所有工作。AI 仅仅是一个工具，就像计算器一样。
等级 1： AI 建议该做什么，但人类必须在任何事情发生前按下“确认”键。
等级 2： AI 自动处理常规任务，但在执行任何重要操作前会请求许可。
等级 3： AI 大部分时间都在自主运行，只有在出现异常或危险情况时，人类才会介入。
等级 4： AI 负责处理所有常规事务，人类仅在事后检查报告。

这个系统的关键在于信任。论文解释说，你不能立即把钥匙交给机器人。信任是随着时间建立的，就像一段友谊。如果 AI 做出了正确的决策并解释了其背后的原因（以便人类理解），人类就会更加信任它，AI 也能承担更多的工作。如果 AI 是一个不解释原因的“黑盒”，人类就会保持控制权，而机器人的工作量也会减少。

“机器人化身”测试驱动

为了验证他们的想法是否真的有效，研究人员不仅编写了理论，还构建了一个测试。他们创建了一个模拟的“网络靶场”，这就像一个设计得看起来完全像真实公司计算机网络的电子游戏世界。在这个游戏中，他们设置了一个由人类侦探和名为 CyberAlly 的特殊 AI 助手组成的团队。CyberAlly 是一个超级智能的机器人大脑（基于一种被称为大语言模型的 AI 类型），它接受了基于两年虚假网络攻击和安全数据的训练。

他们进行了一系列“兵棋推演”，其中一组黑客团队（红队）试图攻破系统，而人类-AI 团队（蓝队）则试图阻止他们。场景非常逼真，涉及诸如黑客试图干扰控制船舶深度的传感器，或试图阻止火车运送物资等情况。

以下是模拟实验中发生的情况：

AI 帮助过滤了噪音： 起初，AI 扮演着等级 1 助手的角色。它查看了数千条警报，并告诉人类：“嘿，其中 70% 只是误报，忽略它们。”这瞬间减轻了人类的工作负担。
团队效率提升： 当黑客发起攻击时，AI 帮助人类更快地弄清了发生了什么。在一项测试中，调查问题的耗时从 3 小时缩短到了仅 1 小时。这意味着效率提升了 67%。
响应速度大幅飙升： 在采取行动阻止攻击（例如屏蔽恶意黑客或锁定舱门）时，AI 帮助将解决问题的时间从 8 小时缩短到了 90 分钟。
信任自然增长： 在开始阶段，人类会检查 AI 说的每一句话。但随着 AI 不断做出正确决策并清晰地解释其推理过程，人类开始更加信任它。他们让 AI 自动处理更多常规任务，从而使人类能够专注于那些真正困难、棘手的难题。

这对未来意味着什么

论文指出，这种“信任自主性”框架是应对未来网络安全挑战的制胜之道。它表明我们不必在“仅靠人类”（速度太慢）和“仅靠机器人”（风险太高）之间做选择。相反，我们可以建立一种伙伴关系：机器人处理无聊、快速、重复的工作，而人类处理复杂、可怕且重要的决策。

研究人员发现，通过仔细匹配 AI 的独立程度与人类的信任水平，安全团队可以不再被误报搞得精疲力竭，并能更快地捕捉到真实的威胁。他们在模拟实验中证明了这一点，展示了警报疲劳下降而响应速度上升。然而，他们也谨慎地指出，这只是在一个虚拟环境中进行的测试。虽然结果看起来非常有前景，但现实世界的安全中心拥有更复杂、更混乱的系统，修复起来可能比电子游戏要难得多。

简而言之，这篇论文为未来的网络警察站提供了一份蓝图：一个人类与 AI 是好伙伴的地方，在这里，双方各施所长，共同守护我们的数字城市。这并不是要用机器人取代人类侦探，而是要给侦探配备一个永不疲倦、从不遗漏线索、并且知道何时寻求支援的超级强力搭档。

技术摘要：基于可信自主性的安全运营中心人机协作统一框架

问题陈述

由于网络威胁的日益复杂化以及当前自动化策略的局限性，安全运营中心（SOC）正面临严峻的运营挑战。尽管集成了安全信息和事件管理（SIEM）、安全编排、自动化及响应（SOAR）以及终端检测与响应（EDR）等工具，但 SOC 仍难以应对告警疲劳、高误报率（在某些研究中高达 99%）以及分析师职业倦怠的问题。现有的框架通常依赖于静态或二元的自主设置（要么完全手动，要么完全自动化），未能考虑到不同 SOC 任务在复杂性、关键性和风险方面的差异。此外，当前的方法往往缺乏管理人机回环（Human-in-the-Loop, HITL）决策、信任校准和可扩展自主性的系统性结构。这种差距导致了低效的工作流：人类分析师被噪声淹没，而 AI 系统则因缺乏必要监督，无法处理高风险、新颖或具有歧义的事件。

方法论

作者提出了一种以自主性（Autonomy）、信任（Trust）和人机回环（HITL）参与为基础的三元关系统一人机协作框架。该方法论包含三个核心组成部分：

自主性与信任的理论建模：
- 自主性 ( $A$ )： 定义为一个标量值 $A \in [0, 1]$ ，建模为任务复杂度 ( $C$ )、风险 ( $R$ ) 和信任度 ( $T$ ) 的函数： $A = 1 - (\lambda_1 C + \lambda_2 R)(1 - T)$ 。该方程表明，自主性会随复杂度与风险的增加而降低，但会随信任度的提高而增加。
- HITL 参与度 ( $H$ )： 定义为自主性的反函数（ $H = 1 - A$ ），范围从完全人类控制到完全 AI 自主。
- 信任度 ( $T$ )： 建模为可解释性 ( $E$ )、性能历史 ( $P$ ) 和不确定性 ( $U$ ) 的加权和： $T = \alpha_1 E + \alpha_2 P + \alpha_3(1 - U)$ 。
五级自主性框架：
受 SAE J3016 车辆自动化标准启发，作者将 SOC 运营映射到五个不同的自主等级（0–4），并与 SOC 分析师层级（Tier 1–4）及 NIST 网络安全框架功能（识别、保护、检测、响应、恢复）相对应：
- 等级 0（手动）： 无自动化；由分析师处理所有任务。
- 等级 1（AI 辅助）： AI 提供决策支持（如告警评分）；人类保留完全控制权。
- 等级 2（半自主）： AI 执行常规任务，但对于关键操作需要获得明确的人类批准。
- 等级 3（有条件自主）： AI 自主执行定义的任务；人类进行监督（人机在环/Human-on-the-Loop），仅在出现异常时进行干预。
- 等级 4（完全自主）： AI 管理综合功能，人类干预极少（人机不在环/Human-out-of-the-Loop），侧重于治理与审计。
态势感知（SA）集成：
该框架将态势感知作为核心中介，将其分解为自我意识（识别自身局限性）、队友意识（理解角色与认知状态）以及环境意识（维持对威胁态势的连贯视图）。这确保了 AI 的洞察能在人类心理模型内得到解读。
实证验证（案例研究）：
该框架通过一个模拟网络靶场（ACDC Cyber Range）进行了验证，其中包含一个经过微调的大语言模型（LLM）智能体 CyberAlly。CyberAlly 配备了检索增强生成（RAG）和知识图谱，在涉及 IT/OT 环境（海运港口系统）的红蓝对抗演习中运行。该智能体通过聊天界面与 SIEM（Wazumber）、SOAR 及分析师进行交互，并根据事件复杂度和既定信任度在不同自主等级间切换。

核心贡献

三元框架： 本文将自主性、信任和 HITL 的相互作用形式化，为 SOC 中的动态任务分配提供了结构化方法。
分层自主性量表： 引入了一个细粒度的五级自主模型，超越了二元自动化，实现了基于任务风险和分析师信任度的自适应委托。
角色对齐： 框架将特定的 SOC 分析师层级（Tier 1–4）与相应的自主等级及 HITL 配置相匹配，明确了从初步分拣到战略治理的职责。
运营工作流设计： 详细阐述了告警管理、威胁管理以及响应与恢复的协作工作流，展示了 AI 与人类如何进行协同调查与协同决策。
实证证据： 通过 CyberAlly 案例研究，本文提供了该框架可行性的实践演示，表明 LLM 驱动的智能体可以在保持人类监督的同时，减少误报并加速响应时间。

结果

涉及 ACDC 靶场中 CyberAlly 智能体的案例研究取得了以下定量与定性成果：

误报率降低： AI 智能体将误报告警从 70% 降低至 35%，显著提升了信噪比。
调查效率： 复杂事件（如凭据滥用、OT 操作篡改）的调查时间从 3 小时缩短至 1 小时（提升了 67%）。
响应时间 (MTTR)： 在涉及端点隔离和威胁遏制的特定场景中，平均响应时间从 8 小时缩短至 90 分钟（减少了 80%）。
自动化规模： 自动化工单处理量从总事件的 10% 增加到 75%。
信任校准： 研究表明信任并非静态；随着 AI 提供可解释的理由和一致的表现，信任得以演进，从而实现了从等级 1（完全 HITL）向等级 2/3（人机在环）自主的逐渐转变。

意义与主张

本文声称其主要意义在于提供了一种结构化、可扩展且具有理论依据的方法，旨在将 AI 集成到 SOC 中而不取代人类专业知识。通过解决 AI 的“黑盒”性质和现有自动化的僵化问题，该框架构建了认知型 SOC，使 AI 成为人类决策的可靠增强手段。

作者断言，其框架：

弥合差距： 它将自主性和信任的理论模型与 SOC 实际工作流联系起来。
降低风险： 通过基于信任和风险来校准自主性，防止自动化偏差并确保关键决策的问责制。
增强韧性： 它使 SOC 能够扩展业务规模，处理现代网络威胁的规模，同时减轻分析师的职业倦怠和认知负荷。
促进演进： 该框架支持 SOC 从反应式、基于规则的模式向主动式、自适应且具备学习能力的模式转型。

论文总结道，尽管在模型漂移、可解释性和组织采纳方面仍存在挑战，但所提出的框架为设计利用可信自主性的下一代 SOC 架构提供了一条可行的路径。