💻 computer science

Assessing the ROI of Cyber Threat Intelligence: An Operational and Financial Evaluation Framework

本文通过引入用于衡量运营成熟度的威胁情报有效性指数（TIEI）以及一种旨在量化投资可行性的“先实现盈亏平衡”财务方法，为评估网络威胁情报的投资回报率提出了一个综合框架，从而应对了衡量已预防网络事件所固有的难度。

原作者： Matteo Strada, Stelvio Cimato

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Matteo Strada, Stelvio Cimato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位驾驶着巨型高科技飞船、穿梭在互联网小行星带中的舰长。你的职责是保护飞船免受太空海盗、流氓小行星和阴险破坏者的攻击。你拥有一支侦察队、一套雷达系统和一个护盾发生器。但最棘手的部分在于：你团队能拥有的最好的一天，就是什么都没发生的一天。没有警报，没有爆炸，没有损伤。飞船只是平稳地航行着。

这就是**网络威胁情报（CTI）**的世界。把 CTI 想象成你这艘数字飞船的“超级间谍网络”。它不仅仅是等待警报响起，而是通过收集来自其他飞船、间谍和传感器的秘密报告，来告诉你海盗究竟躲在哪里、他们使用什么样的武器，以及他们计划如何发动攻击。它将大量混乱的噪音转化为一张清晰且具有行动指导意义的地图。

但这里有一个巨大的问题，那就是为这个间谍网络买单的人（飞船的所有者，在现实世界中即公司高层和董事会）。他们想知道：“这个昂贵的间谍网络到底值不值得这么多钱？”在正常的商业领域，如果你买了一个新引擎，飞船会跑得更快，你可以测量速度。但在网络安全领域，如果你买了一个间谍网络，而你的飞船却没受到攻击，你该如何证明你节省了成本？你无法为一场从未发生的灾难出具收据。这就是“预防悖论”：你的工作做得越出色，你的成功就越难以被察觉。

这正是 Matteo Strada 和 Stelvio Cimato 的一项新研究所解决的问题。他们就像是试图构建一种新型计算器的飞船工程师。他们知道你不能仅仅靠猜测一个“非事件”的价值，因此他们创建了一个聪明的两部分系统，来计算你的间谍网络是否真的为你节省了现金。

首先，他们构建了一个**“威胁情报有效性指数”（TIEI）**。你可以把它想象成一份“间谍学校成绩单”。它不仅仅给出一个单一的分数，而是检查四个不同的技能：

质量（Quality）： 间谍报告是否真实且有用？
富集（Enrichment）： 团队是否为报告增加了额外的细节（例如，将一艘海盗船与特定的帮派联系起来）？
集成（Integration）： 团队是否真的将这些报告输入到了飞船的雷达和护盾中，还是让它们只是在抽屉里吃灰？
影响（Impact）： 飞船的反应是否更快了？护盾是否挡住了更多的攻击？

这个成绩单的妙处在于它的严苛性。如果你的团队擅长获取报告，但在使用报告方面表现糟糕，那么你的综合评分就会大幅下降。这就像一条链条：整条链条的强度取决于其最薄弱的一环。你不可能在某个环节失败的情况下获得完美分数。

其次，他们创建了一张**“盈亏平衡图”（Break-Even Map）**。由于没有人确切知道如果没有间谍网络，海盗原本会在多少次机会中发动攻击，作者说：“我们不要再瞎猜了，让我们开始绘图。”他们在图表上画出了一条线，展示了两个未知数之间的关系：

发生大规模攻击的可能性如何？（概率）
间谍网络能阻挡多少攻击？（缓解程度）

这张图显示，要使你的间谍网络物有所值，这两个数字的乘积必须大于一个特定的“临界点”。例如，在金融领域（银行），研究表明，如果你的间谍网络能阻止 20% 的潜在灾难，那么你的公司每年面临重大攻击的现实概率必须至少达到 34.4% 才能实现盈亏平衡。在医疗保健领域（医院），数字也类似：你需要 34.9% 的大攻击概率，才能为 20% 的阻挡率提供合理依据。

至关重要的一点是，作者并没有将这些数字视为“普遍事实”。 他们不是在做预测。相反，它们是用于展示数学逻辑的“说明性压力测试输入值”。研究明确指出，这些是用于展示数学运作方式的假设场景。这些数字会根据你特定组织的成本和风险而改变。

作者还运行了数千次计算机模拟（就像用不同的设置玩了无数遍电子游戏），以观察在存在不确定性的情况下，数学逻辑是否依然成立。在这些模拟中，他们仅将“间谍学校成绩单”（TIEI）作为针对特定参考场景的校准假设。他们并未得出“高 TIEI 保证你一定能达到盈亏平衡”的结论。相反，他们展示了：如果你假设拥有一个成熟的项目（高 TIEI），数学逻辑表明，这会呈现出一个更广泛的、合理的成功率范围。如果你的项目不够成熟，那么合理的成功率范围就会缩小。

核心结论并不是说他们找到了一个证明 CTI 永远是赢家的“魔力数字”。相反，他们给了公司一个诚实的工具，让他们停止猜测。他们说：“不要仅仅因为你无法证明这一点，就对老板说‘我们为公司节省了数百万美元’。相反，向他们展示你的成绩单，以证明你在工作中表现出色；然后再向他们展示这张地图，以证明在考虑到你的特定风险以及你愿意接受的假设前提下，这项投资是合理的。”

这是一种将“预防坏事发生”这一隐形的艺术，转化为清晰、逻辑化的商业决策的方法。它承认我们无法预知未来，但它给了我们一个稳健的规划方式，确保投入到间谍身上的资金是在真正保护飞船，而不是仅仅在购买昂贵且无用的地图。

技术摘要：评估网络威胁情报（CTI）的投资回报率（ROI）

1. 问题陈述

量化网络威胁情报（CTI）项目的投资回报率（ROI）面临着一个根本性的测量问题：成功的防御会导致“非事件”发生，从而无法留下可观测的财务信号。因此，CTI 的支出难以进行传统的成本效益分析。此外，CTI 的价值通常是间接的，它作为下游控制措施（如防火墙、EDR、分析师）的效能倍增器，而非独立的单一技术控制手段。这使得因果归因和投资边界的定义变得复杂。传统的经济模型（如 Gordon–Loeb 模型）是为独立的各种技术控制设计的，无法捕捉到情报驱动型工作流中固有的概率性风险降低和杠杆效应。由于缺乏可辩护的模型，CTI 项目面临被视为成本中心、导致资金不足和资源错配的风险。

2. 方法论

本文提出了一个结合了定量指标、定性指标以及特定财务建模方法的多层框架，以解决测量缺口问题。

2.1 威胁情报效能指数（TIEI）

为了使 CTI 成熟度具有可操作性，作者引入了威胁情报效能指数（TIEI）。与假设线性关系且允许高分领域补偿失败领域的传统加权算术平均值不同，TIEI 使用了加权几何平均值。这种公式化处理会对弱点进行惩罚，反映了现实情况：某一个维度的缺陷（例如集成能力差）可能会抵消其他维度的价值。

TIEI 聚合了四个维度：

情报质量： 准确性、及时性、相关性和完整性。
富集： 映射至 TTPs（ATT&CK）、内部关联、实体链接和可操作性。
集成与自动化： 控制覆盖率、交付成功率、自动化率和 SLA 达标率。
运营影响： 平均检测时间（MTTD）和平均响应时间（MTTR）的缩减、误报率降低以及覆盖面提升。

得分通过定义的指标或多锚点归一化（不可接受、参考、卓越水平）归一化至 [1, 100] 量表，以确保可重复性。

2.2 财务框架：盈亏平衡优先法

本文并非转向预测特定的 ROI 数值，而是致力于定义一个盈亏平衡可行性边界。这种方法承认，组织特定的年度重大损失事件概率（ $p_0$ ）以及 CTI 可归因的缓解比例（ $M$ ）都是未知数，无法通过广泛的行业普遍性报告进行可靠估计。

该模型定义的 CTI 总拥有成本（TCO）不仅包括平台和数据源费用，还包括将情报投入实际运行所需的增量下游成本（集成、工程、自动化）。

正向 ROI 的条件推导如下：
$p_0 \times M > \kappa$
其中 $\kappa = \frac{TCO_{CTI}}{L_M}$ ， $L_M$ 是该事件的条件损失幅度。

这创建了一个双未知数边界：组织必须证明其特定的事件概率与特定的缓解能力之积超过了成本与损失的比率。

2.3 条件模拟

为了说明不确定性如何传播，作者采用了以 TIEI 分数为条件的 PERT 模拟。缓解因子（ $M$ ）被建模为一个 PERT 分布，其边界（悲观、最可能、乐观）是 TIEI 分数的仿射函数。这直接将运营成熟度与可能的财务结果范围联系起来，而无需断言一个单一的确定性数值。

3. 核心贡献

本文做出了两个主要贡献：

威胁情报效能指数（TIEI）： 一个结构化的、加权的几何成熟度度量标准，捕捉了情报质量、富集、集成和运营影响。它显式地惩罚了表现不均衡的情况，并为追踪项目演进提供了可重复的基础。
盈亏平衡优先的财务决策框架： 一种将 $p_0$ 和 $M$ 处理为未知数的处理方法，用于刻画实现正向 ROI 所需的组合。该框架包含了对投资边界（TCO）的全面定义，并展示了如何在不依赖具有误导性的行业普遍性数据的情况下，推导出匹配范围的盈亏平衡要求。

4. 结果与应用

该框架被应用于金融服务和医疗保健行业的说明性场景。

金融服务业： 使用估计的违约成本（ $L_M$ ）为 582 万美元，以及全包年度投资（ $TCO_{CTI}$ ）为 40 万美元，可行性常数 $\kappa$ 为 6.87%。分析显示，若要使 CTI 项目在 20% 的缓解能力（ $M=0.20$ ）下实现盈亏平衡，组织的匹配范围年度事件概率必须超过 34.4%。
医疗保健业： 面对更高的估计违约成本（ $L_M$ 为 859.5 万美元）和 60 万美元的投资， $\kappa$ 为 6.98%。同样，20% 的缓解能力要求事件概率超过 34.9%。

本文强调，这些并非对行业风险的预测，而是可行性边界。它们定义了组织证明投资合理性所需提供的最低证据。经 TIEI 条件化的 PERT 模拟进一步说明，对于成熟的程序（TIEI = 80），随着假设的事件概率（ $p_0$ ）上升，实现正向 ROI 的概率会显著增加，但该模拟依赖于组织提供可辩护的 $p_0$ 。

5. 重要性与主张

作者声称，该框架通过将运营成熟度（TIEI）与可审计的财务边界相联系，为 CTI 投资决策提供了一个可重复的基础。

重构 ROI： 本文认为，ROI 应被视为一种“避免脆弱性”的衡量标准，而非“利润获取”的衡量标准，从而解决了“预防悖论”——即成功的安全防护往往是隐形的。
因果一致性： 通过拒绝使用广泛的行业普遍性数据来替代组织特定的事件概率，该框架避免了将传统基于控制的模型应用于信息资产时的“范畴错误”。
整体估值： 该方法整合了定量性能指标（MTTD、MTTR）、定性战略价值（品牌保护、监管合规）以及财务建模（基于 FAIR 的风险降低）。
克制的声明： 本文明确指出，它并不估计通用的行业 ROI。数值边界是基于场景输入的确定性敏感性界限，而非置信区间。经 TIEI 条件化的 PERT 模拟被呈现为一种次级的、基于假设的说明，而非预测工具。

研究结论认为，尽管存在显著的测量挑战（归因、数据过载、无形资产），但通过结合 TIEI 与盈亏平衡优先财务模型的综合多层方法，可以将 CTI 的价值沟通为一种可辩护的战略投资，而非单纯的成本中心。