← 最新论文
💻 computer science

Beyond Severity Scores: A Conceptual Framework for Quantifying Cybersecurity Risk in Artificial Intelligence Systems

本文通过引入攻击面、模型可利用性、数据完整性、监管风险暴露以及控制成熟度这五个关键维度,提出了一个用于量化人工智能系统网络安全风险的概念框架,旨在解决现有以IT为中心的工具所存在的局限性,并建立一套用于将人工智能特定威胁转化为组织决策的共享词汇。

原作者: Shubham Paikrao

发布于 2026-08-13
📖 1 分钟阅读☕ 轻松阅读

原作者: Shubham Paikrao

原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象一下你正在建造一座房子。几十年来,我们一直拥有一套完美的蓝图和工具,可以测量墙壁有多坚固、锁具有多安全,以及窃贼撬开特定锁的概率有多大。这些工具对于用木头和砖块建造的标准房屋效果很好。但现在,想象一下我们突然开始用会说话、能帮你写邮件、甚至能帮你开车、会思考的“思维云朵”来建造房屋。旧的工具不再适用了。你无法用锤子去测量“云朵”的“强度”,而且窃贼不需要撬锁;他们只需要对云朵低声说出一个秘密密码,就能让它开门。这就是人工智能(AI)的世界。这是一种全新的技术,它通过学习数据而非仅仅遵循固定的指令来工作。由于这些 AI 系统如此新颖且截然不同,我们用于常规计算机软件的旧安全检查清单遗漏了最关键的部分。我们需要一种新的方式来理解风险,否则我们可能会发现自己住在一座看起来很安全、实则布满隐形裂缝的房子里。

Shubham Paikrao 撰写的这篇论文,就像是一个专门为这些“思维云朵”房屋定制的新型工具箱。作者认为,我们今天的安全评分就像试图用体重秤来测量云朵的重量:它们根本不匹配。论文建议,与其试图将一个新数字强加给旧工具,我们不如通过五个特定的“维度”或“视角”来看待 AI 风险,而当前的工具完全忽略了这些维度。这些维度是:攻击面(AI 有多少扇开启的门窗)、模型可利用性(AI 被欺骗或操纵的难易程度)、数据完整性(AI 学习的信息究竟有多可靠)、监管风险暴露(AI 会给公司带来多少法律麻烦)以及控制成熟度(公司监管 AI 的能力如何)。

该论文并不声称现在就拥有一个能为每种风险计算出完美金额的“魔法计算器”。事实上,它明确指出,我们还没有足够的 AI 灾难历史记录来做出这些精确的财务预测。相反,它提供了一个“概念框架”,这是一种高级说法,意指它提供了一个稳固的脚手架或一套共享的词汇。这是一种让老板、保安和政府监管机构在谈论 AI 危险时都能使用同一种语言的方式。作者建议,通过使用这五个维度,组织机构可以停止猜测,转而针对其 AI 的薄弱环节及需要加强防御的地方进行清晰、结构化的对话。这还不是一个最终成品,但它是确保我们的 AI 未来不会在自身重量下坍塌的必要第一步。

旧安全评分的问题

想象你是一名博物馆的保安。多年来,你一直使用一种特殊的扫描仪来检查画作是否有裂缝。如果画作有裂缝,扫描仪会发出哔哔声并给出 1 到 10 的评分。这对绘画作品非常有效。但随后,博物馆决定展示一个可以自己画画的机器人。机器人没有裂缝;它有“幻觉”(即看到不存在的事物),它可能会被游客低声说出的奇怪短语所欺骗(称为“提示词注入”),而且它可能会随着时间的推移慢慢忘记如何正确绘画(称为“模型漂移”)。

如果你尝试用旧的绘画扫描仪来检查机器人,它将毫无反应。它会说机器人完全安全,因为它找不到任何代码裂缝。但机器人实际上处于危险之中!论文指出,我们目前的安全性工具,如 CVSS(对软件漏洞严重程度进行评分)和 FAIR(试图预测灾难造成的经济损失),都是为旧世界的静态软件设计的。它们对能够破坏 AI 的独特手段视而不见。

例如,论文指出 CVSS 非常擅长告诉你打破一扇门有多容易,但它无法衡量因为有人讲了一个有趣的笑话而导致机器人轻易打开门的难易程度。同样,FAIR 非常擅长计算财务风险,但它需要历史数据(例如“去年发生了多少次这种情况?”)才能运作。由于 AI 太新了,我们还没有足够的历史记录来喂给机器处理这些特定的 AI 灾难。论文认为,尝试将这些旧工具用于 AI 就像是用一把尺子去测量火的温度;这个工具的形状完全不对。

五个新维度

为了解决这个问题,论文引入了看待 AI 风险的五种新方式。把它们想象成你需要照向 AI 系统以看清全貌的五把手电筒。

1. 攻击面:敞开的门
这关乎坏人有多少种进入途径。对于普通计算机,这可能只是几个开放的端口。但对于 AI,这要大得多。每当你与聊天机器人交谈、上传文件或让 AI 连接到你的电子邮件时,你都在打开一扇新门。论文强调,如果你让一个 AI 代理(可以执行任务的机器人)访问你的银行账户或电子邮件,你就拥有了一个巨大的“攻击面”。这就像是把你的前门、后门、车库门和地下室窗户都敞开着。AI 与外界互动的途径越多,它就越暴露在风险之下。

2. 模型可利用性:诡谲的心智
这衡量了欺骗 AI 的难易程度。有些 AI 是“黑箱”(我们不知道它们是如何思考的),而有些则是透明的。论文建议,如果一个 AI 的指令是公开的,或者公司在修复已知陷阱方面反应迟缓,那么该 AI 就是高度“可被利用”的。这就像一个忘记了自己秘密的魔术师;如果有人知道那个把戏,他们就能让魔术师做任何事。论文指出,提示词注入(用文本欺骗 AI)是这些模型运作的基础部分,这意味着它不能像修理坏掉的锁一样被完全“修复”;它必须被不断地管理。

3. 数据完整性:被污染的水源
AI 从数据中学习,就像学生从教科书中学习一样。如果教科书里充满了谎言或毒素,学生就会学到谎言。这个维度观察三件事:

  • 投毒: 是否有人在 AI 的训练数据中混入了坏数据?
  • 漂移: AI 是否因为现实世界发生了变化而忘记了如何工作?(想象一下,一个基于 2020 年数据训练的医生 AI 试图诊断 2026 年的病毒;它可能会出错)。
  • 幻觉: AI 是否会自信地编造事实?
    论文强调,与一个只会停止工作的损坏程序不同,“漂移”的 AI 可能会继续工作,但在数月内给你提供微妙错误的答案,而无人察觉。

4. 监管风险暴露:法律的注视
这关乎违反规则的代价。政府正在制定新的 AI 法律,如 欧盟 AI 法案 和来自 SEC 的规则。如果你的 AI 违反了法律,你可能会面临巨额罚款(根据论文,最高可达 3500 万欧元或全球收入的 7%),或者必须向公众披露你的错误。论文指出,旧的风险工具不计算这些法律成本。这就像开车没买保险;车可能跑得很好,但一旦发生碰撞,财务打击将是巨大的。

5. 控制成熟度:保安的技能
这是最后一块拼图:公司管理风险的能力如何?即使一个 AI 有许多敞开的门(高攻击面)并且容易被欺骗(高可利用性),如果公司有一个 24/7 全天候监视它的超级熟练保安,风险也会降低。这包括使用坏输入进行测试(红队测试)、监控输出以及由人类检查重要决策等。论文认为,拥有“成熟”控制系统的公司比那些只靠运气希望一切顺利的公司处于更好的地位。

在现实世界中如何运作

论文使用了三个案例来展示这种新的框架如何改变我们对风险的思考方式。

  • 银行的聊天机器人: 这个 AI 与客户交谈并可以查询账户信息。它具有攻击面(每个人都可以与它交谈)和可利用性(它是一个黑箱)。它具有中等的监管风险。论文认为这是一个**关键(Critical)**风险,因为它极易受到攻击且面向公众。
  • 医院的分诊 AI: 这个 AI 帮助医生决定谁需要优先获得帮助。它具有中等的攻击面(只有医生使用它)但具有数据完整性风险(如果它产生幻觉,患者可能会受伤)。它还具有关键的监管风险,因为涉及医疗法规。论文认为这也是关键风险,但原因不同。解决方法不仅仅是“锁好门”,而是“确保 AI 不在撒谎”。
  • 软件公司的代码助手: 这个 AI 帮助程序员编写代码。它具有攻击面(仅员工使用)和监管风险。即使它犯了错误,也不是什么大问题。论文认为这种风险是**受控(Managed)**的,不需要过多的关注。

关键在于,两个系统都可以是“关键”风险,但原因可能完全不同。旧的工具只会给它们一个单一的数字,从而让人无法知道如何去修复它们。这个新框架告诉你在哪里集中精力。

论文做了什么,也没做什么

了解这篇论文并非在声称什么非常重要。作者非常明确,这并不是一个现在就能给你提供完美美元金额的魔法计算器。我们还没有足够的数据来断言:“如果这个 AI 失败了,它会让我们损失 5 万美元。” 论文承认,关于这些 AI 灾难发生频率的数据目前是缺失的。相反,论文提供的是一种思考结构。这是一种组织对话的方式,以便当我们将来获得数据时,我们知道如何使用它。

论文也排除了仅仅通过微调旧工具来解决问题的想法。它认为,你不能仅仅通过为 CVSS 或 FAIR 添加一些新设置来使其适用于 AI。问题在于更深层次:整个思考风险的方式都需要改变,以包含这些新维度。

为什么这很重要

论文总结道,我们面临的最大问题并不是我们不知道威胁是什么,而是我们缺乏一种讨论这些威胁的共同语言。监管机构、保险公司和安全团队都在说着不同的语言。这个框架提出了一个通用的词汇表。它为董事会提供了一种理解风险的方式,而无需成为计算机专家;同时也为安全团队提供了一个清晰的构建清单。

最终,论文建议我们正处于一个“脚手架”阶段。我们正在搭建结构,这个结构最终将支撑起一个完全量化的、精确的 AI 风险管理系统。在拥有填充数据的实际数据之前,这个五维框架是我们确保未来不会建立在流沙之上的最佳工具。它是一个俏皮、实用且必要的步骤,旨在确保我们的 AI “朋友们”不会意外地烧掉整座房子。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →