✨ 要点🔬 技术摘要
想象一个规模宏大、受严格监管的发电厂或水处理设施。这些地方就像城市的心脏和肺部；如果它们停止运转，一切都会停滞。正因如此，它们有着严格的规则：每一个开关都必须记录在案，每一根管道都必须经过检查，而且任何人都不得在没有保安许可的情况下携带外部工具进入。
现在，想象一种全新的、极其聪明的助手（我们称之为“前沿人工智能”/Frontier AI）出现在了互联网上。它能写报告、修复代码并瞬间解决问题。它免费、易用且极其高效。
这篇论文探讨的是：当这些关键设施的员工开始在不告知老板或保安的情况下，私自使用这种“前沿人工智能”时，会发生什么。研究人员将这种现象称为**“影子 AI”（Shadow AI）**。
以下是该研究发现的简单拆解，使用了日常类比：
1. “影子”无处不在，但并非出于恶意
研究人员采访了 27 家管理通信、能源和水务的澳大利亚公司的领导者。他们发现，影子 AI 无处不在 。几乎所有人都在使用它。
类比： 这就像员工带着自己的私人手电筒进入了一个规定只能使用公司批准照明设备的工厂。他们这样做并不是为了偷窃或炸毁工厂，他们只是想看得更清楚，把工作做得更快。现实情况： 研究发现，这些组织中 80%–90% 的人都在使用这些工具。他们用它们来写邮件、总结长篇报告或构思创意。他们并不是 在利用它们自动运行发电厂（目前还没有“机器人工人”）；人类仍然掌握着驾驶权，只是配备了一个未经正式入职的超级聪明副驾驶。
2. 他们为什么要这么做？（“影子”背后的动机）
员工并不是想破坏规则。他们是在应对现实中的问题：
“饥饿工人”类比： 想象你正处于饥饿状态，而公司的食堂正在装修。你不会等待，而是直接去街对面的餐车那里买吃的。工人们渴望提高生产力，而官方提供的工具要么审批流程太慢，要么根本不好用。“便捷获取”因素： 获取这些 AI 工具就像下载手机 App 一样简单。你可以在几秒钟内通过手机、iPad 或工作电脑下载它们。“老板的矛盾信号”： 有时，老板说：“我们热爱创新！”但随后却需要花费数月时间才能批准官方工具。这种混乱的信息传递让员工觉得进行实验性尝试是可以接受的。
3. 隐藏的危险：“保证能力的侵蚀”
论文引入了一个可怕的概念，叫做**“保证能力的侵蚀”（Assurance Erosion）**。
类比： 想象一座挡住河流的大坝。所谓的“保证能力”就是证明大坝安全的混凝土和检查机制。而“侵蚀”就像是从内部啃食木材的白蚁。你看不见白蚁，大坝从外面看依然完好无损，但它正在慢慢变弱。正在发生的情况： 当员工使用影子 AI 时，他们正在慢慢侵蚀安全检查机制。
数据泄露： 员工可能会为了寻求帮助，将敏感的设计蓝图或客户数据粘贴到公共 AI 聊天机器人中。一旦数据进入那里，公司就失去了对它的控制。这就像是在公共广场上低声诉说秘密。“黑箱”问题： 如果日后发生了错误，公司无法查看日志以了解发生了什么，因为 AI 的交互过程没有被记录。这就像是一场车祸，司机说：“我不知道发生了什么，我刚才只是在和一个幽灵对话。”“静默升级”： 有时，公司所允许的官方软件会被供应商更新，从而包含 AI 功能。公司并未要求、未测试，也不知道其存在。这就像你买了一个烤面包机，它竟然在没经过你操作的情况下突然开始烤面包了。
4. 安全失效的三种方式
研究人员确定了这种“影子”造成风险的三种具体方式：
边界绕过（Boundary Bypass）： 数据流出了公司的安全“堡垒”，进入了狂野的互联网，绕过了安全守卫。未经评估的扩张（Unassessed Expansion）： 这些工具在公司从未检查或批准的情况下开展活动。这就像给一名工人一件从未接受过培训的新型电动工具，而他开始在主发动机上使用它。失去视线（Loss of Sight）： 公司不再能“看到”正在发生的事情。如果起火了，他们无法看到烟雾是从哪里冒出来的，因为监控设备（日志）被关闭或绕过了。
5. 为什么“仅仅禁止”行不通
论文认为，试图严格禁止这些工具就像试图禁止人们使用钢笔和铅笔一样。
类比： 如果你禁止了那家餐车，饥饿的工人们只会去下一条街寻找食物，而你甚至都不会知道他们在那里吃饭。结果： 严厉的禁令往往会将这种行为推向更隐蔽的地下，使得这种行为更难被观察和管理。员工只会使用他们的个人手机，而公司完全无法监控。
6. 核心结论
最重要的发现是，目前还没有人炸掉发电厂 。目前还没有发生大规模灾难。
类比： 这就像开车不系安全带。你可能开了好几年都没出事故，所以你觉得没问题。但每一次你跳过安全带，你都在慢慢增加发生灾难性碰撞的可能性。结论： 风险不是突发的爆炸，而是一种缓慢、悄然发生的安全性与控制力的丧失。这些公司目前处于“名义上的合规状态”（即在纸面上看起来遵守规则），但实际上，一旦发生意外，他们正在失去证明自己是安全的能力。
简而言之： 关键基础设施的从业者正在使用强大的、未经批准的 AI 工具来更快地完成工作。他们并非坏人，但他们的行为正在慢慢侵蚀维持世界基本服务安全的防护网和规则。解决方案不仅仅是禁止这些工具，而是要理解人们为何使用它们，并建立更好、更安全的方式来应对这一新现实。
技术摘要：从前沿技术到影子 AI：关键基础设施保障与安全的潜在威胁
1. 问题陈述
本文探讨了**影子 AI（Shadow AI）**的兴起——即在关键基础设施（CI）环境中，非正式、未经授权使用前沿 AI 系统（如大语言模型、智能体工具）的现象。由于受到严格监管（如澳大利亚的《安全关键基础设施法案》/ SOCI Act），关键基础设施中的正式 AI 应用高度谨慎且受控，但前沿 AI 的低门槛易得性催生了广泛的非正式使用。
核心问题在于，影子 AI 在既定的组织控制之外运行，造成了一种系统性的社会技术性“保障侵蚀（assurance erosion）”状态 。不同于由恶意行为者驱动的传统安全威胁，影子 AI 通常是由寻求提高生产力的非恶意内部人员驱动的。这种行为绕过了保障机制，导致以下风险：
数据保护风险： 未经监控的数据流，以及敏感运营或客户数据向外部供应商泄露的可能性。决策可靠性风险： 将非确定性和未经验证的 AI 输出引入操作工作流。监管合规风险： 无法重建决策溯源、审计 AI 介导的行为，或证明履行了关键基础设施监管框架所要求的尽职调查义务。
本文认为，现有的安全与治理框架假设系统是边界清晰且行为可观测的，这与影子 AI 非正式、分布式且部分不可见的特性不相匹配。
2. 研究方法
本研究采用定性访谈法 ，将影子 AI 视为一种无法仅通过日志或事故数据完全捕捉的安全与治理现象。
数据收集： 在 2025 年 12 月至 2026 年 4 月期间，对来自 27 家澳大利亚关键基础设施组织 的 32 名参与者 进行了半结构化访谈。行业领域： 通信、能源、水务与污水处理。参与者： 负责 AI 风险、合规、安全与治理的高级管理人员、职能负责人及经理。分析方法： 结合结构化提取（用于跨案例比较）与反思性主题分析（用于解释参与者如何理解影子 AI、相关风险及治理实践）的混合定性研究方法。研究范围： 研究聚焦于组织实践、决策结构与监管体制的交集，特别调查了影子 AI 在实践中如何显现并与现有控制措施进行交互。
3. 主要贡献
本文对 CI 安全与 AI 治理领域做出了三个主要贡献：
经验特征化： 提供了针对关键基础设施环境下影子 AI 实践的首个实证分析，将其从一般的组织研究提升到安全关键背景下。交互分析： 对影子 AI 如何与现有的技术、组织和治理控制措施进行交互进行了结构化分析，识别了具体的失效点和盲区。威胁模型与概念框架： 提出了以**“保障侵蚀（Assurance Erosion）”**为核心概念的统一框架。开发了一个基于实证的威胁模型，识别了三种主要的安全性下降机制，将影子 AI 从单纯的政策违规重新定义为一种系统性的社会技术风险。
4. 关键结果与发现
普及程度与使用性质
广泛采用： 影子 AI 普遍存在，参与者估计在某些组织中，使用率高达“接近 80 或 90%”。这种现象遍及整个组织，影响着操作人员、开发人员及拥有特权的技术角色。人类在环（Human-in-the-Loop）： 目前的使用方式主要是交互式且人类在环 的（例如：起草、摘要、辅助编程）。目前没有证据表明 存在影子智能体 AI 或自主系统集成到生产工作流中。持续性： 影子 AI 通常早于获批工具出现，并且即使在官方替代方案（如 Microsoft Copilot）部署后依然存在，其驱动力在于用户感知到的功能差距或易用性差异。
影子 AI 的驱动因素
研究表明，影子 AI 是对运营需求的理性响应，而非鲁莽行为。关键驱动因素包括：
生产力压力： 需要节省起草、摘要和构思的时间。易得性： 公共工具（如 ChatGPT、Gemini）在个人和公司设备上的准入门槛极低。治理滞后： 监管和采购周期缓慢，无法跟上 AI 创新的步伐。基础设施差距： 遗留系统和碎片化数据阻碍了内部综合能力，促使用户寻求外部 AI 解决方案。高层信号： 领导层对创新的热忱在无形中允许了实验行为，尽管正式治理仍处于滞后状态。
观察到的风险与事件
数据泄露： 识别出的最严重风险是将敏感信息（工程图纸、监管草案、内部调查等）暴露给公共 AI 工具。虽然参与者常将其描述为“无害”，但这些事件构成了未经授权的数据外泄。内部窃取： 公共 AI 界面成为了低门槛的数据外泄通道，这得益于基于信任的治理模式以及缺乏技术拦截手段。未评估的能力扩张： 嵌入在获批企业工具中的 AI 功能（如供应商更新）往往绕过了正式的风险评估，从而创造了保障盲点。观测性丧失： 影子 AI 的交互过程通常缺乏日志记录，导致对数据流和决策影响的态势感知能力丧失。监管缺口： AI 介导决策缺乏审计追踪，增加了在发生事故后进行重建和提供证据报告的难度，这对于 CI 监管要求至关重要。
组织应对措施
组织正从严格禁止转向分层控制策略 ：
替代方案： 提供获批的替代工具（如 Copilot）以减少对公共工具的依赖。监控： 使用数据泄露防护（DLP）和监控工具以获取可见性，而非直接封禁。教育： 侧重于培训与意识提升，尽管这些措施往往未能明确解决影子 AI 问题。局限性： 参与者对单纯的“封禁”策略表示怀疑，指出限制措施往往会将使用行为推向个人设备，或促使员工采取规避手段（如截屏）。
5. 影子 AI 威胁模型
本文提出的威胁模型以保障侵蚀 而非传统的对抗性破坏为中心。该模型识别了影子 AI 削弱安全的三个机制：
边界绕过（Boundary Bypass）： 数据流通过外部公共 AI 使用绕过了既定边界，导致未经监控的数据处理以及数据外泄可见性的丧失。未评估的能力扩张（Unassessed Capability Expansion）： 获批系统中嵌入的 AI 功能引入了潜在风险和新的推理路径，且未经过正式的治理审查，从而扩大了获批系统内的有效攻击面。观测性丧失（治理规避）（Loss of Observability / Governance Circumvention）： 特权用户或本地扩展（如本地 RAG 模型）绕过了日志记录和审计机制，破坏了取证审计能力和最小权限原则的执行。
威胁特征：
社会技术性： 源于人类行为、工具属性与治理结构之间的相互作用。增量性与累积性： 随着低严重性的边界穿越行为变得常态化，风险会随时间不断叠加。弥散性与隐蔽性： 通常在现有的监控或 DLP 机制下保持部分不可观测状态。
6. 重要性与主张
本文主张，影子 AI 代表了关键基础设施环境中的第一优先级风险 ，它从根本上挑战了现有的安全与合规框架。其重要性在于：
重新定义威胁： 将关注点从外部对手或恶意内部人员，转向由非恶意内部人员驱动的、通过 AI 介导的暴露路径 。强调保障侵蚀： 证明主要的危险不在于立即发生的灾难性失败，而在于逐渐削弱实现审计性、问责制和证据报告所需的条件 。政策启示： 认为传统的“封禁或许可”方法是不够的。相反，关键基础设施运营商需要定制化的、与路径对齐的治理策略 ，以应对去中心化的、由 AI 介导的推理，以及运营需求与治理系统之间的结构性错位。
研究结论指出，尽管在研究期间未观察到重大灾难性事件，但影子 AI 的普遍存在预示着，如果不对这种结构性错位进行处理，未来发生安全、治理或合规失败的风险将会升高。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。