The AI Resilience Gap: Bringing Artificial Intelligence Inside the Operational Resilience Perimeter
本文认为，目前侧重于可信度的人工智能治理框架未能解决运营韧性问题，并提出了“人工智能韧性框架”，旨在通过依赖关系映射、可替代性分层和集中度管理，将人工智能依赖项整合到运营连续性规划中。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将一家金融公司想象成一家繁忙且高风险的餐厅。多年来，监管机构（即卫生检查员）一直非常关注可靠性（Trustworthiness）。他们检查：食物是否安全？厨师是否公平？食谱是否有记录？厨房是否干净？这就是“可信 AI（Trustworthy AI）”的世界。
但本文认为，仅仅做到“安全且公平”是不够的。存在着第二套同样重要的规则，即运营韧性（Operational Resilience）。它在问：如果停电了，或者主要供应商断了面粉，餐厅还能继续为顾客服务吗？
作者乔纳森·谢尔比（Jonathan Shelby）表示，虽然公司在让其 AI 变得“安全且公平”方面做得很好，但他们在确保 AI 能够从灾难中幸存下来方面却失败了。他们建立了一个“可靠”的厨房，但却没有检查如果炉灶坏了，餐厅是否还能继续烹饪。
以下是使用简单类比对本文论点的拆解：
1. 两种不同的清单
本文指出，公司正试图遵循两套不同的规则手册，但这两者之间并没有沟通。
- “可靠性”清单（卫生检查员）： 关注 AI 本身。它是否有偏见？它是否在撒谎？它是否危险？如果 AI 是完美的，这份清单就会给出“通过”。
- “韧性”清单（消防员）： 关注服务。如果 AI 停止工作，业务是否会停止？你是否有备选方案？如果 AI 是完美的但你没有备份，这份清单就会给出“失败”。
差距： 一家公司可以拥有一套 100% “可靠”（安全、公平、有记录）但 0% “韧性”（一旦损坏，整个业务就会崩溃）的 AI。本文称之为 AI 韧性差距（AI Resilience Gap）。
2. 为什么 AI 是一种特殊的故障类型
本文解释说，AI 发生故障的方式很奇特，是旧有的安全规则未曾预料到的。
- “无声漂移”（灰色故障）： 想象一个 GPS 应用。通常，如果它坏了，屏幕会变黑（明显的故障）。但 AI 不同。它可能仍在提供路线，但路线正变得越来越差。它仍然处于“开启”状态，但正引导你掉进沟里。旧规则只检查屏幕是否“开启”，因此会忽略这种缓慢、无声的灾难。
- “单一种植”问题： 想象城市里的每家餐厅都从同一家巨大的磨坊购买面粉。如果那家磨坊失火了，所有 餐厅都会同时停业。本文警告说，大家都在使用同样的几种“前沿 AI（Frontier AI）”模型。如果其中一个大型模型失效，整个金融系统可能会一起踉跄。
3. 解决方案：“AI 韧性框架”
本文提出了一个新的五步法来解决这个问题。你可以把它想象成审计你餐厅备份计划的方法。
- 第 1 步：梳理食材。 你需要准确知道哪些 AI 工具正在运行你的“重要业务服务”（如接单或信用检查）。你无法修复你看不到的东西。
- 第 2 步：“能否替换？”测试。 本文引入了 关键性-可替代性矩阵（Criticality-Substitutability Matrix）。
- 高关键性 + 无替换方案： 危险区。（例如：唯一的掌握秘密食谱的厨师，如果他离职，餐厅就会倒闭）。
- 高关键性 + 有替换方案： 受控。（例如：主厨辞职了，但一名受过训练的副厨已准备好顶替）。
- 低关键性： 轻度关注。（例如：AI 只是负责挑选背景音乐；如果它坏了，也无大碍）。
- 第 3 步：重新定义“损坏”。 你不能只说“AI 宕机了”。你也必须说“AI 正在给出错误的答案”。你需要设定一个界限：“如果 AI 出错率超过 5%，我们就视其为损坏，并切换到备份方案。”
- 第 4 步：“真正的”备份准则。 这是最重要的部分。许多公司说：“如果 AI 失效，人类会接管。”但本文认为：如果你没有练习过，那就不叫备份，而是幻想。 如果人类的操作流程在多年前为了省钱而被删除了，那么你就没有任何备份。你必须保持“人工路径”的生命力，并练习如何切换到该路径。
- 第 5 步：关注大型供应商。 你需要检查自己是否过度依赖某一家巨头 AI 供应商。如果他们是供应给所有人的“磨坊”，那么当他们失效时，你需要一个切换到另一家磨坊的计划。
4. 这对领导者意味着什么
本文告诉安全主管和公司董事会：
- 不要等待新规。 监管机构（如英格兰银行）并没有在编写新的“AI 安全”法律。他们是在说，“你们已经必须具备韧性了。现在请将这些规则应用于 AI。”
- 不要仅仅信任 AI，要信任你的备份。 仅仅“安全”是不够的。你需要证明如果 AI 变得沉默、漂移或消失，你依然能够生存。
- 连接点滴。 那些检查“公平性”（模型风险）的人和那些检查“生存能力”（韧性）的人需要进行沟通。他们观察的是同一个 AI，但提出的问题不同。
简而言之： 本文认为，我们目前正在构建“优秀”但脆弱的 AI。目标是构建不仅“优秀”，而且“强韧”的 AI，即在出现问题时拥有真实的、经过练习的应对计划。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。