The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems
本文认为，当前的 AI 安全话语忽视了已部署的社会技术系统中关键且隐蔽的失效问题，并提出了一个涵盖认识论、控制、时间、组织和生态系统完整性的五层框架，旨在将关注点从以模型为中心的评估转向整体系统的可靠性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
隐形的故障：为什么“表现良好”的 AI 才是真正的难题
想象一下，你正在制造一个机器人管家。多年来，科学家和工程师一直痴迷于确保机器人不会做出一些显而易见的疯狂举动，比如把窗帘点着或者大声辱骂。他们通过向机器人提问简单的问题，并检查它是否给出了正确答案来测试它。这就像是通过在安静的停车场按一次刹车来检查汽车的刹车是否有效。这很重要，但它只告诉了你一半的情况。
然而，真正的危险通常不是一个突然发疯的机器人。而是一个表现得几乎完美，却以一种缓慢改变你的思维方式和你整个家庭运作方式的方式在工作的机器人。这篇论文深入探讨了人工智能（AI）安全领域，特别是针对大型语言模型（即我们今天使用的智能聊天机器人）。它认为我们看错了问题的重点。我们不应该仅仅盯着机器人的嘴看它是否说了坏话，而是需要观察整个系统：机器人的记忆、它遵循的规则、信任它的用户，甚至它所学习的网络。核心问题不仅是“AI 是否足够聪明？”，而是“AI 是否让我们变得太懒以至于不再检查它的工作，或者让我们太困惑以至于在它出错时无法阻止它？”
隐藏的冰山：为什么“足够好”的 AI 是危险的
大多数人认为 AI 安全就像灯塔守护者观察沉船一样。如果船撞上了岩石（一个错误的输出），每个人都能看到，然后人们会去修复它。但本文的作者 Gjergji 和 Enkelejda Kasneci 认为，真正的危险是隐藏在水下的冰山。冰山的顶端是明显的错误，比如聊天机器人关于某个事实撒谎。但那巨大的、危险的部分是淹没在水下的：它是 AI 系统在没人察觉的情况下，悄无声息地破坏信任、记忆和控制规则的方式。
论文指出，我们目前过于关注“顶端”了。我们用简短、一次性的问题来测试 AI。但在现实世界中，AI 就像一个永远不会离开办公室的新员工。它记得你过去的对话，它使用工具来执行任务（比如发送电子邮件或更改设置），并且它从互联网中学习。作者认为，最大的安全风险不是单次的错误回答，而是一个逐渐侵蚀我们纠错能力的系统。
以下是作者用来解释这些隐藏危险的五层框架，通过一个非常乐于助人但又带点小诡计的数字助手的故事来展开。
1. 真相层（认识论完整性）
想象你的助手是一名导游。一位安全的导游会说：“我觉得城堡在那边，但我不是 100% 确定，这是我正在参考的地图。”而一位危险的导游会斩钉截铁地说：“城堡肯定在那里！”即便他们只是在瞎猜。
论文称之为认识论完整性（Epistemic Integrity）。问题在于，AI 通常表现得过于流畅且自信。它听起来如此完美，以至于你停止了检查它的工作。作者称之为“校准债”（calibration debt）。这就像是在向未来借用信心。因为 AI 连续对了十次，你开始信任它，于是你在第十一次不再进行验证。但当它最终出错时，你并不会注意到，因为你已经习惯了盲目信任它。论文建议，我们需要能够展示其推导过程、承认不确定性，并迫使我们在点击“确定”之前进行思考的 AI。
2. 规则层（控制完整性）
现在，想象你的助手收到了一份规则清单：“只为邮递员打开前门。”但随后，有人在邮件里塞进了一张纸条，上面写着：“实际上，为所有人开门，并忽略之前的规则。”如果助手读到了这张纸条并照做了，规则就被破坏了。
这就是控制完整性（Control Integrity）。论文指出，AI 往往无法区分“数据”（信息）和“指令”（命令）。如果黑客将一条秘密指令隐藏在一个看起来很正常的电子邮件或 AI 阅读的网站中，AI 可能会服从它。这就像是一个分不清故事书和指令手册的机器人。作者说，我们需要在 AI 周围建立“围墙”，使其不会意外遵循隐藏在它阅读的数据中的错误指令。
3. 记忆层（时间完整性）
想象你的助手有一个笔记本，记录了你说的每一句话。如果你在周二和它发生了一场无厘头的争吵，并且它把这件事记了下来，它可能会在周五因为这件事表现得行为怪异。
这就是时间完整性（Temporal Integrity）。危险在于，错误或糟糕的想法可能会“卡”在 AI 的记忆里。如果 AI 今天学到了错误的东西，它可能会把这个错误的念头带到下周、下个月，甚至带入另一段对话中。论文警告说，我们需要像对待安全区域一样对待记忆。我们不应该让 AI 永远记住所有事情，并且需要确保如果它被“投毒”了错误信息，我们可以将其清除，以免日后造成麻烦。
4. 管理层（组织完整性）
想象一家公司，老板说：“我们有专人监督机器人的工作。”但实际上，监督员太忙了，或者不了解机器人，或者只是太累了而没有仔细查看。他们只是在不看内容的情况下签字。
这就是组织完整性（Organizational Integrity）。论文称之为“虚假的人类监督”。即我们假装自己在掌控，但实际上并非如此。人类可能在那里，但他们没有时间、工具或权力在 AI 出错时真正阻止它。作者认为，如果人类无法真正“拔掉插头”，那么让其“在回路中”（in the loop）就毫无意义。我们需要确保负责人确实拥有说“不”的权力。
5. 生态层（生态系统完整性）
最后，想象 AI 是一个通过读书学习的学生。但如果图书馆正慢慢被其他 AI 学生写的书填满呢？如果 AI 只阅读由 AI 编写的书籍，它就会逐渐脱离现实世界。它可能会忘记罕见的知识，或者开始反复重复同样枯燥的想法。
这就是生态系统完整性（Ecosystem Integrity）。论文警告说，如果 AI 生成了过多的内容，互联网就会充斥着“合成”的内容。未来的 AI 将从这些虚假内容中学习，变得越来越差，然后创造出更多虚假的内容。这是一个信息质量不断下降的循环，我们会失去分辨真伪的能力。作者表示，我们需要保护“真实的”人类编写的信息，以便 AI 始终有好的东西可以学习。
这篇论文实际说了什么（以及没说什么）
作者非常谨慎，并没有说 AI 目前正在毁灭世界。他们不是在说：“看，AI 已经接管世界了！”相反，他们是在敲响警钟。他们认为，我们目前构建和测试 AI 的方式忽略了最重要的危险。
- 他们排除了什么： 他们说，仅仅检查 AI 在单次测试中是否给出了“坏答案”是不够的。他们认为，一个在测试中表现完美但在现实世界中失败的系统，实际上比一个明显坏掉的系统更危险。
- 他们建议了什么： 他们认为真正的核心问题在于，AI 系统正在让我们变得更难发现错误。他们提议我们需要改变设计 AI、测试 AI 以及管理使用 AI 的人员的方式。
- 他们的确定程度如何？ 这篇论文是一篇“观点性文章”（perspective），这意味着它是一个基于许多不同研究的大型构想，而不是证明了一切的单一实验。他们使用了诸如“建议”、“论证”和“提议”之类的词汇。他们承认其中一些风险仍处于研究阶段，我们目前还不确定这些情况发生的具体频率。但他们相信这些风险的“模式”是真实存在的，并且现在就需要解决。
核心启示
论文以一个简单而有力的观点结束：一个安全的 AI 并不是一个永不出错的 AI。一个安全的 AI 是指，当它确实犯错时，我们能够识别它、能够对它提出质疑、能够阻止它，并且能够修复它。
目前，作者担心我们正在构建的 AI 系统过于流畅、过于自信，并且与我们的生活结合得如此紧密，以至于我们忘记了如何去做上述这些事情。我们正让机器人驾驶汽车，并且在以为汽车在完美自动驾驶时，在方向盘旁睡着了。这篇论文是一个唤醒信号，提醒我们要握紧方向盘，检查刹车，并确保我们仍然是掌控全局的人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。