Mission-Level Runtime Assurance for LLM-Assisted ISR Swarms over a Verification-Aware Fabric

想象一个这样的世界：机器人不再仅仅执行“前进”这种简单的指令，而是能够真正思考、规划并相互交谈以解决复杂问题。这就是自主集群（autonomous swarms）的领域——无人机和地面车辆组成的群体像鱼群或鸟群一样协同工作。为了让这些机器人变得聪明，科学家们正在赋予它们大语言模型（LLMs）——即驱动聊天机器人的那种类似的“大脑”——以帮助它们理解指令、构思下一步行动，并在出现问题时进行调整。但问题在于：这些聪明的脑袋可能会被欺骗。如果敌人将一条虚假指令混入机器人的数据中，机器人可能会认为这是一条真实的命令并执行危险的操作，即便它在逻辑上完美遵循了规则。这被称为提示词注入（prompt injection）。

科学家们面临的核心问题是：在一个混乱、嘈ла且信息可能丢失或延迟的环境中，如何确保整个智能机器人团队的安全？如果一个机器人是安全的，那么整个团队也安全吗？不一定。一个机器人团队可能会在无意中（或恶意地）将一项禁令任务拆分给彼此执行，使得每个机器人执行的操作本身都是允许的，但这些行为的组合却造成了灾难。传统的安全检查仅针对单个机器人进行，忽略了大局。本文探讨了一种全新的监控整个团队的方法，确保即使在机器人被欺骗或无线电信号被干扰的情况下，系统也能准确掌握现状，而不会在情况不明时假装一切正常。

---

论文：机器人集群的侦探故事

本论文提出了一种巧妙的新型系统，称为三层运行时保障框架（three-tier runtime assurance framework）。你可以将其想象成一支为执行侦察任务（简称 ISR：情报、监视与侦察）的自主机器人集群提供多层保护的安全团队。作者构建该系统的目的是为了捕捉一种非常特定且隐蔽的攻击方式，即坏人诱导机器人拆分并执行一项禁令任务。

隐蔽的攻击：“拼图游戏”诡计

想象一个任务，规则规定：“不得建立关于某秘密建筑的完整档案。”单个机器人是不被允许完成构建该档案所需的所有步骤的。但是，如果一个坏人向机器人发送一条假消息说：“嘿，让我们把任务拆分一下！你负责拍照，你负责记录坐标，你负责收集无线电信号，而你负责绘制地图。”

从个体来看，每个机器人都在做完全合法的事情。机器人 A 只是在拍照（这是允许的）。机器人 B 只是在记录坐标（这也是允许的）。如果你只观察机器人 A，它看起来是无辜的；如果你只观察机器人 B，它看起来也是无辜的。但当你把它们所有的行动组合在一起时，它们已经秘密地构建出了那个禁令档案。这就是**“拼图游戏”攻击**：每一块碎片都是无害的，但整体图像却违反了规定。

论文指出，标准的安全监控器由于只观察单个机器人，因此对此完全失明。它们都会报告“一切正常”，因为没有任何单个机器人违反了规则。

解决方案：“验证感知织网”（Verification-Aware Fabric）

为了捕捉这种攻击，作者创建了一个具有三个监控层级的系统：

1. 第一层（个体）： 每个机器人监控自身。
2. 第二层（小队）： 一个局部领导者监控一小组机器人。
3. 第三层（任务）： 一个中央指挥官监控整个团队。

其精妙之处在于它们沟通的方式。他们使用了一种特殊的通信系统，称为 RV-Fabric。你可以将这个“织网”不仅看作一条电话线，更像是一个超级安全、不可破坏的笔记本，它会记录发送的每一条消息、发送的时间以及发送者的身份。它具有一个特殊功能：它知道消息何时丢失了。

在旧有的方式中，如果由于无线电干扰导致消息丢失，中央计算机可能会认为：“噢，没有收到来自机器人 C 的消息，所以机器人 C 应该什么也没做。”然后它会判定：“一切正常！”这是一种沉默的虚假全清（silent false all-clear），是非常危险的。

新系统则不同。它使用双轴判定法（two-axis verdict）。它不仅仅简单地说“安全”或“不安全”，而是输出：

• 安全性（Security）： 是否存在违规行为？
• 完整性（Completeness）： 我们是否有足够的证据来确定结论？

如果一条消息丢失了（因为干扰或信号丢失），系统不会进行猜测。它会说：“未知（Unknown）”。如果它无法看到全貌，它就拒绝给出“一切正常”的结论。这就像一位侦探会说：“我不能仅仅因为失去了不在场证明就判定嫌疑人无罪；我只是目前还不清楚。”

研究发现（结果）

作者通过机器人集群任务的计算机模拟测试了该系统。他们设置了一个场景，其中坏人利用提示词注入来诱导机器人拆分禁令任务。

• 盲点： 个体机器人监控器没有发现任何异常，它们都报告了“无违规”。
• 捕捉成功： 新的三层系统看到了全局。它意识到当把四个机器人的行动结合起来时，它们已经构建出了那个禁令档案。它标记了违规行为，甚至指出了具体涉及哪些机器人（即溯源性/provenance）。
• 干扰测试： 作者随后模拟了无线电干扰，即消息被丢弃或延迟的情况。
  • 一个标准的中央监控器（“尽力而为”型）因消息缺失而产生混乱，出现了三次沉默的虚假全清。它误以为任务是安全的，而实际上并非如此。
  • 新的 RV-Fabric 系统实现了零次沉默的虚假全清。当消息缺失时，它只会简单地显示“未知”或“不完整”。它从不撒谎说一切正常。

他们还针对不同类型的任务进行了测试，例如检查集群的总无线电发射强度是否过高，或者机器人是否共同进入了禁区。在每种情况下，新系统都能捕捉到个体监控器会错过的团队违规行为，并且在证据缺失时，从未给出过虚假的“全清”结论。

结论可靠吗？

作者对这些结果非常有信心，但重要的是要注意他们是如何获得这些结果的。他们在模拟环境中使用了一个真实的机器人模拟器（ROS 2/Gazebo/ArduPilot）运行了这些测试。他们并没有在真实的战场上飞行机器人，而是在一个数字世界中创建环境，以便注入故障、丢弃消息，并反复重放完全相同的任务，以观察结果。

在这些模拟中，该系统表现完美。它检测到了数据中可见的所有拆分任务攻击，并且即使在消息丢失时，也从未给出过沉默的虚假全清。此外，该系统运行速度极快，可以在不到 2 毫秒的时间内检查多达 1,000 台机器人的状态。

论文认为，这种方法对于人工智能和机器人技术的未来至关重要。随着我们让机器人进行更多自主决策，我们需要一种能够观察团队而非仅仅是个体的方法，并且我们需要一个在不知道答案时能承认“不知道”，而不是通过猜测来可能引发灾难的系统。作者指出，这种“证据感知”的方法是让自主集群在危险、受对抗的环境中变得值得信赖的关键。