Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

技术摘要：面向安全关键型多无人机系统的智能体 AI (Agentic AI)

问题陈述
多无人机系统在搜索与救援 (SAR)、消防和关键基础设施监测等安全关键型任务中具有巨大潜力。然而，其实际应用受阻的原因不仅在于技术自主性能，更在于将智能体行为集成到专业工作流中的社会技术挑战。在不确定性、时间压力和高责任要求的条件下，操作员必须能够理解、信任并管理自动化过程。随着机群规模的增加，传统的“一操作员对一载具”模式会因协调开销过大、共享态势感知能力下降以及微小不确定性演变为安全问题（例如冲突的优先级或模糊的责任归属）而失效。虽然大语言模型 (LLMs) 和智能体 AI 的最新进展实现了自然语言任务化和混合主动式规划，但它们也引入了新的交互挑战：如何表示智能体的意图、如何监督决策，以及如何在复杂的野外环境中保证行为的正确性。

方法论与研究路径
本文采用了一种以人为本、参与式且迭代的研究方法，将智能体 AI 视为一种“社会技术设计材料”，而非固定的技术解决方案。该方法基于两个互补的进行中项目：

1. NAMUR： 专注于时间敏感型应急响应（搜索与救援及消防），强调快速决策周期、动态危害以及跨异构机器人平台统一抽象层的需求。
2. PERSIST： 专注于关键基础设施（如发电厂）的长周期、持续性作业，强调持续活动、可重复性、班次交接以及组织集成。

研究过程包括：

• 需求发现： 基于与利益相关者（事故指挥官、现场响应人员、安保人员）的具体场景和演示，绘制工作实践、决策点和认知瓶颈图谱。
• 参与式原型设计： 使用连续的功能原型作为“边界对象 (boundary objects)”，以协商智能体能力、授权要求和不确定性提示。
• 系统设计： 开发一种架构，将自然语言意图分解为可评审的子任务，通过确定性工具约束执行，并强制执行操作员预览与批准机制。

核心贡献：LLM-MAS 架构
本文提出了一种功能原型架构：一种专为多无人机控制设计的大语言模型多智能体系统 (LLM-MAS)。该系统由五个专门的智能体组成，并与外部确定性工具（如空间计算、运动执行、存储记忆、任务调度）进行交互：

1. 协调智能体 (Coordinator Agent)： 作为中央编排器，推断操作员意图，并将指令分解为委派给下级智能体的子查询。
2. 事件智能体 (Events Agent)： 管理周期性、延迟性及面向未来的指令（例如，计划性的生物量估算或返回基地的指令），确保任务在适当的时间执行或呈现。
3. 空间智能体 (Spatial Agent)： 通过访问 GeoJSON 地图和无人机/第一响应者的实时位置来提供态势感知。它识别语义地图特征并计算空间关系。
4. 集群智能体 (Swarm Agent)： 处理运动规划和任务执行。它根据可用性和上下文选择合适的无人机平台。至关重要的是，该智能体生成的所有请求在执行前都必须经过操作员预览与确认。它向 ROS 主题发布动作，以触发飞行控制流水线。
5. 总结智能体 (Summarizer Agent)： 生成关于已执行动作和系统状态的简洁、人类可读的摘要。这些信息被存储在交互记忆中，为后续的对话轮次提供上下文，从而实现连贯的多轮交互和指代消解（例如，“将它移动到最近的安全区”）。

该系统的部署具有依赖性：对于搜索与救援，工具支持合规的覆盖路径规划；而对于基础设施监测，工具则支持用于生物量估算的飞行路径生成。

结果与发现
本文综合了以往实地参与和原型评估的经验教训，识别了关键的机会与矛盾：

• 机遇： 智能体 AI 可以通过提供选择性注意/总结来减少协调开销，实现保持信息变化时覆盖能力的混合主动式规划，并支持长周期编排（调度、异常分诊）。
• 矛盾： 作者识别了仅靠自主性无法解决的关键安全矛盾：
  • 系统需要既能在无需持续关注的情况下运行，又能抵御“黑盒”行为。
  • 过强的警报可能在短期内提高性能，但会导致“注意力隧道效应 (attention tunneling)”，从而降低整体监督能力。
  • 在感知不完善的情况下，需要校准后的信任，这要求具备保守的默认设置和验证工作流。
  • 需要符合操作规范，包括与角色、协议的一致性以及可审计的决策轨迹。

该功能原型已在无人地面车辆 (UGV) 和无人机 (UAV) 的实时控制中得到验证，证实了将自然语言分解为可评审子任务以及强制执行显式操作员批准的能力。

意义与主张
本文认为，针对安全关键型工作的智能体 AI 必须被视为一个社会技术设计问题，其中界面、监督机制和评估实践与算法本身同样重要。作者声称，其方法通过以下三个维度使“可治理的智能体自主性 (governable agentic autonomy)”具备可操作性：

1. 可治理性作为核心属性： 授权点、约束和干预机制必须是显式的、可审计的系统属性，而非仅仅是 UI 插件。
2. 受限工具使用： 智能体行为应构建在受限且可检查的工具使用之上，而非不受控的自由形式行动，以确保可预测的失败模式和可复现的调试。
3. 真实世界评估： 评估必须反映实际操作使用情况，不仅要衡量任务成功率，还要衡量态势感知、信任校准、协调开销以及对问责制下行动后回顾的支持。

文章总结道，尽管智能体 AI 在扩展多无人机作业方面具有前景，但其成功的部署取决于通过迭代的利益相关者参与，来塑造保持透明、易学并符合当地协议与问责实践的系统。