🤖 AI

AURORA: A Natural Language-Driven Agentic Framework for Understanding, Reasoning, and Orchestrating Reliable Air-Ground Co-Simulation

本文提出了 AURORA，一种由自然语言驱动的智能体框架，该框架利用一种称为空地场景图（AGSG）的有类型中间表示，来实现对空地协同仿真场景的编译、验证与修复，从而确保这些场景能够忠实地实现所请求的空间、时间及行为关系，而非仅仅是成功执行。

原作者： Keshu Wu, Hao Zhang, Rui Gan, Xiangbo Gao, Xiaopeng Li, Zhengzhong Tu, Yang Zhou

发布于 2026-09-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Keshu Wu, Hao Zhang, Rui Gan, Xiangbo Gao, Xiaopeng Li, Zhengzhong Tu, Yang Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

交通运输的未来正在变成一个三维的谜题。几十年来，工程师们一直在虚拟道路上测试自动驾驶汽车，通过模拟雨天、交通拥堵和行人，以确保在车辆驶上路面之前确保安全性。现在，挑战正在向空中扩展。无人机开始加入其中，承担着从交付包裹到监测交通拥堵以及协助应急响应等各种任务。但测试无人机与汽车如何在同一空间内进行交互却极其困难。这需要两个不同的世界进行对话：地面世界，车辆在这里遵循车道和红绿灯；以及天空世界，无人机在这里应对风力、高度和电池寿命。创建一个让无人机追踪移动巴士并向附近汽车发出警告的测试场景，不仅仅是编写一段脚本的问题，它是一个关于时机、位置和通信的复杂协调过程。如果模拟过程稍有偏差，无人机可能会坠毁，信息可能永远无法送达，或者两辆车可能完全错过彼此，而此时计算机仍显示该测试“成功完成”。

德克萨斯 A&M 大学和威斯康星大学麦迪逊分校的研究人员开发了一种名为 AURORA 的新系统来解决这个问题。AURORA 并非简单地要求计算机为无人机和汽车的交互编写代码，而是将这一过程视为一项严谨的翻译与验证任务。该系统接收来自人类的一句简单的句子，例如“一架无人机追踪一辆巴士，并在警车出现时警告驾驶员”，并将其转化为一份详细且结构化的计划。这份计划不仅是一份指令列表，它还是一个连接了无人机、巴士、警车以及它们之间交换信息的关系图谱。随后，系统会在模拟开始之前，根据模拟世界的实际规则对这张图谱进行检查。它会提出尖锐的问题：巴士是否真的行驶在无人机可以观测到的道路上？警车是否足够靠近以触发警告？如果答案是否定的，系统会在运行前修正该计划。

这种方法的不同之处在于它如何处理失败。在以往的许多尝试中，模拟运行结束，如果计算机没有崩溃，研究人员就会认为测试成功了。但 AURORA 明白，一个模拟过程可能在完美运行的同时，却未能实现人类的初衷。如果无人机本应保持在距离巴士二十米以内，却漂移到了三十米，标准的测试可能会忽略这一错误。然而，AURSA 正在实时观察模拟过程，精确测量无人机距离巴士有多近，以及警告信息是否真的送达了驾驶员。如果未满足条件，系统不仅会报告错误，还会查明计划中的具体哪个环节出了问题。它可能会意识到无人机被放置得太远，或者警告的时机不对。然后，它会对该特定问题进行微小的、有针对性的调整，从而修复该问题并重新运行测试，而不是直接丢弃整个场景并重新开始。

为了证明这种方法的有效性，研究人员构建了一个包含 200 个不同测试请求的大型集合，涵盖了从简单的巡逻到涉及多辆车和通信故障的复杂情况。他们使用五种不同的先进语言模型（即理解人类指令的 AI 工具）对系统进行了测试。结果显示，直接生成代码与生成经过验证的场景之间存在明显差异。当研究人员让 AI 在没有额外检查步骤的情况下直接编写代码时，许多模拟虽然运行正常，却未能实现预期的交互。例如，无人机可能会飞行，但从未按照要求追踪巴士。在使用新系统后，真正成功的、经过验证的场景数量显著增加。在一组测试中，与仅检查代码是否能运行的方法相比，该系统将真正成功的交互率提高了高达二十个百分点。

研究人员发现，这些测试中最困难的部分不是让代码运行起来，而是确保模拟的物理现实与人类的意图相符。他们发现，仅仅要求 AI 想象一个场景是不够的；AI 经常会猜测一些在模拟世界中看似合理但在物理上不可能实现的距离或时间数值。通过将计划锚定在真实地图数据和模拟器限制的数据库中，AURORA 能够及早发现这些不可能的请求。它还表明，修复一个损坏的场景并不总是需要重写整个过程。通常，一个微小的改变，比如将一辆车移动几米，或者将消息的发送时间调整几分之一秒，就足以将一次失败转变为成功。这种进行微小、精确修正的能力节省了时间和计算能力，使系统能够探索更复杂的交互。

这项研究还强调了“可执行场景”与“忠实场景”之间的关键区别。如果计算机可以无误地运行某个场景，则称其为可执行的；如果它确实完成了人类的要求，则称其为忠实的。研究人员发现，许多系统生成的场景是可执行的，却不是忠实的。AURORA 通过将场景生成视为一个带有验证的编译过程来弥补这一差距，类似于翻译人员在打印前对照原文检查文档。该系统创建了一种共享语言——一种结构化图谱，将每一项请求链接到特定的、可衡量的结果。这使得系统能够将失败追溯到源头，无论是由于车辆位置偏移、信息丢失还是时机错误。

最终，这项工作表明，针对未来空地联运的可靠测试不仅需要强大的模拟器或智能 AI，还需要一个能够理解“运行脚本”与“实现场景”之间差异的框架。通过将自然语言指令与对物理世界的严格数学检查相结合，AURORA 提供了一种为这些复杂系统建立信任的方法。它确保了当要求无人机观察巴士并警告驾驶员时，它确实在执行任务，而不仅仅是在“假装”执行。随着我们迈向无人驾驶汽车与无人机共享空间的时代，这种精度的提升至关重要，它确保了我们所构建的技术不仅功能强大，而且安全可靠。

技术摘要：AURORA —— 一种用于理解、推理及编排可靠空地协同仿真之自然语言驱动智能体框架

问题陈述
空地交通领域的研究日益依赖于协同仿真，以研究无人驾驶飞行器（UAV）、联网车辆与基础设施之间的交互。然而，构建有效的场景是一项劳动密集型工作，需要手动协调地图选择、参与者放置、路径规划、同步以及事件触发。虽然自然语言和生成式人工智能为自动化这一过程提供了路径，但现有方法面临着关键的可靠性差距：生成的场景可能执行成功（即运行过程中没有代码错误），却未能实现用户所要求的特定空间、时间、通信或行为关系。现有方法通常缺乏显式的规范来检测这些“静默失败（silent failures）”，且空地场景需要跨越道路几何、3D 空域、感知和通信的联合可行性，这仅靠代码生成是难以保证的。

方法论
本文提出了 AURORA，该框架将自然语言驱动的场景生成视为一个带有验证的编译过程。AURORA 并非直接生成模拟器代码，而是将提示词转换为基于模拟器测量值的、具有类型化且具备溯源能力的规范。其工作流由三个主要阶段组成：

理解与表示：
- 一个检索增强智能体利用包含已验证生成位置、资产几何形状和任务限制的模拟器知识库来解析自然语言提示，从而生成类型化规范。
- 该规范被转换为空地场景图（Air–Ground Scenario Graph, AGSG），这是一种类型化的中间表示。AGSG 明确链接了智能体、任务、事件、通信链路和成功条件，编码了它们的依赖关系和定量参数。该图作为用于落地（grounding）、规划和修复的共享表示。
推理与验证：
- 联合落地（Joint Grounding）： 确定性模块通过结合道路适用性、空中净空、空地可见性和通信几何形状的综合评分来对候选位置进行排名，以解决空间可行性问题。智能体被放置在有效的道路/行人元素上，且 UAV 路径会针对障碍物晶格进行修正。
- 时间规划： 任务通过谓词保护的状态机和简单时间网络进行调度，以确保物理前提（例如，在追踪之前先上升）在后续动作开始前得到满足。
- 三级验证：
  - 模式验证（Schema Verification）： 检查结构有效性和内部一致性。
  - 静态可行性（Static Feasibility）： 验证放置位置和约束在落地环境中是否可实现。
  - 语义验证（Semantic Verification）： 使用定量时序逻辑语义监控轨迹级需求（例如，可见性、消息传递），并产生一个符号鲁棒性裕度 ( $\rho$ )，用以量化满足程度或违规情况。
编排与修复：
- 一个受管制的执行器在共享逻辑时钟下同步 CARLA（地面）和 AirSim（空中）模拟器。
- 有界局部修复（Bounded Local Repair）： 如果运行时监控检测到违规，AGSG 会定位受影响的组件。框架采用修复循环，通过调整一组受限参数（数值优化）或通过 LLM 提出受保护的编辑建议。结构性故障（如不可行的路径）会被返回至落地阶段，而非强制进行最小化编辑。此过程会重复执行，直至达到预算限制 ( $B$ ) 或取得成功。

核心贡献

AURORA 框架： 一种端到端的经过验证的空地场景生成智能体工作流，集成了基于模拟器落地的理解、联合推理、同步协同仿真以及有界修复。
空地场景图 (AGSG)： 一种类型化的中间表示，将请求的关系连接到可执行的验证条件和可调节参数，实现了故障定位和针对性修复，而无需重新生成整个场景。
AURORA-Bench： 一个专门的基准测试，包含 200 个提示词和 904 个标注需求，涵盖 12 个能力类别。它不仅评估执行完成度，还评估实现的交互保真度，区分了可执行性、提示词保真度和运行时实现度。

结果
在五个大语言模型（GPT-4o, GPT-5.5, GPT-5.4-mini, Gemini 3.1 Pro, Gemini 3.8 Flash）上的实验表明：

执行可靠性： 引入 AGSG 和受管执行器（配置 B4）使所有模型的执行完成率提升至 100%，消除了运行时错误。然而，这并未保证请求的交互得以实现。
静默失败： 在没有运行时验证的情况下，大量成功的执行实际上是“静默失败”（例如，基准配置中的场景中存在 34–58% 的此类情况）。
验证与修复的影响： 添加运行时监控和局部修复（AURORA）比仅使用静态验证使已验证通过率提高了 10–20 个百分点，在各模型中达到了 64–84%。
保真度 vs. 实现度： 高提示词保真度（保留请求文本）并不保证高运行时实现度。相反，只要编辑受到溯源权重约束，修复可以在不显著降低提示词保真度的前提下提高实现度。
修复效率： 修复循环通过调整参数（如距离、时序）而非重新生成整个场景，有效地解决了许多违规问题。结构性几何故障被正确地路由回落地阶段。

意义与主张
本文主张，可靠的场景生成需要验证实现的行为，而不仅仅是可执行的代码。作者认为，将语言驱动的生成视为“经过验证的编译”而非直接的代码生成，对于像空地仿真这样复杂的耦合领域至关重要。AGSG 提供了一条结构化路径，用于检查跨域依赖关系并定位故障，减少了对语言模型进行模拟器特定推理的依赖。作者强调，他们的框架通过暴露静默失败并实现针对性纠正，提高了生成场景的可信度，尽管他们也指出目前的局限性包括简化的感知模型和单一的模拟环境。未来的工作被确定为扩展到多 UAV 规划、更丰富的交互以及现实世界的测试平台。

类似论文