🤖 AI

End-to-End LLM Flight Planning with RAG-based Memory and Multi-modal Coach Agent

本文介绍了 FRAMe，一种用于 eVTOL 飞行器端到端基于大语言模型的飞行规划系统，该系统集成了多模态教练智能体和基于 RAG 的记忆功能，能够将自然语言指令转化为符合人类操作员偏好且安全高效的航线，在多种场景下实现了高达 93.8% 的有效性。

原作者： Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位未来派电动飞行汽车（称为 eVTOL）的机长。你需要从 A 点飞往 B 点，但天空并非空无一物。那里存在着隐形的“禁飞区”——比如风暴云团、受限空域或危险的气流区——你必须避开它们。

传统上，计算机使用严格的数学规则来规划路径。它们非常擅长寻找最短路径，但却很难理解人类的细微意图。如果你说：“我想飞得高一些，离风暴远一点，”传统的计算机可能会忽略你的偏好，直接选择数学上的最短路径，即便这意味着会紧贴着危险区域飞行。

这篇论文介绍了一个名为 FRAMe 的新系统，旨在弥合人类意图与计算机规划之间的鸿沟。你可以把 FRAMe 想象成一个由三个不同角色组成的超级智能飞行规划团队在协同工作：

1. 规划者（“梦想家”）

这是一个大语言模型（LLM）——本质上是一个像人类一样阅读和写作的高级 AI。

它的职责： 你告诉它：“从这里飞到那里，但要尽可能远离风暴危险区。”规划者会将你的话语转化为一系列 GPS 坐标（航路点），从而创建一条飞行路径。
问题所在： 规划者有时会因为过于“有创意”而犯错。它可能会画出一条意外切入“禁飞区”的线，或者忘记从正确的机场出发。

2. 教练（“严厉的裁判”）

这是一个多模态 AI 智能体（它能够“看”懂图像并“读”懂文本），充当质量控制检查员。

它的职责： 在飞行计划获批之前，教练会检查规划者绘制的地图。
- 第一步（几何检查）： 它会使用直尺和量角器，确保路径不会撞进“禁飞区”，并保持在允许的空域内。
- 第二步（视觉检查）： 它会观察飞行路径的图像，查看其是否真正遵循了你的指令（例如：“它真的离风暴足够远吗？”）。
- 第三步（反馈）： 如果计划不合格，教练会拒绝它；如果计划合格，则给予通过。
类比： 把规划者想象成正在写作文的学生，而教练则是评分的老师。学生可能写出了一个精彩的故事，但如果他没能扣题或违反了规则，老师就会退回让他修改。

3. 记忆（“图书管理员”）

这是一个被称为 RAG（检索增强生成）的系统。

它的职责： 每当团队成功规划一次飞行，详细信息都会被保存在一个数字图书馆中。当你请求新的飞行计划时，图书管理员会快速找到以往类似的飞行记录（相同的起点、相同的天气类型、相同的偏好），并将它们展示给规划者。
类比： 想象你在尝试解一个谜题。你不需要从零开始，因为有一个朋友会对你说：“嘿，我昨天解过一个类似的谜题，这是我当时的做法。”图书管理员提供了这个有用的提示，这样规划者就不必靠猜来完成任务。

它们如何协同工作

系统运行在一个循环中：

图书管理员寻找过去的案例来帮助规划者。
规划者根据你的话语和示例绘制出一条新路线。
教练检查这条路线。
- 如果路径安全且符合你的规则，教练批准通过。
- 如果路径不安全，教练拒绝，并让规划者重新尝试。
一旦获得批准，新的计划会被添加到图书馆中，供下次使用。

研究发现

研究人员使用四种不同的 AI“规划者”和三个难度等级（简单、中等、困难的天空）对该系统进行了测试。

“全明星”团队获胜： 当三个部分（规划者 + 图书管理员 + 教练）共同协作时，系统表现最好。它生成的有效且安全的飞行计划成功率高达 93.8%。
教练至关重要： 对于某些 AI 模型，仅仅拥有“图书管理员”（过去的案例）是不够的；它甚至会让效果变差，因为模型可能会被错误的案例误导。然而，加入“教练”解决了这个问题。教练起到了安全网的作用，捕捉到了图书管理员遗漏的错误。
倾听人类需求： 与只关心最短距离的传统数学系统不同，FRAMe 确实听取了人类的偏好。
- 如果你要求减少航路点（让路径更简单），AI 会使路径变得更简洁。
- 如果你要求增加间距（远离危险），AI 会飞得离危险源更远。
- 注：系统无法在“距离”方面为所有人进行优化，因为 AI 模型本身就已经在尝试飞向数学上的最短路径了。

核心结论

FRAMe 表明，我们可以利用先进的 AI 来创建不仅在数学上正确，而且安全、灵活且符合人类飞行员真实意图的飞行计划。它将僵化的计算机算法转变为一个能够从过去的错误中学习、并能听从人类指令的协作团队。

注：论文明确指出，所有测试均使用计算机模拟和地图进行。他们目前尚未进行真实的飞行测试，但已经构建了一个 Web 界面，用于在小型无人机上测试其逻辑，作为迈向实机应用的一步。

技术摘要：FRAMe —— 基于 RAG 记忆与多模态教练智能体的端到端 LLM 飞行规划系统

问题陈述

部署用于先进空中交通（AAM）的电动垂直起降（eVTOL）飞行器和无人驾驶航空器系统（UAS）需要具备能够应对密集、复杂空域的飞行规划系统。传统的路径规划算法（如 A*、RRT）依赖于明确定义的数学目标，难以纳入灵活且具有主观性的飞行员偏好，例如在飞行时长与航路点复杂度之间进行权衡，或最大化与危险区域的间距。虽然大语言模型（LLM）在理解自然语言意图方面已在机器人技术和导航领域展现出潜力，但其在现实世界飞行规划中的应用仍有待深入探索。现有方法往往缺乏确保规划有效性、符合操作员偏好以及在不从头开始重新训练的情况下从过往经验中学习的机制。

方法论

作者提出了 FRAMe，这是一个端到端的飞行规划框架，它集成了一个规划器 LLM、一个基于检索增强生成（RAG）的记忆模块以及一个多模态教练智能体（Coach Agent）。该系统通过以下组件运行：

规划器智能体（Planner Agent）： 一个 LLM 作为核心路径规划器。它接收描述操作员偏好的自然语言提示（例如，“最大化与危险多边形的间距”）以及以 KML 格式编码的场景数据（起点、终点、可飞行空域和禁飞区）。规划器生成一系列地理航路点，从而构成飞行路径。
基于 RAG 的记忆模块： 为了为 LLM 的推理提供依据，系统从包含过往飞行计划的向量数据库中检索相关上下文。检索过程包括：
- 对操作员的自然语言偏好进行嵌入（Embedding）。
- 在数据库中筛选具有相同场景几何特征（相同的起点、终点和禁飞区）的记录。
- 通过偏好嵌入的余弦相似度对这些记录进行排序，以选择 $K$ 个最符合要求的过往方案。
- 使用检索到的示例及其评估结果来增强规划器的提示词。
多模态教练智能体（Multi-modal Coach Agent）： 一个利用多模态 LLM（具体为 o4-mini）结合基于规则的几何检查实现的验证层。教练智能体执行三阶段审查：
- 几何有效性： 使用基于规则的工具验证所有航路点是否均保持在可飞行空域内，是否连接了起点与终点，并且是否没有与禁飞区相交。
- 偏好对齐： 教练智能体通过分析生成的飞行计划渲染图像，评估路径是否在视觉上符合操作员陈述的偏好。
- 反馈循环： 操作员可以提供可选的反馈。最终记录（场景、偏好、有效性、对齐度和反馈）会被存储在数据库中，以改进未来的 RAG 检索。

该系统通过一个针对亚规模无人机（UAV）操作（集成 Mission Planner）的 Web 原型进行了评估，将其作为 eVTOL 测试的一种低成本替代方案。

核心贡献

FRAMe 系统架构： 一种结合了规划器 LLM、RAG 记忆和多模态教练的新颖框架，旨在实现由自然语言驱动、同时兼顾安全约束和操作员偏好的路径生成。
无标注员偏好评估： 一个使用三个可测量几何目标的定量评估框架：最小化飞行距离、最小化航路点数量以及最大化多边形间距。这使得在无需人类标注员的情况下，也能对偏好对齐度进行客观评估。
多模型消融研究： 在四种最先进的 LLM（OpenAI o3-mini, o4-mini, GPT-5.4, 和 DeepSeek-R1）以及三个场景难度等级（简单、中等、困难）下进行的系统性评估，并以经典的 A* 算法作为基准。该研究隔离了 RAG 和教练智能体的各自贡献。

实验结果

评估涵盖了用于填充数据库的 150 次预热运行，随后是在四种条件下的消融阶段：A* 基准、LLM 基准、LLM + RAG，以及 LLM + RAG + 教练。

规划有效性： 完整的 FRAMe 系统（+RAG+Coach）在所有规划器中均实现了最高的有效率，总有效率达到 93.8%（在最强规划器的简单场景下达到 99%）。值得注意的是，对于 o3-mini 模型，仅靠 RAG 会导致有效率较基准略有下降，但加入教练智能体后恢复并提升了增益，这表明教练智能体提供了一个非冗余且具有实质作用的有效性检查。
偏好对齐：
- 航路点： o3-mini 模型表现出最显著的改进，在完整系统下比基准减少了 12% 的平均航路点数量。
- 间距： o4-mini 模型在最大化间距方面展示了最清晰的增益（+9%）。
- 距离： 大多数模型在距离方面的表现都接近其基准规划底线，限制了进一步的提升，尽管 GPT-5.4 在距离偏好被显式激活时表现出了单调改进。
与 A 的比较：* 虽然经典的 A* 规划器实现了 100% 的有效性，但它是“偏好盲”的，产生了显著更高的航路点数量（18.2 对比 LLM 的约 3.5–5.0）和更低的间距（1.91 km 对比 LLM 的 3.5–5.0 km）。FRAMe 在间距和航路点效率方面优于 A*，但接受了轻微的距离开销。

意义与主张

本文声称，FRAMe 证明了如何有效地部署先进的 LLM 用于以人为本的任务规划，成功地将自然语言指令转化为安全、高效且灵活的飞行路径。作者强调，集成多模态教练是至关重要的；它作为一个必要的把关者，负责确保有效性和偏好对齐，特别是对于那些仅靠检索可能不足或产生误导的模型。

该框架被视为连接人类飞行员意图与自主飞行作业之间差距的一个模块化步骤。作者保持了审慎的态度，指出目前的评估依赖于合成的多边形禁飞区和仅限模拟的数据，并指出实地飞行测试和动态约束建模（如交通、电池限制）是必要的未来工作方向。该系统旨在实现经典算法无法实现的偏好对齐，通过接受轻微的距离开销，换取显著提升的安全裕度和路径简洁性。