Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

驾驶飞机从一个城市飞往另一个城市，很少是仅仅在地图上画一条直线那么简单。虽然地球是圆的，但大气层并不是均匀的；它是一个不断变化的、由风、温度和气压组成的复杂三维海洋。为了在这种环境中找到最高效的路径，飞行员和自动化系统必须计算出一条既能最小化燃油消耗，又能穿越这些无形气流的航线。这是一个复杂的数学挑战，因为飞机本身就是一台极其复杂的机器，其速度或高度的每一次变化都会以需要强大计算机模拟才能预测的方式与天气发生相互作用。当飞行计划提前几天制定时，计算机有充足的时间进行这些繁重的计算。然而，在紧急情况下，例如当乘客突然病危且飞机必须转向最近的医院时，同样的计算必须在几秒钟内完成。一个准确但缓慢的系统在危机时刻是毫无用处的，而一个快速但并不准确的系统则可能导致危险的燃油短缺或错过目的地。

博洛尼亚大学的研究人员通过结合两种不同类型的人工智能，利用空客（Airbus）的性能模型，开发出了一种解决此问题的新方法。第一种被称为强化学习（reinforcement learning）的技术，就像一位经验丰富的飞行员，曾飞过数千条航线，能够根据旅程的大致轮廓和天气情况瞬间识别出一条优秀的路径。第二种是传统的搜索算法，它就像一位严谨的工程师，会检查每一个可能的变体，以确保找到绝对最佳的路径。研究人员发现，通过让“飞行员”AI先勾勒出一个粗略且快速的路径，然后指示“工程师”AI仅在靠近该草图的路径附近进行搜索，他们便实现了这一目标。这种方法在标准台式计算机上进行的测试表明，通过这种方式找到解决方案的速度比仅使用细致搜索快了高达5桁 50%，而消耗的燃油量几乎完全相同。

这种新方法的核心在于这两个人工智能系统是如何相互沟通的。第一个系统，即强化学习智能体，是在数千个随机的欧洲飞行场景中训练出来的。它的任务不是寻找完美的路径，而是快速找到一条非常好的路径。它观察起点、终点和天气，然后用几处转弯将它们连接起来，画出一条简单的线条。为了保持计算速度，它忽略了高度变化的细节，而是将重点放在了总方向和风力上。无论飞行时间长短，该智能体完成这一过程仅需大约一秒半。一旦绘制出这条粗略路径，第二个系统就会接管工作。这是一个传统的规划器，通常需要花费大量时间在庞大的选项网格中检查每一条可能的路径。在这种新的混合设置中，规划器收到了严格的指令：它只能在由第一个智能体绘制的粗略路径周围的一个狭窄走廊内，搜索最终的完美路径。

通过限制搜索区域，研究人员有效地将一个大规模、耗时的难题转化为了一个更小、更易处理的问题。想象一下，原本需要检查一百万种不同可能性的搜索；通过使用粗略草图来引导搜索，系统可能只需要检查几千种。他们在全球随机两点之间的飞行模拟测试结果显示，这种捷径并没有带来过高的代价。在几乎所有案例中，混合系统的燃油消耗量与缓慢的穷举系统是完全一致的。即使存在差异，也微乎其微，通常不到 %，这意味着飞机通过走捷径并不会显著增加燃油消耗，但计算机节省了大量的时间。

研究人员还测试了这种方法在不同条件下的表现，例如改变搜索网格的密度或飞行长度。他们发现，当搜索网格规模巨大且复杂时，该方法最为有效，而这恰恰是急需快速解决方案的时候。在这些困难的情景下，混合系统将计算时间缩短了近一半。然而，他们也发现限制搜索区域大小的能力是有极限的。如果粗略路径周围的走廊变得过于狭窄，系统有时会错过最佳路径，导致燃油使用量略微上升。这告诉他们，速度与准确性之间的平衡取决于特定搜索网格的大小，但只要设置得当，该系统就能持续提供快速且高质量的结果。

这项工作的意义不仅限于在计算机屏幕上节省时间。在现实世界中，在医疗紧急情况或突发天气事件中，能在几秒钟内重新计算飞行路径可能关乎生死。研究人员指出，虽然目前的测试将天气视为一个固定的已知因素，但其系统的结构旨在处理未来的不确定性。由于强化学习智能体是基于模式识别进行训练的，它未来有可能被改编以应对不可预测的天气变化，例如通过学习在风暴发生前就避开它们。目前，这项研究证明了将快速的直觉判断与细致的核查相结合，是解决复杂规划问题的强大手段。它证明了在航空业这个高风险的世界里，你并不总是需要检查每一个可能性才能找到最佳路径；有时，知道该往哪里看就足够了。