AERIS: Offline Policy Improvement for Multi-UAV Integrated Sensing and Communication
本文提出了 AERIS，这是一个具有 STAR-CRDT 算法的离线策略改进框架，该算法通过从历史飞行日志中学习，能够实现安全且高效的多无人机集成感知与通信控制，在显著提升性能指标的同时，消除了风险较高的在线试错探索。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在不久的将来，连接我们设备的无线网络将不仅仅是传输数据，它们还将成为物理世界的眼睛和耳朵。这种被称为“通信感知一体化”（integrated sensing and communication）的新兴概念，构想了一个单一系统，既能与你的手机进行通信，同时又能绘制周围环境的地图、探测移动物体并监测环境。当无人驾驶飞行器（即无人机）加入到这一体系中时，可能性得到了显著扩展。这些飞行机器可以悬停在地面基站无法到达的区域，为用户和目标建立清晰的视线。然而，控制一群无人机同时执行这两项任务是一个巨大的挑战。无人机必须不断调整其位置和信号方向，以维持高速互联网连接和精确的感知，同时还要避免彼此碰撞，并确保不会丢失对监测目标的追踪。由于环境是不可预测的，且目标移动具有随机性，实时为每架无人机寻找完美的飞行路径是非常困难且计算成本极高的。
研究人员转向人工智能来解决这个问题，特别是名为“强化学习”的方法，即计算机程序通过试错来学习。在典型的在线学习场景中，系统必须让无人机飞出去，犯错，并从后果中学习。但在现实世界中，这种试错飞行是危险的。一架仍在学习中的无人机可能会飞得离另一架太近而导致碰撞，或者指向错误的传感器方向，从而导致关键数据的丢失。为了规避这些风险，来自中国和加拿大大学的一个研究小组提出了一种名为 AERIS 的新方法。AERIS 并不让无人机在现实世界中通过飞行来学习，而是完全从过去固定的飞行记录中学习。这就像一名飞行员通过研究以往飞行的日志来变得更优秀，而不是通过坠毁飞机来学习。其目标是创建一个能够利用这些现有的、不完美的飞行日志来改进无人机决策的系统，而无需进行任何冒险的测试飞行。
研究人员面临的核心问题是，虽然中央计算机可以观察所有无人机行为的全貌，但每架独立的无人机只了解自身的局部历史。如果一架无人机试图仅根据其观察到的局部信息来改变行为，它可能会做出一个对自己看似有利但对整个团队不利的举动。反之，如果系统试图过于激进地根据中央计算机的建议来纠正无人机的动作，它可能会提出与过去数据差异过大的建议，从而导致系统变得不可靠且不安全。研究人员发现，现有方法往往会陷入两种陷阱之一：要么过于紧贴旧有的、不完美的日志而无法实现改进；要么走得太远进入未知领域，从而导致危险的错误。
为了解决这个问题，该团队开发了一种名为 STAR-CRDT 的特定算法。该方法的工作原理是：由中央计算机利用过去日志中的全局信息来评估无人机潜在的飞行路径变化。然而，它并不会盲目接受每一个建议。相反，它扮演着一位谨慎教师的角色。它寻找那些能够改善整个机群整体性能、且微小且安全的动作调整。只有当这些调整足够接近那些被记录下来的安全行为（以确保可信度），同时又足以提供实质性改进时，系统才会接受这些调整。这一过程确保了无人机在学习变得更优秀的同时，永远不会忘记那些让它们免于坠毁的安全约束。该系统的设计使得繁重的思考工作发生在利用旧数据进行训练的阶段，而最终结果是一套简单的、每个无人机在实时运行中可以独立遵循的局部规则。
当研究人员测试这个新框架时，结果非常显著。在涉及多架无人机在随机路径上飞行的模拟实验中，新系统的整体表现比现有的最佳方法提高了近 30%。更重要的是，它在实现这一提升的同时，大幅减少了危险情况的发生。该系统将感知目标的成功率提高了近 5%，并将碰撞风险降低了一半以上。它还保持了高质量的通信，确保了无人机之间以及无人机与地面用户之间的有效通信。或许最令人印象深刻的是，研究人员将训练好的无人机测试在了基于真实城市街道的全新地图上，而这些地图是系统从未见过的。即使在这些陌生的环境中，无人机的表现也优于其他任何方法，能够成功地在复杂的城市布局中导航，同时保持安全性和服务质量。
这项研究表明，无需进行危险的现实世界实验，就可以创建高效、安全且具有协作性的无人机网络。通过从过去的固定记录中学习，并使用一种谨慎的、基于信任的方法来精炼这些经验教训，研究人员展示了人工智能可以兼具强大功能与可靠性。这种方法为在安全性与可靠性至上的现实世界中部署先进的感知与通信网络提供了一条切实可行的路径。研究结果表明，只要拥有正确的训练策略，自主系统就能有效地应对复杂、动态的环境，将多架移动无人机可能产生的混乱转变为协调且高效的运作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。