🤖 AI

HiRAD: A Flexible Large-Scale AGV Routing System

本文介绍了 HiRAD，这是一个层次化强化学习框架，通过采用连续空间表示、解耦控制策略以及异步事件驱动流水线，克服了经典及现有基于强化学习的 AGV 路径规划系统在可扩展性和实时性方面的局限性，从而显著降低了完工时间和推理延迟。

原作者： Yunjie Huang, Ruizhong Wu, Mengxuan Zhang, Frodo Kin Sun Chan, Yan Nei Law, Lei Li

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunjie Huang, Ruizhong Wu, Mengxuan Zhang, Frodo Kin Sun Chan, Yan Nei Law, Lei Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在为现代电子商务提供动力的庞大且嗡嗡作响的仓库中，数以千计的小型自主车辆在地面上穿梭，将包裹从存储货架运送到包装站。这些被称为自动导引运输车的机器是全球物流中的无声劳动力，每天能够移动数十亿件物品。然而，如何让它们协同移动而不发生碰撞，是一个长期困扰工程师的问题。传统方法将仓库地面视为一个巨大的棋盘，车辆在方格之间进行僵硬且瞬间的跳跃。虽然这简化了数学计算，但忽略了物理现实：真实的车辆无法瞬间停止，也无法原地转弯。它们需要空间来加速、减速和转向。当软件忽略这些物理限制时，车辆在现实世界中经常发生碰撞，或者计算机需要花费过长时间来计算安全路径，导致车辆处于闲置等待指令的状态。这种理想化的数字地图与真实机器杂乱且连续运动之间的差距，使得高效部署大规模此类机器人集群变得十分困难。

一组研究人员现在通过一种名为 HiRAD 的新系统弥补了这一差距，该系统旨在实时引导大规模车辆穿过复杂的仓库。研究人员并没有强迫机器人假装在网格方块之间跳跃，而是构建了一个尊重连续运动流的模型。他们意识到，为了能为同时移动的数百辆车做出足够快的决策，系统需要停止尝试一次性控制每一个微小的细节。他们的解决方案是将驾驶任务分为两个不同的层级。第一层充当高层导航员，观察一个宽泛且简化的地图，以决定车辆应该驶向哪个大致方向。第二层是局部控制器，负责处理实际的物理过程，管理车辆如何加速、巡航和刹车，以平稳地达到预定方向。通过将“去哪里”与“如何移动”分离，该系统大幅减少了它在任何单一时刻必须进行的计算量。

研究人员在涉及多达两千辆车辆在不同仓库布局中移动的模拟实验中测试了这种方法。他们发现，该系统完成任务的速度显著快于以往的方法，在某些场景下，将完成一批订单所需的总时间缩短了近一半。至关重要的是，该系统在不牺牲速度的前提下保持了安全性；即使在车辆高速行驶和穿梭狭窄空间时，也能防止碰撞。与那些一旦单台车辆遇到延迟就会冻结并重新计算所有内容的旧系统不同，这个新框架允许其余车队继续移动，仅对涉及冲突的具体车辆进行调整。这种灵活性意味着系统可以处理意外的小插曲，比如车辆减速或临时阻塞，而不会导致整个作业停滞。

为了确保系统能够运行得足够快以投入实际应用，团队引入了一种异步决策方法。在传统设置中，每辆车都会等待计算机检查其路径是否与其他车辆冲突后再移动，随着车队的增长，这一过程会变得极其缓慢。新系统跳过了那些已经在平稳行驶中的车辆的检查，只有当车辆需要停止或改变方向时，才会暂停进行复杂的决策。这种优化极大地降低了计算负载，使得做出决策所需的时间比车辆实际移动所需的时间还要短。其结果是，该系统可以像管理小型车队一样轻松地管理大规模车队，证明了将人工智能的适应性与支配现实世界机械的严格物理定律相结合是可能的。

该研究还探讨了如何训练驱动高层导航的人工智能。研究人员发现，仅在简单的空旷地图上训练系统是不够的；人工智能需要在充满障碍物和不同难度等级的地图上学习，才能具备良好的泛化能力。通过逐渐增加训练环境的复杂性，系统学会了即使在拥挤、混乱的仓库中也能找到高效路径。在与其他领先方法的对比测试中，这种新方法在速度和可靠性方面均表现出持续的优越性。当其他系统难以处理超过几百辆车辆，或在环境变化时无法适应时，该框架能够无缝扩展到数千个智能体。研究结果表明，仓库自动化的未来不在于僵化、预设的路线，而在于能够根据真实运动的世界做出反应的灵活且连续的系统。

技术摘要：HiRAD：一种灵活的大规模 AGV 路由系统

1. 问题陈述

本文解决了在现实世界仓库环境中为大规模自动导引车（AGV）车队进行路径规划的挑战。虽然 AGV 对现代物流至关重要，但现有的路由解决方案在灵活性（适应动态变化和故障）与运动学约束（遵循连续空间中的物理运动规律）之间面临着根本性的权衡。

经典多智能体路径规划 (MAPF)： 诸如 CBS 或 ODrM* 之类的求解器面临组合复杂度爆炸和超二次方运行时间的问题。它们通常依赖于理想化的网格或分段线性运动模型，无法捕捉现实世界的运动学特性，这可能导致在连续环境中发生碰撞。
强化学习 (RL) 方法： 最近的分布式 RL 解决方案提供了灵活性，但在可扩展性和真实性方面表现不佳。它们通常依赖于离散的时空表示，需要数百万次的训练回合，并且由于每一步都需要全图观测，导致高推理延迟。这往往违反了工业控制的实时性约束。
核心差距： 目前缺乏一种能够同时支持大规模车队、连续运动学约束以及无需牺牲安全性或效率的实时决策系统。

2. 方法论：HiRAD 框架

作者提出了 HiRAD（高分辨率与分层异步决策控制框架），这是一个分层强化学习框架，旨在弥合离散 RL 算法与连续物理执行之间的鸿沟。该框架由三个核心组件组成：

A. 高分辨率时空 (HRS) 建模

为了协调 RL 的步进性质与连续运动，HiRAD 引入了一种高分辨率建模方法：

HR-Map（高分辨率地图）： 将空间网格细分为更小的单元（例如 $c \times c$ ），从而创建更精细的空间分辨率。
HR-Step（高分辨率步长）： 将时间间隔划分为更小的步长 ( $\Delta t$ )，允许 AGV 在更高的时序分辨率下进行决策。
速度集成： 不同于标准 MAPF 中智能体每步移动一个网格，HRS 为每个步长关联了一个标量速度。这使得模拟加速度、恒定速度和减速度成为可能，从而在离散 RL 框架内有效地模拟连续动力学。

B. 分层交替决策-速度控制 (Alt-DVC)

为了管理扩展后的动作空间复杂度，HiRAD 将导航解耦为两个层级：

宏观 RL 路由层 (Macro-RL-Routing Layer)： 在粗糙的网格地图上运行。它使用训练好的单智能体策略（用于整个车队复用）来输出无碰撞的方向。它将其他 AGV 视为定义在“排除区”（AGV 周围 5 个网格区域）内的动态障碍物，以主动预防碰撞。
微观速度控制层 (Micro Velocity-Control Layer)： 在细粒度的 HR-Map 上运行。它通过将宏观方向映射到预定义的速度模式（例如：移动到下一个网格、持续巡航、减速停止）来执行安全的连续运动。这些模式遵循三阶段剖面：加速 $\to$ （最大）速度 $\to$ 减速，确保 AGV 精确停在网格中心。

碰撞解决： 系统采用基于速度和障碍物密度的优先级调度机制。高优先级 AGV 继续前进，而低优先级 AGV 则将高优先级智能体的排除区视为障碍物，并在进入前停止。

C. 异步决策-速度控制 (Asy-DVC)

为了解决决策时间超过物理执行时间的延迟瓶颈，HiRAD 引入了一种异步优化：

观测剪枝 (Observation Pruning)： 由于运动学约束限制了瞬时的航向变化，系统会跳过已经在运动中的 AGV 的宏观策略推理。仅当 AGV 处于静止状态 ( $v=0$ ) 且需要重新定向时，才会触发推理。这使观测复杂度从 $O(n)$ 降低到大约 $O(n/4)$ 。
面向地图的优先级 (Map-Oriented Priority)： 系统没有对所有 AGV 进行两两碰撞检查 ( $O(n^2)$ )，而是使用粗糙地图上的网格索引优先级结构。AGV 仅检查其目标网格中的最高优先级智能体，从而将优先级处理的复杂度从 $O(n^2)$ 降低到 $O(n)$ 。
结果： 这种优化将整体推理复杂度从 $O(n^2)$ 降低到 $O(n)$ ，使单步延迟降低了高达 71%。

3. 主要贡献

论文声称了以下贡献：

HiRAD 框架： 一种能够在运动学约束环境下实现大规模、无碰撞 AGV 路由并提供实时保证的新型系统。
高分辨率时空模型： 通过集成细粒度空间单元和速度状态，将基于步进的 RL 适配到连续环境。
分层控制 (Alt-DVC)： 一种解耦方向与速度决策的策略，通过排除区和优先级调度来减少搜索空间并强制执行碰撞规避。
异步优化 (Asy-DVC)： 一种利用观测剪枝和面向地图的优先级将决策复杂度从二次方降至线性的方法，从而实现实时应用。
实证验证： 通过广泛的实验证明了其相对于现有先进方案的优越性能。

4. 实验结果

作者在随机图和两个真实世界仓库布局（Layout-A 和 Layout-B）上对 HiRAD 进行了评估，车队规模从 64 到 2,048 个 AGV 不等。

可扩展性： 经典方法（ICBS, ODrM*）在车队超过 64 个 AGV 时无法提供结果。PRIMAL（一种大规模 RL 基准）虽然能处理多达 2,048 个 AGV，但在密集场景下存在高延迟和成功率下降的问题。HiRAD 成功扩展到了 2,048 个 AGV。
效率 (Makespan/完工时间)： 与基准方法相比，HiRAD 将完工时间（最后一个智能体到达目标的时间）缩短了 45%–63%。在尺寸为 40 的地图上，HiRAD 比 PRIMAL 快 3–4 倍；在尺寸为 160 的地图上，大约快 2 倍。
运行时间： HiRAD 的端到端运行时间显著低于经典方法和其他基于 RL 的方法，满足了实时性约束。
灵活性： 在涉及动态故障（例如 10% 的 AGV 遇到问题）的“终身”任务模拟中，HiRAD 在无需系统级重规划的情况下保持了性能。相比之下，像 OHSMD 这样的集中式规划器需要停止并重新规划整个车队，从而导致严重的延迟。
训练： 使用课程学习（从小型、无障碍地图开始，逐渐增加难度）和无效动作屏蔽 (IAM) 显著提高了在大规模复杂地图上的收敛速度和成功率。

5. 重要性与主张

本文将 HiRAD 定位为连接理论 RL 路由与实际工业应用的桥梁。作者声称：

之前的解决方案要么因为离散假设（违反运动学约束），要么因为集中式规划（缺乏灵活性）而显得不切实际。
HiRAD 是第一个支持大规模车队（高达 2,048 个智能体）同时严格遵守运动学约束并确保在连续空间内无碰撞运行的 RL 解决方案。
异步优化 (Asy-DVC) 对于实时适用性至关重要，确保决策延迟始终短于物理执行时间。
该系统为动态仓库环境下的终身多 AGV 路径规划提供了一种鲁棒且具有适应性的解决方案，在效率和可扩展性方面均优于现有技术。