💻 computer science

HiCrowd: Hierarchical Crowd Flow Alignment for Dense Human Environments

HiCrowd 是一个结合了强化学习与模型预测控制的分层框架，旨在通过与行人流向保持一致，而非仅仅将人类视为障碍物，从而使移动机器人能够在密集的人群中高效且安全地进行导航。

原作者： Yufei Zhu, Shih-Min Yang, Martin Magnusson, Allan Wang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Yufei Zhu, Shih-Min Yang, Martin Magnusson, Allan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图穿过一个非常拥挤、人头攒动的火车站。你有一个目的地，但人群密集，移动方向各异，且不断变化。如果你试图不看周围的人而直接朝目标直线走去，你很可能会被困住、撞到别人，或者因为害怕移动而僵在原地。这正是机器人面临的问题，被称为“冻结机器人问题”（freeing robot problem）。

这篇论文介绍了一个名为 HiCrowd 的新系统来解决这个问题。可以将 HiCrowd 想象成一个拥有非常聪明的“双脑”系统的机器人，它学习如何“顺应潮流”而不是与人群对抗。

以下是其工作原理的分解，通过简单的概念进行说明：

1. 双脑策略

HiCrowd 将思考过程分为高层大脑（High-Level Brain）和底层大脑（Low-Level Brain）。

高层大脑（“冲浪者”）： 这部分使用一种叫做强化学习（Reinforcement Learning）的 AI 技术。它不仅仅是将人视为需要躲避的障碍物，而是寻找朝着相同方向移动的人群。想象一下你在音乐会上，想要前往出口。与其在人群中挤过去，不如发现一群人正朝着出口移动，然后决定“冲浪”跟随他们。高层大脑会选择一个特定的位置跟随该移动群体。它会问：“哪组人群的移动方式能帮助我到达目的地？”
底层大脑（“谨慎的舞者”）： 这部分使用一种称为模型预测控制（Model Predictive Control, MPC）的控制系统。一旦高层大脑下达指令——“跟随那边那组人”——底层大脑就会接管。它会仔细规划接下来的几步，就像一名在人群中穿梭的舞者。它确保机器人不会撞到任何人，在有人靠得太近时会停下，并遵循高层大脑选择的路径。

2. 核心秘诀：“人群跟随”

大多数旧的机器人系统将人类视为必须避开的移动墙壁或岩石。HiCrowd 则将人类视为一条河流。

旧方法： “我看到了一堵由人组成的墙。我必须停下来等待他们散开。”（结果：机器人冻结了）。
HiCrowd 方法： “我看到了一股向右流动的河流。我将加入这股河流，让它带我走向目的地。”（结果：机器人移动平稳顺畅）。

机器人在训练时使用了一种特殊的“奖励”机制。它不仅因为到达目的地而获得分数，还专门因为使其运动与周围人群保持一致而获得分数。如果它的动作与某组人群同步，它就会获得额外加分。这教会了机器人，顺着人群移动通常比试图穿插其中更安全、更快速。

3. 他们是如何测试的

研究人员通过两种方式测试了这个系统：

在模拟器中（电子游戏）： 他们创建了数字人群，人们要么只是沿着自己的路径行走（离线模式），要么会对机器人做出反应，像真实人类一样行动（在线模式）。他们还使用了来自城市中行人移动的真实数据。
在现实生活中（博物馆）： 他们将实际的机器人放入了繁忙的公共博物馆以及大阪世博会现场。他们并没有针对这些特定场所对机器人进行重新训练；只需将其开启即可。

4. 测试结果

结果令人印象深刻：

不再冻结： 机器人很少被困住。当面对人群形成的“墙”时，其他机器人可能会惊慌并停止，但 HiCrowd 找到了绕行的方法。
更快且更安全： 与其他方法相比，它到达目的地更快，并且保持了安全的距离。
现实世界的成功： 在博物馆中，机器人成功地穿过了密集的游客群，它既能融入某些人群，也能小心地穿过其他人群，全程没有发生碰撞，也不需要人工按下按钮。

总结

HiCrowd 证明了，机器人穿过人群的最佳方式不是与人群对抗，也不是将人视为障碍物。相反，机器人应该表现得像一个社交型人类：观察人群的流动，找到一组朝着有利方向移动的人群，然后轻轻加入那股潮流，从而安全、高效地到达目的地。

技术摘要：HiCrowd —— 用于密集人类环境的分层人群流对齐技术

问题陈述

移动机器人由于在密集人类环境中导航面临重大挑战，主要源于机器人冻结问题（Freezing Robot Problem, FRP）。在这种场景下，机器人在复杂的人类交互中难以找到安全的运动路径，从而陷入无法到达目标的困境。传统的反应式规划器（如 Social Force, ORCA）往往无法捕捉密集环境下复杂的人人交互，从而导致 FRP。相反，近期的强化学习（RL）方法虽然能学习到符合社交规范的行为，但在将复杂的群集状态直接映射到低层控制动作并保证安全性方面仍存在困难。核心挑战在于如何在不导致机器人冻结或碰撞的前提下，平衡导航效率、安全性和社交合规性。

方法论：HiCrowd 框架

作者提出了 HiCrowd，这是一个整合了**强化学习（RL）与模型预测控制（MPC）**的分层框架，旨在实现高效且安全的导航。其核心假设是：在密集环境中，机器人应当利用人类运动作为引导（与兼容的流对齐），而不是仅仅将人类视为需要避开的动态障碍物。

1. 分层架构

该系统将长期战略决策与短期运动控制分离：

高层（RL 策略）： RL 智能体充当战略规划者。它并不输出直接的控制指令，而是预测一个局部坐标系下的跟随点 $(f_x, f_y)$ 。该点引导机器人与合适的行人组（局部人群流）保持一致。
底层（MPC 控制器）： MPC 模块将 RL 生成的跟随点作为参考目标。它优化一个短时界轨迹，以追踪该引导点，同时确保相对于附近人类的动力学可行性与安全性（碰撞规避）。

2. 强化学习模块

RL 策略使用 Soft Actor-Critic (SAC) 算法进行训练。观测空间包括机器人的状态、目标以及感知半径内 $n$ 个附近人类的状态（位置、速度）。

奖励函数： 奖励 $r_t$ $r_{t}$ 是三个组成部分的加权和：
1. 目标达成 ( $r_{goal}$ )：到达目的地时的稀疏奖励。
2. 目标接近度 ( $r_{dist}$ )：鼓励向目标移动的稠密奖励。
3. 人群跟随 ( $r_{follow}$ )：一种新颖的奖励项，鼓励与人群流对齐。
  - 人类基于空间邻近性和运动相似性，通过 DBSCAN 被聚类为不同的组。
  - 奖励基于所有组中的最大得分计算，衡量机器人的运动与各组平均速度及航向之间的匹配程度。
  - 该项明确激励机器人加入兼容的流，从而加速学习过程并提升性能。
模型预测控制模块
MPC 在规划时界 $H$ 内最小化代价函数 $J = J_{follow} + J_{safe}$ ：
跟随代价 ( $J_{follow}$ )：最小化预测轨迹与 RL 提供的跟随点之间的距离。
安全代价 ( $J_{safe}$ )：通过恒定速度模型（CVM）预测人类位置，并利用指数代价函数惩罚靠近人类的行为，以强制执行安全半径。

核心贡献

人群流引导原则：本文证明了将人类运动视为引导而非仅仅作为障碍物，是实现安全高效导航的强大原则。
分层 RL-MPC 框架：作者引入了一种特定的架构，其中经过人群跟随奖励训练的高层 RL 智能体生成具有社交意识的跟随点，而底层 MPC 则确保安全执行。
现实世界验证：该方法被证明无需重新训练即可在现实世界部署中有效，弥合了从模拟到现实（sim-to-real）的差距。

实验结果

作者将 HiCrowd 与包括 ORCA（反应式）、SARL（扁平化 RL）、CrowdAttn（基于注意力的 RL）以及 仅 MPC 消融实验在内的基准模型进行了对比评估。评估在 ETH-UCY 数据集（真实世界记录）和合成数据集（更密集的对向流）上进行，涵盖了离线（人类不产生反应）和在线（人类通过 ORCA 做出反应）两种设置。

性能指标：HiCrowd 取得了最高的成功率（SR）（在在线 ETH-UCY 和合成设置下为 100%）以及最低的导航时间（NT）和路径长度（PL）。
机器人冻结问题：HiCrowd 显著降低了冻结频率（FF），在大多数设置中实现了近乎零冻结，而基准模型则频繁陷入停滞。
安全性：虽然 HiCrowd 在最大化行人最小距离方面未必总是优于某些基准模型，但它始终保持在 1.2 米以上的社交距离。
消融研究：移除人群跟随奖励（ $\lambda_f = 0$ ）会导致学习收敛变慢且性能下降，证实了显式奖励流对齐对于性能至关重要。
现实世界部署：该机器人被部署在一家公共博物馆以及 2025 年大阪世博会。在无需重新训练的情况下，它成功地在密集的人流中导航，能够融入人群、逆流而行以及横穿人流，且未发生碰撞或冻结。

意义与主张

论文声称 HiCrowd 通过将范式从“避开障碍物”转变为“对齐人群流”，为解决机器人冻结问题提供了鲁棒的解决方案。作者认为，这种分层方法有效地解耦了长期社交推理与短期安全约束。结果表明，将人类视为动态引导而非静态屏障，可以使机器人在密集人群中保持持续的进展。该方法在非结构化、拥挤的环境中无需重新训练即可成功进行现实世界部署，凸显了其在以人为中心的机器人技术领域的应用潜力。

作者注明的局限性：

高层与底层动作之间的固定比例可能会在环境快速变化时导致反应延迟。
当前框架并未显式建模人群的空间几何结构，主要依赖运动特征。
静态障碍物（如墙壁）并非当前评估的主要关注点。