💻 computer science

HiCrowd: Hierarchical Crowd Flow Alignment for Dense Human Environments

HiCrowdは、強化学習とモデル予測制御を組み合わせた階層的なフレームワークであり、移動ロボットが人間を単なる障害物として扱うのではなく、歩行者の流れに沿うことで、密集した群衆の中を効率的かつ安全にナビゲートすることを可能にします。

原著者： Yufei Zhu, Shih-Min Yang, Martin Magnusson, Allan Wang

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

原著者： Yufei Zhu, Shih-Min Yang, Martin Magnusson, Allan Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に混雑した、人が行き交う駅の中を歩いているところを想像してみてください。目的地はあるのですが、群衆は密集しており、さまざまな方向に動き、絶えず変化しています。もし周囲の人々を見ずに目的地に向かって真っ直ぐ進もうとすれば、立ち往生したり、誰かにぶつかったり、あるいは動くのが怖くなって立ちすくんでしまったりするでしょう。これはまさに、ロボットが直面する「フリーズ・ロボット問題（freezing robot problem）」と呼ばれる問題です。

この論文では、これを解決するための「HiCrowd」という新しいシステムを紹介しています。HiCrowdを、群衆と戦うのではなく、その「流れに乗る」ことを学習する、非常に賢い二部構成の脳を持つロボットだと考えてください。

仕組みをシンプルな概念に分解して説明します：

1. 二段階の脳戦略

HiCrowdは、思考プロセスを**ハイレベル脳（高次脳）とローレベル脳（低次脳）**に分割しています。

ハイレベル脳（「クラウド・サーファー」）： この部分は、強化学習と呼ばれるAIの一種を使用します。単に人々を避けるべき障害物として見るのではなく、同じ方向に動いている人のグループを探し出します。例えば、コンサート会場で出口に向かいたいとします。群衆を押し分けて進む代わりに、出口に向かって歩いているグループを見つけ、その流れに「乗る（サーフィンする）」ことを決めるようなものです。ハイレベル脳は、「どのグループが、自分の目的地へ向かうのに役立つ方向へ動いているか？」を問い、その移動するグループ内の一点を選び出します。
ローレベル脳（「慎重なダンサー」）： モデル予測制御（MPC）と呼ばれる制御システムを使用します。ハイレベル脳が「あそこのグループについて行け」と指示を出すと、ローレベル脳が引き継ぎます。これは、群衆の間を縫って進むダンサーのように、次の数ステップを慎重に計画します。誰にもぶつからないように、誰かが近づきすぎたら停止するように、そしてハイレベル脳が選んだ経路を正確に辿るように制御します。

2. 秘訣：「群衆への同調（Crowd Following）」

従来の多くのロボットシステムは、人間を動く壁や岩のように扱います。

従来の方法： 「人の壁が見える。彼らが通り過ぎるのを待たなければならない」（結果：ロボットがフリーズする）。
HiCrowdの方法： 「右方向に流れる人の川が見える。私はその川に加わり、その流れに身を任せて目的地へ向かおう」（結果：ロボットがスムーズに動き続ける）。

ロボットは特別な「報酬」システムを用いて訓練されます。目的地に到達することだけでなく、特に周囲の人々の動きと同調することに対してポイントが付与されます。もしロボットがグループと同期して動ければ、ボーナスが得られます。これにより、ロボットは、群衆を突き抜けて進もうとするよりも、群衆と共に動く方が安全で速い場合が多いことを学習します。

3. テスト方法

研究者たちは、このシステムを2つの方法でテストしました。

シミュレーション内（ビデオゲームの世界）： 人々が独自の経路を歩く（オフライン）場合と、ロボットに対して人間のように反応する（オンライン）場合のデジタルな群衆を作成しました。また、都市部での実際の歩行データも使用しました。
実生活（美術館）： 実際のロボットを、混雑した公共の美術館や大阪・関西万博（Expo 2025）に投入しました。ロボットをこれらの場所に合わせるための再学習は行わず、ただスイッチを入れただけです。

4. 結果

結果は素晴らしいものでした。

フリーズなし： ロボットが立ち往生することはほとんどありませんでした。他のロボットが人の壁に直面して停止してしまう一方で、HiCrowdは周囲の流れに乗って回避する方法を見つけ出しました。
より速く、より安全に： 他の手法よりも早く目的地に到達し、かつ人々との安全な距離を保ちました。
実社会での成功： 美術館において、ロボットは観光客の密集したグループの中をうまく通り抜け、あるグループには合流し、別のグループは慎重に横切るなど、衝突したり人間がボタンを押したりすることなく、見事にナビゲートしました。

まとめ

HiCrowdは、ロボットが群衆の中を移動するための最善の方法は、群衆と戦ったり、人々を障害物として扱ったりすることではないことを証明しました。その代わりに、ロボットは社会的な人間のように振る舞うべきなのです。つまり、人々の流れを観察し、目的地へ向かうのに役立つ方向へ動いているグループを見つけ、その流れに優しく加わることで、安全かつ効率的に目的地へと到達するのです。

技術要約: HiCrowd - 高密度な人間環境における階層的な群衆フローへの整列

問題提起

移動ロボットは、高密度な人間環境をナビゲートする際に、主に**「ロボットの凍結問題（Freezing Robot Problem: FRP）」**という重大な課題に直面します。このシナリオでは、ロボットは複雑な人間同士の相互作用の中で安全な動きを見つけられず、目的地に到達できずに立ち往生してしまいます。従来のリアクティブなプランナー（例：Social Force、ORCA）は、高密度な環境における複雑な人間同士の相互作用を捉えることができず、FRPを引き起こすことがよくあります。一方で、近年の強化学習（RL）のアプローチは、社会的に適合した行動を学習できるものの、複雑な群衆の状態を低レベルの制御アクションに直接マッピングし、かつ安全性を保証することに苦慮することが多々あります。核心となる課題は、ロボットが凍結したり衝突したりすることなく、ナビゲーションの効率性、安全性、および社会的適合性のバランスをどのように取るかという点にあります。

手法: HiCrowd フレームワーク

著者らは、効率的かつ安全なナビゲーションを実現するために、強化学習（RL）とモデル予測制御（MPC）を統合した階層的フレームワークであるHiCrowdを提案しています。核となる仮説は、高密度な環境において、ロボットは人間を単に回避すべき動的な障害物として扱うのではなく、人間の動きをガイダンス（適合するフローへの整列）として活用すべきであるという点です。

1. 階層的アーキテクチャ

本システムは、長期的な戦略的意思決定と短期的な運動制御を分離しています。

高レベル（RLポリシー）: RLエージェントは戦略的プランナーとして機能します。直接的な制御コマンドを出力する代わりに、ロボットのローカル座標系におけるフォローポイント（follow point） $(f_x, f_y)$ を予測します。この点は、ロボットが適切な歩行者グループ（局所的な群衆フロー）に整列するためのガイドとなります。
低レベル（MPCコントローラー）: MPCモジュールは、RLによって生成されたフォローポイントを参照点として受け取ります。このモジュールは、近傍の人間に対する動的な実現可能性と安全性（衝突回避）を確保しながら、このガイダンスを追従するための短期間の軌道を最適化します。

2. 強化学習モジュール

RLポリシーは、Soft Actor-Critic (SAC) アルゴリズムを用いて学習されます。観測空間には、ロボットの状態、目標、および感知半径内の $n$ 人の周囲の人間（位置、速度）の状態が含まれます。

報酬関数: 報酬 $r_t$ $r_{t}$ は、以下の3つのコンポーネントの加重和です。
1. 目標到達 ( $r_{goal}$ ): 目的地に到達した際の疎な報酬。
2. 目標への近接性 ( $r_{dist}$ ): 目標に向かう動きを促す密な報酬。
3. 群衆への追従 ( $r_{follow}$ ): 群衆のフローへの整列を促す新しい報酬項。
  - 人間は、空間的な近接性と運動の類似性に基づいて、DBSCANを用いてグループへとクラスタリングされます。
  - 報酬は、すべてのグループに対する最大スコアに基づいて計算され、ロボットの動きとグループの平均速度およびヘディング（進行方向）との一致度を測定します。
  - この項は、ロボットが適合するフローに加わることを明示的にインセンティブ化し、学習を加速させ、性能を向上させます。
モデル予測制御（MPC）モジュール
MPCは、ホライゾン $H$ にわたってコスト関数 $J = J_{follow} + J_{safe}$ を最小化します。
追従コスト ( $J_{follow}$ ): 予測される軌道とRLから提供されたフォローポイントとの距離を最小化します。
安全コスト ( $J_{safe}$ ): 定速モデル（CVM）を通じて予測される人間への接近にペナルティを課します。これには、安全半径を強制するための指数関数的なコスト関数が使用されます。

主な貢献

群衆フロー・ガイダンスの原則: 人間の動きを単なる障害物としてではなく、ガイダンスとして活用することが、安全かつ効率的なナビゲーションのための強力な原則であることを示しました。
階層的RL-MPCフレームワーク: 群衆追従報酬を用いて学習された高レベルRLエージェントが社会的に認識されたフォローポイントを生成し、低レベルMPCがその安全な実行を保証するという、特定のアーキテクチャを導入しました。
実世界での検証: 本手法は、再学習なしで実世界へのデプロイが可能であり、シム・トゥ・リアル（sim-to-real）のギャップを埋めるものであることが示されました。

実験結果

著者らは、HiCrowdを ORCA（リアクティブ）、SARL（フラットなRL）、CrowdAttn（アテンションベースのRL）、および MPCのみのアブレーションと比較評価しました。評価は、ETH-UCYデータセット（実世界の記録）および合成（Synthetic）データセット（より高密度で、逆方向のフローが存在する設定）を用い、オフライン（人間は反応しない）およびオンライン（人間はORCAを介して反応する）の両方の設定で行われました。

性能指標: HiCrowdは、最も高い成功率（SR）（オンラインのETH-UCYおよびSynthetic設定で100%）と、最も低い**ナビゲーション時間（NT）および経路長（PL）**を達成しました。
ロボットの凍結問題: HiCrowdは**凍結頻度（FF）**を大幅に減少させ、ほとんどの設定で凍結をほぼゼロに抑えました。これに対し、ベースラインの手法は頻繁に立ち往生しました。
安全性: HiCrowdは、一部のベースラインと比較して必ずしも歩行者との最小距離を最大化するわけではありませんでしたが、一貫して1.2メートル以上の社会的距離を維持しました。
アブレーション研究: 群衆追従報酬を除去した場合（ $\lambda_f = 0$ ）、学習の収束が遅くなり性能も低下したため、フローへの整列を明示的に報酬を与えることが極めて重要であることが確認されました。
実世界へのデプロイ: ロボットは公共の美術館および2025年大阪・関西万博にデプロイされました。再学習なしで、ロボットは密集した歩行者フローの中を、グループに合流したり、フローに逆らったり、フローを横切ったりしながら、衝突や凍結することなく正常にナビゲートできました。

意義と主張

論文は、HiCrowdが「障害物の回避」から「フローへの整列」へとパラダイムをシフトさせることで、ロボットの凍結問題に対する堅牢な解決策を提供すると主張しています。著者らは、この階層的アプローチが、長期的な社会的推論と短期的な安全制約を効果的にデカップリング（分離）していると述べています。結果は、人間を静的な障壁ではなく動的なガイドとして扱うことで、ロボットが混雑した群衆の中でも一貫した前進を維持できることを示唆しています。構造化されていない混雑した環境における実世界でのデプロイの成功は、人間中心のロボティクスにおける本手法の実用的な可能性を強調しています。

著者らが指摘した限界事項:

高レベルと低レベルのアクションの固定された比率により、急速に変化する状況に対して反応が遅れる可能性があります。
現在のフレームワークは、グループの空間的な幾何形状を明示的にモデル化しておらず、主に運動特性に依存しています。
静的な障害物（例：壁）は、現在の評価の主な焦点ではありませんでした。