Learning to flock in open space by avoiding collisions and staying together

技術要約：衝突回避と集団維持による開放空間における群れ形成の学習

問題提起
本論文は、集団運動のモデリングにおける根本的な課題、すなわち、開放的で境界のない空間において、いかにして集団の凝集性を維持するかという問題に取り組んでいる。ヴィセック・モデルのような最小限のモデルは、周期的な系においては整列相互作用を通じて長距離秩序を生成することに成功しているが、開放系では失敗する。純粋な整列ベースの相互作用は拡散的な広がりと集団の崩壊を招き、一方で純粋な引力ベースの相互作用は、凝集した「群れ（flocking）」ではなく、無秩序な「スウォーミング（swarming）」や「ミリング（milling）」をもたらすことが多い。著者らは、定義済みの相互作用ルールやメトリックに基づくゾーンに依存することなく、自己駆動粒子（SPP）がいかにして整列と引力のバランスを学習し、凝集性の高い秩序ある群れを実現できるかを調査している。

手法
著者らは、第一原理から群れのダイナミクスを導出するために、マルチエージェント強化学習（MARL）フレームワークを採用している。

• エージェントのダイナミクス: $N$ 個のエージェントが、一定速度 $v_0$ で2次元の無境界空間内を移動する。エージェントは、自身のトポロジカル（ボロノイ）近傍のみを感知する。運動は、近傍の平均方位（$V_i$）と局所的な重心への方向（$R_i$）の加重結合として新しい向きを選択することによって更新される。
• 制御パラメータ: 整列と引力の相対的な重み $\beta \in [0, 1]$ が、学習可能なアクションである。$\beta=0$ は純粋な整列（ヴィセック型）に対応し、$\beta=1$ は純粋な引力に対応する。
• 学習フレームワーク: 本研究では、2つのトレーニング・パラダイムを利用している。
  1. 集中学習 (CT): エージェントは単一のQ行列を共有し、共有された経験プールから学習する。
  2. 分散学習 (DT): 各エージェントは独自のQ行列を保持し、自身の軌跡に基づいて独立して学習する。
• コスト関数: エージェントは、近傍との平均距離 $d$ に基づくコスト関数 $L(d)$ を最小化するように訓練される。この関数は、非凸なレナード＝ジョーンズ型のポテンシャルであり、$L(d) = a/d - b/\sqrt{d}$ である。この関数は、過度な分離（$d \to \infty$）と近距離での過密（$d \to 0$）の両方にペナルティを課し、最適距離 $\bar{d}=1$ に最小値を持つ。
• 最適化: エージェントは、時間の累積コストを最小化する最適な方策 $\beta^*(d)$ を見つけるために、$\epsilon$-greedy探索を用いたQ学習アルゴリズムを使用する。

主な貢献と結果

1. 凝集した群れの創発: 大きな分離と小さな距離の両方にペナルティを課すコスト関数を用いて訓練されたエージェントが、高い極性秩序（$\Phi \approx 0.95$）を持つ凝集した群れを生み出す方策を自発的に学習することを実証した。この挙動は、中規模のグループサイズ（$N < 800$）において、CTおよびDTの両方のパラダイムで堅牢である。
2. 衝突回避の役割: 小さな距離に対するペナルティが、群れ形成において不可欠であるという重要な知見が得られた。コスト関数を修正して、小さな $d$ における発散を取り除いた場合（実質的に衝突ペナルティを除去した場合）、エージェントは引力が支配的な戦略（$\beta \approx 1$）を学習し、秩序ある「群れ（flocking）」ではなく、無秩序で凝集した「スウォーミング（swarming）」状態となった。これは、衝突を回避する必要性が、整列ベースの群れ形成の主要な駆動力であることを示唆している。
3. 距離依存的な方策: 学習されたQ行列の分析により、明確なレジームの分割が明らかになった。
   • 短距離 ($d < d^*$): 最適な方策は強い整列（$\beta \approx 0$）に支配される。
   • 長距離 ($d > d^*$): 方策は整列と引力の柔軟な組み合わせを含む。著者らは「方策蒸留（policy distillation）」を通じて、このレジームにおける正確なバランスは決定的な要素ではないことを示した。つまり、何らかの引力が存在する限り、システムは凝集性を維持できる。
4. 構造的特性: 生成された群れは、生物学的観察（例：ムクドリのマーマレーション）と一致する構造的特徴を示す。それらは、有限かつ低い近傍交換率（混合率）を持つ「構造のない非平衡液体」として振る舞い、径方向の対分布関数 $g(r)$ は典型的な液体の振動構造を欠いており、実験データと一致している。
5. スケーラビリティと堅牢性: アルゴリズムは、集中学習の下で $N=1600$ エージェントまで効果的にスケールする。分散学習は、有限の訓練時間内で個々のエージェントが全状態空間を探索することが困難であるため、非常に大きなグループ（$N > 800$）に対してはパフォーマンスが低下するが、これは探索指数を調整することで緩和可能である。
6. 境界条件: 内部エージェントと境界エージェントを区別するためにボロノイ細胞の面積に基づいた代替コスト関数をテストしたが、距離ベースのコストと比較して、結果として得られる群れの挙動に質的な違いは見られなかった。

意義と主張
本論文は、なぜ特定の社交的な種が、スウォーミングではなく「フロッキング（群れ形成）」を行うのかという問いを解決すると主張している。著者らは、フロッキングは単に集団の凝集性を維持するためのメカニズムとしてではなく、集団と共にいるという要請と、危険な衝突を回避するという要請を同時に満たすための最適戦略として出現すると論じている。学習されたダイナミクスはノイズやアルゴリズムの詳細に対して堅牢であり、整列と引力の相互作用が、距離依存的な衝突回避によって変調されることが、複雑な集団運動の自発的な出現のための十分条件であることを示唆している。結果は、飛行の性質（準2次元性）から生物学的に妥当であり、スウォームロボティクスへの応用も可能であり、事前にプログラムされた相互作用ルールの代わりに、学習ベースの手法を提示している。