SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models

技術要約：SkySim – 大規模言語モデルを用いたドローン群の自然言語制御のためのROS2ベースのシミュレーション環境

問題提起
無人航空機（UAV）のスウォーム（群制御）は、物流、農業、監視などの分野で大きな可能性を秘めているが、その展開は、安全性と物理的な実現可能性を確保するための専門知識の必要性によって阻害されている。従来の制御手法は、静的で事前にプログラムされたフローに依存しており、動的な環境における適応性に欠けている。大規模言語モデル（LLM）は、自然言語による制御を可能にする有望な手段を提示しているが、本質的に現実世界の物理的な接地性（グラウンディング）を欠いている。その結果、LLMは衝突リスク、運動学的限界、または環境制約を考慮できず、安全ではない参照軌跡を生成してしまうことが多い。高レベルの人間による意図と低レベルのロボット実行の間のギャップを埋めるために、LLMの認知的な推論を活用しつつ、厳格なリアルタイム安全制約を強制するフレームワークが切実に求められている。

手法
著者らは、高レベルの認知的なプランニングと低レベルの安全性の強制を分離した、ROS2 (Jazzy) および Gazebo (Harmonic) 上のシミュレーションフレームワークであるSkySimを導入している。システムアーキテクチャは、以下のコンポーネントを備えた「感知・計画・実行（sense-plan-act）」ループに基づいて動作する。

1. 状態感知（State Sensing）： システムはGazeboの /odom トピックをサブスクライブし、OptiTrackなどの高精度モーションキャプチャシステムを模倣して、全エージェントのノイズのないリアルタイムな3D位置テレメトリを取得する。
2. LLMベースのプランニング（高レベル）： Gemini 3.5 Proを使用し、システムは自然言語コマンド（例：「円を作れ」）を空間的なウェイポイントへと翻訳する。LLMは、スウォームのサイズ、座標系、および地面衝突限界（$Z \ge 0.5$ m）に関する厳格なシステム指示によって制約を受ける。モデルは、システム指示、現在のドローンの状態、およびユーザーコマンドを含む動的なプロンプトを受け取り、シリアライズされたPythonのリスト形式で目標座標を出力する。
3. 安全フィルター（低レベル）： 物理的な実現可能性を確保するため、決定論的な人工ポテンシャル場（APF）コントローラが、LLMの推論レイテンシとは独立して20 Hzで動作する。このレイヤーには以下が適用される：
   • 吸引力（Attractive Forces）： LLMが生成したウェイポイントへとエージェントを駆動する比例制御。
   • 反発力（Repulsive Forces）： エージェント間の距離が安全半径（$r_{min} = 0.8$ m）を下回ったときに衝突回避が作動し、衝突を防ぐための反発ベクトルを生成する。
   • 運動学的制約（Kinematic Constraints）： コマンドが運用ボリュームおよびモーターの制限内に留まるよう、速度飽和（$v_{max} = 0.5$ m/s）およびジオフェンシングを適用する。

主な貢献

• 分離されたアーキテクチャ： 本論文は、LLMの確率的な性質をリアルタイムの安全性要求から隔離するモジュール式フレームワークを提案しており、これにより非専門家が低レベルの制約を管理することなく複雑な振る舞いを定義することを可能にする。
• ゼロショット空間推論： 時間的な協調振付（コレオグラフィ）に焦点を当てた先行研究とは異なり、SkySimは、特定の形状に対する事前学習なしに、抽象的な自然言語コマンド（例：「クリスマスツリー」、「グリッド」、「球体」）を有効かつ任意の静的な幾何学形状へと翻訳する能力を実証している。
• 軽量な安全メカニズム： 反応型のAPFコントローラの実装は、重い学習ベースの安全性レイヤー（例：DRL）や非線形ソルバー（例：MPC）に代わる、計算効率の高い代替案として強調されており、最小限のオーバーヘッドで即時的な反射的衝突回避を実現している。

実験結果
フレームワークは、スウォームサイズ N = 3, 10, 30 の条件下で、シミュレーション上の Crazyflie 2.1 Brushless ドローンを用いて評価された。

• 空間推論の正確性： LLMは、テストされたすべてのスウォームサイズにおいて、様々な幾何学的プリミティブに対して有効な目標座標を生成することに100%の成功率を達成した。
• 衝突回避： 静的な障害物（単一点への収束）および動的な障害物（同時位置入れ替え）を含むストレス・テストにおいて、APFフィルターは衝突を正常に回避した。エージェント間の距離は一時的にAPF起動閾値（0.8 m）を下回ったものの、物理的な衝突限界（約55 mm）は厳格に上回っていた。
• スケーラビリティとレイテンシ： システムは劣線形のスケーラビリティを示した。スウォームサイズを3から30に増加させても、平均プランニング・レイテンシの増加はわずか約45%（34秒から50秒へ）であった。極めて重要な点として、可変的なプランニング・レイテンシ（秒単位）は、制御ループのレイテンシ（ミリ秒単位）から完全にデカップルされていることが示され、LLMの推論遅延が発生している間でもスウォームの安定性が確保されることが示された。
• 軌跡の実現可能性： 速度プロファイルにより、生成された軌跡が滑らかであり、運動学的限界（$v_{max} = 0.5$ m/s）内に留まっていることが確認された。また、高周波の振動も発生しなかった。

意義と限界
本論文は、SkySimがAIの認知とロボットの安全性の間のギャップを埋めることに成功し、非専門家が動的な環境に向けてスウォームの振る舞いを反復的に洗練させることを可能にすると主張している。分離されたアプローチは、複雑でオンデマンドな振る舞いが求められる農業や災害対応などの分野において、UAVスウォームを展開するための実行可能な経路として提示されている。

しかし、著者らは以下の現在の限界を明示的に認めている：

• レイテンシの変動： クラウドベースのAPI（Gemini）への依存は、大幅なレイテンシの変動をもたらし、新しいコマンドに対するミリ秒レベルの反応が必要な時間クリティカルな任務には不向きである。
• シミュレーションの制約： 現在の検証は、Gazeboからのノイズのないグラウンドトゥルース・データに依存している。実世界への展開では、センサーノイズ、パケットロス、および環境的な乱れという課題に直面することになる。
• 局所解（ローカルミニマ）： 決定論的なAPFコントローラは、非常に混雑した環境において局所解に陥りやすく、エージェントがスタックする可能性がある。
• コンテキストウィンドウの制限： システムは現在、LLMのコンテキストウィンドウの制約およびリアルタイム物理シミュレーションのためのハードウェアリソースにより、N=30に制限されている。

今後の展望
著者らは、スタックを物理ハードウェア（OptiTrackを用いたCrazyflie）へ移行し、局所解に対処するためにモデル予測制御（MPC）を統合し、マルチモーダル入力を取り入れ、さらにクラウドベースのレイテンシのボトルネックを排除するために、ローカルにデプロイされた小型言語モデル（SLM）へと移行する計画を立てている。