Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

技術要約：安全性が極めて重要なマルチドローン・システムのためのエージェンティックAI

問題提起
マルチドローン・システムは、捜索救助（SAR）、消防、重要インフラ監視などの安全性が極めて重要なミッションにおいて大きな可能性を秘めている。しかし、実世界での導入を阻んでいるのは、単なる技術的な自律性能の問題ではなく、エージェンティックな振る舞いを専門的なワークフローに統合するという社会技術的な課題である。オペレーターは、不確実性、時間的圧力、および高い責任を伴う条件下で、自動化を理解し、信頼し、統治しなければならない。フリート（機体群）の規模が増大するにつれ、従来の「1オペレーター／1車両」モデルは、調整オーバーヘッド、共有状況認識の低下、そして小さな不確実性が安全性に関する問題（例：優先順位の競合や責任の曖昧さ）へと連鎖するリスクのために破綻する。近年の大規模言語モデル（LLM）とエージェンティックAIの進歩は、自然言語によるタスク指示や混合イニシアチブ（mixed-initiative）型のプランニングを可能にする一方で、エージェントの意図の表現、意思決定の監督、および複雑なフィールド環境における正しい振る舞いの保証といった、新たなインタラクションの課題をもたらしている。

手法および研究アプローチ
本論文は、エージェンティックAIを固定された技術的解決策としてではなく、「社会技術的な設計素材」として扱う、人間中心の、参加型かつ反復的な研究アプローチを採用している。この手法は、以下の2つの補完的な進行中プロジェクトに基づいている。

1. NAMUR: 時間的制約のある緊急対応（SARおよび消防）に焦点を当て、迅速な意思決定サイクル、動的なハザード、およびヘテロジニアスなロボットプラットフォーム間での統一された抽象化レイヤーの必要性を強調する。
2. PERSIST: 重要インフラ（例：発電所）における長期的な持続的運用に焦点を当て、持続的な活動、再現性、シフト交代、および組織的な統合を強調する。

研究プロセスには以下が含まれる：

• ニーズの発見: ステークホルダー（現場指揮官、現場レスポンダー、セキュリティ担当者）との具体的なシナリオやデモンストレーションに基づき、業務慣行、意思決定ポイント、および認知的なボトルネックをマッピングする。
• 参加型プロトタイピング: 連続的な機能プロトタイプを「境界オブジェクト（boundary objects）」として用い、エージェントの能力、権限要件、および不確実性の手がかりについて交渉を行う。
• システム設計: 自然言語による意図を、レビュー可能なサブタスクへと分解し、決定論的なツールによって実行を制約し、オペレーターによるプレビューと承認を強制するアーキテクチャの開発。

主要な貢献：LLM-MAS アーキテクチャ
本論文は、マルチドローン制御のために設計された、**大規模言語モデル・マルチエージェントシステム（LLM-MAS）**という機能的プロトタイプ・アーキテクチャを提示する。このシステムは、外部の決定論的ツール（例：空間計算、運動実行、メモリ格納、タスクスケジューリング）とインターフェースを持つ5つの特化したエージェントで構成されている。

1. コーディネーター・エージェント（Coordinator Agent）: 中心的なオーケストレーターとして機能し、オペレーターの意図を推論し、下位エージェントに委譲されるサブクエリへとコマンドを分解する。
2. イベント・エージェント（Events Agent）: 定期的、遅延的、または未来志向の指令（例：スケジュールの組まれたバイオマス推定や、基地への帰還コマンド）を管理し、適切なタイミングでタスクが実行または表面化されることを確実にする。
3. スペーシャル・エージェント（Spatial Agent）: GeoJSONマップおよびドローンや現場レスポンダーのライブ位置にアクセスすることで、状況認識を提供する。意味的なマップの特徴を特定し、空間的な関係を計算する。
4. スウォーム・エージェント（Swarm Agent）: 運動計画とタスク実行を担当する。可用性とコンテキストに基づいて適切なドローン・プラットフォームを選択する。極めて重要な点として、このエージェントによって生成されたすべてのリクエストは、実行前にオペレーターによるプレビューと確認の対象となる。これは、飛行制御パイプラインをトリガーするためにROSトピックにアクションをパブリッシュする。
5. サマライザー・エージェント（Summarizer Agent）: 実行されたアクションとシステム状態の簡潔で人間が理解しやすい要約を生成する。これらはインタラクション・メモリに保存され、後続の対話ターンにコンテキストを提供することで、一貫したマルチターン・インタラクションや参照解決（例：「それを最寄りの安全地帯へ移動して」）を可能にする。

本システムはデプロイメントに依存する。SARの場合、ツールは適合的なカバレッジ経路計画をサポートし、インフラ監視の場合、ツールはバイオマス推定のための飛行経路生成をサポートする。

結果と知見
本論文は、過去のフィールド活動やプロトタイプの評価から得られた教訓を統合し、主要な機会と緊張関係を特定している。

• 機会: エージェンティックAIは、選択的な注意／要約を提供することで調整オーバーヘッドを削減し、情報が変化してもカバレッジを維持する混合イニシアチブ型のプランニングを可能にし、長期的なオーケストレーション（スケジューリング、異常のトリアージ）を支援することができる。
• 緊張関係: 著者らは、自律性だけでは解決できない重要な安全性の緊張関係を特定している：
  • 常時注意を必要としない一方で、「ブラックボックス」的な振る舞いを拒絶するシステムの必要性。
  • 強力なアラートが短期的にはパフォーマンスを向上させるものの、「注意のトンネル化（attention tunneling）」を引き起こし、全体的な監視を低下させるリスク。
  • 不完全な知覚下での較正された信頼（calibrated trust）の必要性。これには、保守的なデフォルト設定と検証ワークフローが必要である。
  • 役割、プロトコル、および監査可能な意思決定の軌跡との整合性を含む、運用の適合性の要求。

機能的プロトタイプは、無人地上車両（UGV）および無人航空機（UAV）のライブ制御において実証されており、自然言語をレビュー可能なサブタスクへと分解すること、および明示的なオペレーター承認を強制できることが検証されている。

意義と主張
本論文は、安全性が極めて重要な業務のためのエージェンティックAIは、インターフェース、監視メカニズム、および評価手法がアルゴリズム自体と同じくらい重要であるという、社会技術的な設計問題としてアプローチされるべきであると主張している。著者らは、以下の3つの含意を通じて「統治可能なエージェンティック自律性（governable agentic autonomy）」を具体化することで、今後の研究を支援できると主張している。

1. 核となる特性としての統治可能性: 認可ポイント、制約、および介入メカニズムは、UIの追加機能ではなく、明示的かつ監査可能なシステムの特性でなければならない。
2. 制約されたツール利用: 予測可能な失敗モードと再現可能なデバッグを確保するため、エージェントの振る舞いは、制約のない自由なアクションではなく、制約され、検査可能なツール利用から構築されるべきである。
3. 実世界での評価: 評価は実際の運用使用を反映したものでなければならず、単なるタスクの成功だけでなく、状況認識、信頼の較正、調整オーバーヘッド、および責任ある事後レビューへの支援を測定する必要がある。

本論文は、エージェンティックAIがマルチドローン運用をスケールアップさせる有望性を秘めている一方で、その成功した展開は、システムが透明であり、学習可能であり、かつ現地のプロトコルや責任慣行と一致し続けるようにするための、反復的なステークホルダーとの関与にかかっていると結論付けている。