技術要約：FleetScape：拡張可能なドローン艦隊の空間的監督および制御のための混合現実サンドテーブル

問題提起

自律的なドローンの配備が、個々のユニットから協調的なスウォーム（群れ）へとスケールアップするにつれ、人間のオペレーターの役割は直接的な操縦から高レベルな監督へと移行します。現在のインターフェースは、マルチドローン制御を単一ドローンの操作をスケールアップさせたものとして扱うことが多く、断片化された2Dビュー（個別のカメラフィード、テレメトリパネル、マップ）に依存しています。これらは、複雑なミッションにおける空間的、時間的、および安全性の要求を満たすことができません。このような断片化は、認知負荷を増大させ、メンタルローテーション（心的回転）の問題を引き起こし、特に艦隊の規模が大きくなるにつれて状況認識（SA）を低下させます。空間的なインターフェースがいかにして、艦隊とミッションの情報を並行して提示し、グローバルな監督と直接制御の間のシームレスな移行を促進できるかについての研究は不足しています。

メソドロジー

システム設計：FleetScape

著者らは、3Dサンドテーブルを中心とした混合現実（MR）インターフェースであるFleetScapeを提案しています。このシステムは、階層化されたリアルタイムのミッション、安全、および環境データを外部化し、手動介入と自律的監督の間の流動的な移行を可能にします。

• ハードウェアおよびプラットフォーム： システムはMeta Quest 3ヘッドセット上で動作し、入力にはMeta Touch Proコントローラーを使用します。
• コアコンポーネント：
  • 3Dサンドテーブル： 運用環境の空間的なミニチュアを表す中心的なワークスペースです。これは、建物境界、検査ウェイポイント、リアルタイムのポイントクラウド、およびドローンのミニチュアといった複数のデータレイヤーを統合しています。フォーカスを意識した設計を採用しており、選択されたドローンには詳細な情報をレンダリングする一方で、他のドローンは抽象化することで煩雑さを軽減します。
  • 補助ビュー： 2Dミニマップは安定したトップダウンの概要を提供し、フリートステータスボードはコンパクトなテキスト形式のテレメトリとアラートを提供します。
  • ドローンコントロールパネル： フォーカスされたドローンのカメラフィードをストリーミングし、モード切り替えを可能にします。
• インタラクションモード：
  • バウンド・インタラクション： ユーザーはビューを周辺視野に配置します。
  • マップ・インタラクション： ユーザーは視点を合わせるためにサンドテーブルを操作（パン、ズーム、回転）します。
  • 制御の移行： システムは、自律的検査、直接手動制御（カメラフィード経由）、および半自律的ルートプランニング（インタラクティブなウェイポイント編集）の間のシームレスな切り替えをサポートします。移行は、艦隊レベルのコンテキストを維持するために、ジェントルな設計（ズーム・アンド・センター）になっています。

シミュレーション環境

システムの評価を行うため、著者らは高精度なマルチドローン建物検査シミュレータを開発しました。

• 環境： 都市アセット（City Pack ©Mindravel Interactive）を使用し、建物のバウンディングボックスと占有マップを備えています。
• ダイナミクス： ドローンのダイナミクス（UnityDroneSimから適応）、センサーモジュール（SafeSpect）、およびA*パスファインディングを統合しています。
• ストレス・テスト： 艦隊の規模、バッテリー状態、およびナビゲーションの不確実性（シミュレートされたGPS誤差や風によるドリフト）を含む、構成可能なパラメータを含んでいます。

ユーザー調査

6名の経験豊富なプロフェッショナル・ドローンパイロット（うち5名はライセンス保持者、1名は広範なアマチュア経験者）を対象とした探索的なユーザー調査を実施しました。

• 手順： 参加者は、7分間の検査タスクにおいて、5機、10機、15機のドローン艦隊を管理しました。
• 指標：
  • 状況認識（SA）： シミュレーションの一時停止（シミュレーション・フリーズ）を用い、3つのレベル（知覚、理解、投影）における「ミッション進行」と「ドローン状態」の両方について、**SAGAT（Situation Awareness Global Assessment Technique）**を用いて測定しました。
  • ワークロードおよび主観的SA： Bedfordワークロードスケールおよび**SART（Situation Awareness Rating Technique）**を用いて測定しました。
  • 受容性： **TAM（Technology Acceptance Model）**を用いて測定しました。
  • パフォーマンス： ドローンあたりの生産性（カバーされたウェイポイント数）およびインタラクションパターンを追跡しました。

主な貢献

1. 空間的インタラクションのデザインスペース： 3Dサンドテーブル、2Dミニマップ、1Dステータスボードを用いたマルチモーダルなアプローチを利用し、艦隊の監督のためのミッションおよび安全の状況認識をサポートするフレームワーク。
2. FleetScapeプロトタイプ： 層状の空間的可視化と、統一された空間コンテキスト内での制御モード（手動、半自律、自動）間の流動的な移行を可能にする機能的なMRインターフェース。
3. 実証的評価： 管理可能な艦隊規模の限界を特定し、監督戦略を明らかにし、拡張可能なドローン艦隊の監督のための設計に情報を提供する、プロフェッショナルパイロットによる評価。

結果

定量的知見

• 状況認識（SA）：
  • ミッションSA： 知覚（レベル1）は艦隊サイズとともに増加しましたが（0.65 → 0.80）、理解（レベル2）および投影（レベル3）は、艦隊が5機から15機に増えるにつれて大幅に減少しました。
  • ドローン/安全性SA： すべてのレベルにおいて、艦隊サイズが増加するにつれて低下しました。全体のドローン安全性SAは、0.86（5機）から0.61（15機）へと低下しました。
• ワークロード： 主観的ワークロード（Bedfordスケール）は単調に増加し（4.17 → 6.33）、一方で知覚されたSA（SART）は減少しました（7.67 → 4.83）。
• パフォーマンス： ドローンあたりの生産性は、艦隊サイズが増加するにつれて減少しました（5機の場合39.6ウェイポイント/ドローンに対し、15機の場合32.1ウェイポイント/ドローン）。
• 受容性： 参加者は高い知覚された使いやすさ（5.5/7）とポジティブな態度（5.83/7）を示しましたが、実世界のワークフローに関する懸念から、知覚された有用性はやや低くなりました。

定性的知見

• 戦略： パイロットは、積極的な最適化（5機の時）から、反応的・例外ベースのモニタリング（15機の時）へとシフトしました。
• インターフェースの使用： サンドテーブルは空間的推論のための主要なインターフェースであり、ミニマップは3Dの奥行きの手がかりが不十分な場合の方向決定に使用されました。
• 限界： パイロットは、密集した環境で移動するドローンを選択することの難しさを報告し、視覚的な混雑（例：ポイントクラウド）が注意をそらす可能性があると指摘しました。
• スケーラビリティの限界： ほとんどのパイロットは、5〜10機のドローンが効果的な監督のための現実的な限界であると考えています。15機の管理には、ウェイポイントの事前配置やドローンのグルーピングといった大幅な戦略の転換が必要であり、しばしば詳細な安全性への認識の喪失を招きました。

意義と主張

本論文は、ドローン艦隊の監督を空間的インタラクションとして再定義することが、状況認識を効果的にサポートし、制御モードの移行を明確にすることを主張しています。しかし、艦隊の規模が増加するにつれて状況認識には限界があることも謙虚に認めています。

• 実証的限界： 本研究は、単一のオペレーターが高レベルの状況認識を維持できる限界が、およそ10機であることを特定しています。これを超えると、認知負荷が増大し、反応的なモニタリングへのシフトが起こります。
• 設計への示唆： 著者らは、拡張可能なインターフェースのための4つの設計上の示唆を導き出しています。
  1. 空間的表現： メンタルローテーションを軽減するために共有の3Dフレームを使用するが、詳細度と混雑のバランスを管理するために、構成可能なレイヤリングを許可する。
  2. 流動的な移行： 共有された空間コンテキスト内で問題の迅速なローカライズをサポートするが、密集した環境のための入力効率を向上させる。
  3. 適応的可視化： 艦隊の規模に基づいて、詳細度と抽象化のバランスを動的に取る（例：ドローンのグルーピング、カラーコーディング）。
  4. ワークフローの再構築： 認知的要求を、リアルタイムの介入から、事前ミッション計画および優先順位付け（例：制御グループ、例外ベースのアラート）へとシフトさせる。

著者らは、FleetScapeがメンタルローテーションを軽減し、移行をサポートする上でMRサンドテーブルの価値を実証している一方で、10機を超える艦隊を効果的に扱うためには、抽象化メカニズムと適応的な可視化が必要であると結論付けています。