ARTOO-DARTU: Studying AR-HRC With AR Obstruction Mitigation During a Warehouse Task

技術要約：ARTOO-DARTU：倉庫作業におけるAR遮蔽緩和を用いたAR-HRCの研究

問題提起
倉庫環境における人間とロボットの協調（HRC）は、ロボットの意図、内部状態、および空間的認識を伝えるために、拡張現実（AR）への依存度を高めている。しかし、モバイルロボットに固定された解析情報（バーチャルコンテンツ）が、在庫ラベル、物理的な物体、安全標識など、タスク完了に不可欠な現実世界の要素に対するユーザーの視界を遮ってしまうという、ARシチュエーテッド・アナリティクスにおける重大な課題が生じている。人間とロボットの両方が予測不可能な動きを見せる動的な倉庫環境では、静的なARビュー管理手法（例：コンテンツを天井へ移動させる手法）は、解析情報とロボットの間の空間的な結合を損なうため、不十分である。さらに、既存の遮蔽検知手法は、定義済みの3Dモデルやクラウドベースの視覚言語モデルに依存することが多く、これらはレイテンシやプライバシーのリスクを導入し、特定の在庫ラベルのような未知の現実世界の要素への汎用性に欠ける。本論文は、空間的な整合性やロボットのタスク実行を妨げることなく、豊かなシチュエーテッド・アナリティクスを提供しつつ、能動的に現実世界の遮蔽を緩和するARシステムの必要性に対処するものである。

手法
これらの課題に対処するため、著者らはMicrosoft HoloLens 2向けのARシステムであるARTOO-DARTU（Augmented Reality Technique Of Obstruction Deterrence while Aiding Robotic Teaming for Users）を開発し、Pocket MonstARsと呼ばれるゲーム化されたタスクを用いた制御されたユーザー研究を通じて評価を行った。

• システムアーキテクチャ: 本システムは、HoloLens 2ヘッドセット、TurtleBot 4、およびエッジサーバー（NVIDIA RTX 3060）を統合している。ヘッドセットは、シチュエーテッド・アナリティクスを表示し、仮想マップマーカーによるユーザー制御を可能にするUnityアプリケーションを実行する。エッジサーバーは、FastAPIベースの通信レイヤーをホストし、遮蔽検知および緩和（ODM）パイプラインのための重い計算を実行する。
• シチュエーテッド・アナリティクス: システムは、ロボットの位置、内部状態（バッテリー、熱、Wi-Fi、メンテナンス）、コマンド進行状況、および予定軌道を可視化する。主要なインジケーターには、球状の位置インジケーター、「思考吹き出し」による擬人化された状態メッセージ、コマンドステータス画面、および軌道矢印が含まれる。
• 遮蔽検知および緩和（ODM）: コアとなる革新は、クラウドへの依存なしにニアリアルタイムで動作するように設計されたODMパイプラインである。
  1. 投影: HoloLensは（バーチャルコンテンツを含まない）現実世界の生画像をキャプチャし、すべての有効なバーチャルアイテムの2Dバウンディングボックス投影を計算する。
  2. 検知: 画像と投影されたボックスはエッジサーバーに送信され、サーバーは物体検知のためのYOLOv5とテキスト検知のためのEasyOCRを実行する。
  3. 緩和: システムは、バーチャルアイテムの投影と、検知された現実世界の物体またはテキストとの重なりを計算する。バーチャルアイテムの投影が現実世界の要素と30%以上重なっている場合、そのアイテムはフラグが立てられる。その後、HoloLensアプリは、当該のアイテムを遮蔽点から20cm以上離れるまで完全に透明としてレンダリングし、空間的な整合性を維持しながら視認性を回復させる。
• 実験タスク（Pocket MonstARs）: 12個のラベル付きボックスと、YOLOで認識可能な物体を含む4個のボックスを含む、2.4×2.4 mのタスクエリア。ユーザーは倉庫作業員として振る舞い、15体のモンスターを「捕獲」するようにロボットに指示を出す。10体のモンスターは可視のバーチャルターゲットであり、残りの5体は現実世界のボックスの中に隠れている「ボックスモンスター」であり、ターゲットを特定するために特定のラベルや物体を識別する必要がある。
• ユーザー研究: 34人の参加者を対象とした2 × 3混合要因デザインの研究。被験者間因子はグループ（ODM有効 vs. ODM無効）である。被験者内因子は試行（アナリティクスなし、シチュエーテッド・アナリティクス、矢印付きシチュエーテッド・アナリティクス）である。パフォーマンスはキャッチ時間によって測定され、主観的なフィードバックは調査（GEQ、使いやすさ、信頼）を通じて収集された。

主な貢献

1. ARTOO-DARTUシステム: モバイル倉庫ロボット向けに特別に設計された、シチュエーテッド・アナリティクスとロボット制御を提供する統合型AR-HRCシステム。参加者の83%が、アナリティクスがないベースラインよりもこれを好んだ。
2. ODMパイプライン: ロボットと結合したシチュエーテッド・アナリティクス専用に設計された、初の遮蔽検知および緩和パイプライン。先行研究とは異なり、これはクラウドインフラや定義済みの3Dモデルを必要とせず、動的な環境における未知の現実世界の要素（ラベルや物体）に対して動作する。
3. Pocket MonstARs: 倉庫の在庫ピッキングを抽象化した、制御されたゲーム化された実験タスク。これは、現実世界のターゲット識別（ラベルの読み取り、物体の認識）という重要な要求を維持しつつ、ARの遮蔽とアナリティクスの体系的な評価を可能にする。

結果

• 効率性: シチュエーテッド・アナリティクスの存在により、全体的なタスク効率は46%向上したが、これはODMが有効な場合にのみであった。ODMがない場合、アナリティクスは効率を向上させず、遮蔽によってパフォーマンスを低下させることもあった。
• 現実世界のサブタスク: ODMが有効な参加者は、ODMがない参加者に比べ、現実世界の視認性を必要とするサブタスク（ボックスモンスターの捕獲）において61%高速であった。具体的には、シチュエーテッド・アナリティクス（SA）試行において、ODMグループはボックスモンスターを32.7秒で捕獲したが、非ODMグループは57.9秒を要した（$p=0.002$）。
• 全体的なパフォーマンス: SA試行において、ODM有効の参加者は非ODMグループと比較して全体で39%高速であった。
• 主観的フィードバック: ODMグループのユーザーは、知覚された困難度が有意に低く、有能感が高いと報告した。83%の全参加者が、ARアナリティクスのある試行を最も好ましいと回答した。ODMが無効なユーザーは、視界の遮蔽による不満を頻繁に挙げたが、ODMグループではそのような感情は見られなかった。
• 矢印: 軌道矢印の追加（SA+ARR）は、SA単独と比較してパフォーマンスを有意に向上させず、むしろ矢印の配置に基づいてユーザーがボックス内にロボットマーカーを置いてしまうといったナビゲーションエラーにより、キャッチ時間が遅くなるケースもあった。

意義と主張
本論文は、ARシチュエーテッド・アナリティクスは、現実世界の視認性を維持する堅牢な遮蔽緩和戦略と組み合わされた場合にのみ、倉庫HRCシナリオにおける効率とユーザー体験を大幅に向上させることができると主張している。著者らは、遮蔽管理は二次的な改良ではなく、「第一級の関心事」であり、効果的なAR支援のための前提条件として扱われるべきであると強調している。本研究は、ODMが、豊富なロボットの状態情報と、タスクに関連する物理的要素の視認性維持という安全性・ユーザビリティの要件とのバランスをうまく取っていることを示している。著者らは、本研究はゲーム化された抽象化を用いたものであるが、その知見は、AR-HRCにおける根本的なトレードオフを浮き彫りにしている。すなわち、アナリティクスは、システムが物理的な世界を遮蔽しない場合にのみ、インタラクションを向上させるという点である。彼らは、今後の研究において、実際の作業員や安全性に関わる要素が存在する実際の倉庫環境でこれらの知見を検証する必要があると控えめに結論付けている。