技術要約：ソーシャルナビゲーションのためのACMEデータセット

問題提起

ソーシャルロボットのナビゲーションには、動的な人間環境の中で、暗黙的かつ文脈依存的な文化的規範を遵守しながら、効率的かつ自然に移動する自律エージェントが求められます。構造化されたルール（車線表示や信号機など）の恩恵を受ける自動運転とは異なり、モバイルサービスロボットは、文化、地理的場所、およびロボットの形態（エンボディメント）によって社会規範が大きく変化する非構造化された空間をナビゲートしなければなりません。

ソーシャルナビゲーションおよび歩行者軌道予測のための既存のデータセットには、以下のような決定的な限界があります：

• 多様性の欠如： ほとんどのデータセットは単一の場所または国で収集されており、文化的文脈（例：好ましい通行側、パーソナルスペース）によって引き起こされる歩行者の行動のバリエーションを捉えきれていません。
• 限定的なエンボディメント： 従来の知見は単一のロボットの形状に焦点を当てることが多く、ロボットの形態が人間の相互作用やナビゲーションへの期待にどのように影響するかを無視しています。
• 不十分な複雑性： 多くのデータセットは、高密度な群衆、ブラインドコーナー、狭い廊下といった挑戦的な「イン・ザ・ワイルド（実環境）」のシナリオを欠いていたり、現実世界の社会的コンプライアンスに一般化できない簡略化された人間モデルに依存したりしています。
• データのギャップ： 目標駆動型のロボットナビゲーションと、明示的な人間・ロボット相互作用（例：音声）、および多様な文化的設定における検証済みでメトリックに基づいた歩行者軌道を組み合わせたデータセットは不足しています。

手法

著者らは、8つの拠点と5カ国（シンガポール、日本、アメリカ、スペイン、ドイツ）にわたる大規模なデータ収集の取り組みであるACME（A Cross-cultural, Multi-Embodiment dataset for social navigation）を紹介します。これには7種類の異なるロボット形態が含まれます。

データ収集戦略

• ロボットプラットフォーム： データセットは、5つの視覚的に異なるロボットタイプを使用しています：2種類の四足歩行ロボット（Unitree GO1/GO2）、2種類のスーツケース型差動駆動ロボット（人間による操作）、1種類のローバー型ロボット、および2種類のモバイルサービスロボット（例：Stretch 2, Shadow Robot）。
• 遠隔操作のガイドライン： 自然な相互作用を確保するため、テレオペレーターは歩行者の行動に影響を与えないよう、安全に可能な限りロボットから離れるよう指示されました（Wizard of Oz設定）。また、ナビゲーション目標を事前に固定し、軌道セグメント（開始/終了/破棄）をマークするように指導されました。
• ロボットの音声： データの一部（NUS, UEx, Miraikan, Keio）には、明示的なロボット音声による相互作用が含まれています。テレオペレーターは、群衆との相互作用ポリシーを研究するために、インターフェースを介して特定の発話（「すみません」、「注意、ロボットが通ります」、「道を譲ってください」）をトリガーしました。
• センサー： すべてのロボットには、RGBカメラ、LiDAR、およびオドメトリを含むオンボードセンサーが装備されています。一部の場所では、歩行者トラッキングのためにオーバーヘッドの鳥瞰図（BEV）カメラも設置されました。

データ処理とアノテーション

• 匿名化： 各国の機関倫理委員会（IRB）の要件を遵守するため、データは異なるレベルの匿名化（顔のぼかしから全身のセグメンテーションまで）が行われました。情報の損失を補うため、著者らはバウンディングボックス、セグメンテーションマスク、およびポーズキーポイントを提供しています。
• 軌道の検証： 歩行者の軌道は、BEVカメラから自動ツール（ByteTrack）を使用して初期トラッキングが行われ、その後、人間によって10Hzで検証されました。著者らは、トラッキングエラー（例：IDの入れ替わり、検出漏れ、軌道の断絶）を修正するためのカスタムアノテーションツールを開発しました。
• 座標変換： BEVカメラからの2Dピクセル座標は、AprilTagまたは静止したキーポイントから導出されたホモグラフィ推定を用いて、メトリックな地上平面座標へと変換されました。
• シナリオ・タギング： ロボットの軌道には、シナリオ固有のフィルタリングを容易にするために、シナリオラベル（例：狭い廊下、交差点、ブラインドコーナー、会話中のグループの通過）が手動でタグ付けされました。

主な貢献

1. 規模と多様性： ACMEは、5カ国と7種類のロボット形態において、29.35時間のオンボードロボットデータと43.5時間のオーバーヘッド歩行者トラッキングデータを特徴とする、現在までで最も大規模かつ多様なソーシャルナビゲーションデータセットです。
2. 人間によるラベル付けされたBEV軌道： メトリック座標変換を備えた、人間によってラベル付けされた最大の鳥瞰図歩行者軌道予測データセットを提供し、従来の知見における検証済みでメトリックに基づいたデータの欠如に対処しています。
3. クロスカルチャーおよびマルチエンボディメント分析： 本データセットは、異なる文化やロボットの形態によるナビゲーション行動の変化を明示的に捉えており、文脈を考慮した社会規範の研究を可能にします。
4. ロボット音声の統合： 群衆との明示的な相互作用を捉えたユニークなデータサブセットを含んでおり、ナビゲーションにおける言語コミュニケーション・ポリシーの研究を可能にします。
5. 包括的なベンチマーク： 著者らは、最新のビジョンナビゲーションモデル（ViNT, NoMAD）および軌道予測モデル（SocialGAN, AgentFormer, MoFlowなど）の広範なベンチマークをACME上で提供し、既存のベンチマークと比較した際のACMEの課題を明らかにしています。

結果と分析

データセットの特性

• シナリオの複雑性： 従来のデータセット（SCAND, MuSoHu）と比較して、ACMEはより広範な挑戦的シナリオを捉えています。ロボット付近の歩行者密度が高く、移動の制約（狭い廊下、ブラインドコーナー）が多いのが特徴です。
• プランナーの失敗率： 幾何学的プランナー（TEB）と比較した場合、ACMEのシーンではSCANDと比較して1分あたりのプランナー失敗が2倍、5メートルあたりの失敗が4倍多くなり、ACMEが標準的な幾何学的プランナーが著しく苦戦するシナリオを捉えていることを示しています。
• ナビゲーションモデルの性能： 既存のデータセット（SCAND）で学習された最先端の基盤ナビゲーションモデル（ViNT, NoMAD）は、ACME上では性能が低下し、最終目的地誤差（FDE）および方位誤差が増大しており、汎化のギャップを浮き彫りにしています。
• 軌道予測： 最先端の軌道予測モデルは、ETH/UCYデータセットよりもACML上で性能が悪化しました。動的な歩行者に限定してフィルタリングした場合、性能の低下はさらに顕著になり（ADE/FDEが約0.38m/0.72m低下）、ACMEが小さく古いデータセットには存在しない複雑な人間の運動力学を捉えていることを示唆しています。

行動に関する洞察

• 文化的差異： 通行側の好みの分析により、アメリカとドイツの歩行者は主に右側を通行する傾向がある一方、日本とシンガポールの歩行者は左側を通行する傾向があることが明らかになりました（ただし、狭い廊下ではこの傾向はあまり顕著ではありませんでした）。
• 速度と密度： 歩行速度は場所によって大きく異なりました。屋外の場所（ドイツ、シンガポール）では速度が高く、博物館環境（Miraikan）や高密度エリアでは速度が低下しました。
• パーソナルスペース： 横方向のパーソナルスペースは、開けた空間と比較して廊下環境では狭くなることが判明しました。これは、狭い空間では環境的な制約が文化的規範を上書きすることを示唆しています。

重要性と主張

本論文は、文化的および形態的なバリエーションに対して堅牢なナビゲーション・ポリシーを学習するためのデータ駆動型の基盤を提供することにより、ACMEがソーシャルロボティクス研究における根本的なギャップに対処していると主張しています。著者らは以下の通り述べています：

• ACMEは、複数の文化的文脈とロボットの形態にわたって、ソーシャルナビゲーションを体系的に捉えた最初のデータセットです。
• データセットの多様性と複雑さは、現在のナビゲーションおよび軌道予測モデルの汎化能力を評価するための重要なベンチマークとなります。
• 検証済みのメトリック軌道とシナリオタグの包含により、研究者は単一の場所や単一のロボットの研究の限界を超え、文脈を考慮した、およびエンボディメントを考慮したソーシャルナビゲーション・ポリシーの開発とテストを行うことができます。
• 本データセットは、プロアクティブな群衆管理のツールとしてのロボット音声の研究を促進します。これは、これまでのデータセットにはほとんど見られなかった機能です。

著者らは、ACMEが、人間と共有する空間における微細で暗黙的、かつ文化に依存する規範に適応できるモデルの開発、特にソーシャルナビゲーション研究を進展させるためのリソースとして機能すると結論付けています。