HRIBench: Benchmarking Interaction-Centric Human-Robot Collaboration

技術要約：HRIBench – インタラクション中心の人間・ロボット協調に関するベンチマーク

問題提起
現在のVision-Language-Action (VLA) ベンチマークは、主に孤立した操作スキル（例：ピック・アンド・プレース、物体の操作）を評価しており、ロボットが単独で動作するという暗黙の仮定に基づいています。しかし、現実世界の人間・ロボット協調（HRC）は、本質的に共有されたエージェンシーの下でのコーディネーションを必要とします。既存の評価手法は、基礎となるインタラクション構造をモデル化できておらず、重要な能力の検証が不十分です。具体的には、意図の理解、時間的な同期、プロトコルの遵守、そして動的な環境下での安全なインタラクションといった能力です。その結果、あるポリシーは単独での操作能力においては高い能力を示しても、共同作業者のリーチング動作に反応できなかったり、コーディネーションのタイミングを逸したり、あるいは破壊的な人間の介入後に実行を継続できなかったりすることがあります。このギャップは、操作の習熟度と協調的知能との間の乖離を浮き彫りにしています。

手法
これに対処するため、著者らは、実行可能なインタラクション・シナリオを通じて、意図を認識する人間・ロボット協調を評価するために設計された診断的ベンチマークであるHRIBenchを導入します。

• シナリオ・スクリプト: コアとなる抽象化概念は、「シナリオ・スクリプト」であり、これは協調的なエピソードを構造化し、実行可能な形式で表現したものです。これらのスクリプトは、以下を明示的にモデル化します：

  • エージェントの役割と意味的な目標。
  • 時間的依存関係と因果的制約。
  • 人間の動作分布。
  • 報酬関数と成功条件。
    この抽象化により、「協調に何が必要か」と「ポリシーがいかにそれを実行するか」を分離することができ、高レベルの要件とシミュレーション環境を接続する解釈可能な意味層を可能にします。

• インタラクション・ロール（役割）: 本ベンチマークは、以下の3つの基本的な人間・ロボット・インタラクション・パターンに基づいて挙動を整理しています：

  1. インストラクター（指導者）: ロボットは、人間のデモンストレーションやジェスチャーから意図されたアクションを推論しなければなりません。
  2. コラボレーター（共同作業者）: ロボットは、精密なタイミングと応答性を必要とする、同期されたマルチエージェント・コーディネーション（例：物体の受け渡し、共同操作）に従事しなければなりません。
  3. イントルーダー（侵入者）: ロボットは、安全性を維持し、破壊的な人間の介入（例：経路の遮断、無効な干渉）に対してオンラインで実行を適応させなければなりません。

• 生成パイプライン: HRIBenchは、4段階のパイプラインを利用しています：

  1. スクリプティング: 言語モデルがタスクのメタデータからシナリオ・スクリプトを生成します。
  2. シーンのインスタンス化: 多様な物体やレイアウトを備えた環境がコンパイルされます。
  3. モーション合成: 人間の軌跡はHY-Motion-1.0を使用して合成され、タスクに応じた制約（例：手の安定性、接近方向）によって洗練され、タスクごとに50以上の軌跡バリアントとして変化させられます。
  4. シミュレーション検証: 生成されたエピソードは、到達可能性、妥当性、および意味的な正確性の観点からフィルタリングされます。最終的なベンチマークは、13のロール条件付きタスクと、650以上の実行可能な評価エピソードで構成されています。

• 評価指標: 二値的なタスク成功率を超えて、HRIBenchはインタラクション中心の指標を導入しています：

  • 有効性: 協調成功率（CSR）、完了時間、アイドル比率。
  • コーディネーション: 時間的同期、応答レイテンシ、順序遵守。
  • 安全性と堅牢性: 衝突フリー率、人間接触安全性、矛盾する指示の認識、中断成功率。

主な貢献

1. HRIBench ベンチマーク: インタラクションの評価を実行可能なコーディネーション・モデリングとして再定式化した診断フレームワークであり、インストラクターによる誘導実行、協調的コーディネーション、および介入下での堅牢性にわたる13のタスクを備えています。
2. シナリオ・スクリプト: エージェントの役割、時間的依存関係、および人間の行動分布を明示的にモデル化し、再現可能なインタラクション・エピソードの生成を可能にする、構造化された実行可能な表現。
3. インタラクション中心の評価プロトコル: 同期、応答性、プロトコル遵守、安全性といった多次元的な指標セットにより、現代のロボット基盤モデルにおける協調の失敗モードを切り分けて分析することを可能にします。

実験結果
著者らは、GR00T N1.5、$\pi^0.5$、および ACT に基づいて適応させたポリシーを、統一されたプロトコルの下で評価しました。

• シミュレーション性能: 現在の基盤ポリシーは、強力な操作能力を持っているにもかかわらず、協調的な設定においては著しく苦戦しています。

  • インストラクター・タスク: 最良のCSRは0.533でした。
  • コラボレーター・タスク: 最良のCSRは0.500に低下しました。
  • イントルーダー・タスク: パフォーマンスは崩壊し、全モデルを通じてCSRはわずか0.100まで低下しました。
  • 分析: モデルは高い順序遵守率（しばしば1.000）を達成しましたが、譲歩したり、安全なクリアランスを維持したり、あるいは中断から回復したりすることには失敗しました。VLAベースのポリシーは、キューのグラウンディングにおいて模倣学習のベースライン（ACT）を上回りましたが、すべてのモデルが時間的なコーディネーションと人間の摂動に苦慮しました。

• 実世界への適応: LeRobot SO-100アームを用いた小規模な研究により、HRIBenchデータの物理的展開における有用性が示されました。

  • 実世界のみの事後学習（20回の実機テレオペレーション軌跡）では、平均成功率は0.10でした。
  • Sim+Real 事後学習（HRIBenchシミュレーションデータでの事前学習、その後の実機データによる微調整）では、平均成功率が0.43に向上しました。
  • この向上は3つのインタラクション・ロールすべてにおいて一貫しており、実世界のデモンストレーションが不足している場合に、構造化されたインタラクション・データが実世界の協調的挙動に対する転移可能な事前知識を提供することを示唆しています。

意義と主張
本論文は、HRIBenchが、協調的な設定における現在のエンボディド基盤モデルの限界を露呈させるための、必要な診断ツールであることを主張しています。著者らは、二値的なタスク成功は協調的知能を評価するには不十分であると論じています。すなわち、ロボットは物体レベルの目標を完了したとしても、時間的なコーディネーションや安全プロトコルに違反している可能性があるからです。

「孤立した操作」から「実行可能なコーディネーション」へと焦点を移すことで、HRIBenchは、現在のポリシーが堅牢な意図認識能力と時間的コーディネーションを欠いていることを明らかにしています。このベンチマークは、操作の習熟度は前提条件ではあるものの、協調のための十分条件ではないことを示しています。著者らは、特定のコーディネーションの欠陥（例：意図のグラウンディング、タイミング、安全回復）を診断するための構造化されたフレームワークを提供し、実世界の適応を効果的に改善するデータを生成することにより、自らの研究がインタラクション中心のロボット学習を進展させるものであると控えめに主張しています。また、シミュレーション・ベンチマークであるため、現実世界の人間による多様性を完全には捉えきれないことや、物理的展開のためのスタンドアロンの安全性評価として機能することはできないという限界も認めています。