Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

以下は、論文「Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction」の技術的要約の日本語訳です。

問題提起

現在の人間とロボットの相互作用（HRI）におけるロボット・ポリシーは、人間の意図を伝えるために、ほぼ排他的に言語指示に依存しています。言語は柔軟ではあるものの、コミュニケーションの全領域を捉えるには不十分なことがよくあります。自然な相互作用において、人間は言語によるリクエストを具体化するために、視線や指差しジェスチャ、進行中の活動といった非言語信号を頻繁に利用します。言語のみに頼ることは、ユーザーに対して、詳細かつ冗長な記述（例：「緑色のレンチの左側にある、六角形の先端を持つ金属プロファイルを渡して」）を強いることになり、これは認知的な負担が大きく、不正確です。逆に、既存の非言語的アプローチは、モジュール化されたパイプラインを通じて処理される際、一時的または微弱な信号（例：短い視線）への対応に苦慮することがよくあります。核心となる課題は、リアルタイムで言語的および非言語的な信号の連続的なストリームを統合的に解釈し、意図を推論して自然にアクションを実行できるロボットフレームワークを開発することです。

手法：EDITHフレームワーク

著者らは、人間の第一人称視点（エゴセントリックなコンテキスト）、視線、および発話をロボットの制御ポリシーに統合するように設計されたロボットフレームワークであるEDITHを提案しています。このシステムは、主にハードウェア構成と階層的ポリシー・アーキテクチャの2つのコンポーネントで構成されています。

1. ハードウェアシステム
EDITHは、人間のユーザーが装着するProject Ariaグラスを利用しています。これらのグラスは以下をストリーミングします：

• エゴセントリック・コンテキスト ($C^{ego}_t$): 第一人称のRGB画像。
• 視線座標: ビデオフレーム上に投影されたリアルタイムの視線追跡データ。
• 音声: APIを介して言語指示（$\ell_t$）へと書き起こされた音声。
  これらの信号は、タイムスタンプを介してロボットの自己受容感覚状態およびカメラの観測（$o_t$）と同期され、整合性の取れたマルチモーダル・ストリームを形成します。

2. 階層的ポリシー・アーキテクチャ
人間からの信号の豊かさとノイズに対処するため、EDITHは高レベルプランナー（$\pi_h$）と低レベル実行器（$\pi_l$）からなり、非同期タスクキュー（$Q$）によって接続された階層的ポリシーを採用しています。

• 高レベル・ポリシー ($\pi_h$): ビジョン・ランゲージ・モデル（VLM）、具体的には Gemini-3.1-Flash-Lite を用いて実装されています。

  • 入力: 人間のエゴセントリック・コンテキストのスライディングウィンドウを処理します。入力は、視線マーカーがフレーム上にオーバーレイされ、音声が時間軸に沿ったキャプションとして追加されたビデオクリップとしてレンダリングされます。
  • 機能: $\pi_h$ は人間の意図を推論し、それを一連のサブタスクへと分解します。
  • 出力: 各サブタスクは、「詳細な指示」（例：「赤いハンドルのドライバーを手に取って」）と「キーフレーム」（$C^{key}$）のペアで構成されます。キーフレームとは、非言語信号（例：視線の固定や指差しジェスチャ）が最も明確に表現されている入力ストリーム内の特定のフレームを抽出したものです。これにより、言語だけでは解決できない曖昧さを解消し、意図を視覚的に接地（グラウンディング）させます。
  • メカニズム: サブタスクはタスクキュー $Q$ に追加されます。意図が検出されない場合、キューは変更されません。

• 低レベル・ポリシー ($\pi_l$): 事前学習済みのVision-Language-Action (VLA) モデル（$\pi0.5$）のファインチューニングによって実装されています。

  • 入力: ロボットの現在の観測（$o_t$）、キューの先頭にあるサブタスク指示、および関連するキーフレームを受け取ります。
  • 機能: $\pi_l$ は、低レベルのロボットアクション（$a_t$）と完了確率（$p_t$）を予測することで、サブタスクを実行します。
  • メカニズム: $p_t$ が閾値を超えると、サブタスクはキューから取り出され、次のサブタスクが実行されます。

3. 学習戦略

• データ収集: 人間のアクター（Ariaグラス着用）がロボットのテレオペレーターと相互作用するデモンストレーションを収集しました。テレオペレーターは、人間のマルチモーダルな信号に基づいてリクエストを遂行します。軌跡はサブタスクに分割され、詳細な指示、キーフレーム、および完了確率が付与されます。
• モダリティ・ドロップアウト: 低レベル・ポリシーが単一のモダリティ（例：テキストが十分であればキーフレームを無視するなど）に依存することを防ぐため、学習中にモダリティ・ドロップアウト戦略を採用しています。等確率で、(i) 両方のモダリティを保持する、(ii) 指示を未指定なバージョンに置き換える（キーフレームへの依存を強制する）、または (iii) キーフレームを空白画像に置き換える（指示への依存を強制する）、のいずれかを行います。

主な結果

著者らは、3つの困難なHRIタスク（マフィン・サービング、タンブラー・ソーティング、ツール・パッシング）においてEDITHを評価しました。すべてのタスクにおいて、言語指示は意図的に不足しており、ロボットが非言語的な手がかりを解釈する必要がありました。

• パフォーマンス: EDITHは平均 成功率 (SR) 59.7% および タスク進行度 (TP) 84.7% を達成しました。
• ベースラインとの比較:
  • 言語のみのベースライン（エンドツーエンドの $\pi^{lang}_l$ および階層的な $\pi^{lang}_h + \pi^{lang}_l$）は、平均SRが6.5%未満と低い性能でした。
  • キーフレーム・メカニズムを用いないエゴセントリック・コンテキストを用いたエンドツーエンド・ポリシー（$\pi^{ego+lang}_l$）は、一貫性のないパフォーマンスを示し、人間の注意が断続的なタスク（例：Tool-Passing）において大幅に失敗しました。
• アブレーション研究:
  • キーフレームを除去すると成功率が約50%低下し、VLMのハルシネーションや曖昧なフレーズを防ぐための視覚的グラウンディングの必要性が浮き彫りになりました。
  • エゴセントリック・コンテキストを除去（ロボット視点のキーフレームのみを使用）すると、視差の問題により約34%低下しました。これは、指差しジェスチャがロボットの視点からは曖昧でも、人間にとっては明確であることを示しています。
• 堅牢性: EDITHは、人間が注意を逸らしている（例：スマートフォンをチェックしている）場合でも性能を維持しましたが、エンドツーエンドのベースラインは著しく低下しました。
• ユーザー調査: 16名の参加者を対象とした調査では、EDITHは言語のみのベースラインと比較して、指示のワークロード（精神的負荷、努力、フラストレーション）を有意に減少させました（$p < 0.001$）。ユーザーは、詳細な言語的記述を行うよりも、簡潔な発話やジェスチャを通じて意図を伝える方がはるかに容易であると感じました。

意義と主張

本論文は、EDITHが、自然な人間とロボットの相互作用を可能にするために、非言語信号を言語指示と共に活用する有望な手法であることを示していると主張しています。主な貢献は以下の通りです：

1. エゴセントリック信号の統合: テキストのみのインターフェースの限界を超え、連続的な第一人称視点と視線を利用してロボットのアクションを接地することに成功しました。
2. 階層的設計: 意図の推論（高レベル）とアクションの実行（低レベル）を分離し、キーフレームを用いることで、モジュール化されたパイプラインやエンドツーエンドのモデルが苦戦するノイズの多い一時的な非言語信号を効果的に処理しています。
3. ユーザー負担の軽減: 自然な非言語的手がかりを利用できるようにすることで、システムはロボットとのコミュニケーションに必要な認知負荷を大幅に軽減します。

著者らは、ウィンドウベースの処理によるレイテンシや、学習データと著しく異なる身体的特徴（例：身長）を持つユーザーへの汎化性能の低下といった限界も認めており、多様なデータ収集やリアルタイム・ストリーミングVLMに関する今後の課題を示唆しています。