技術概要：UNCOM – テーブルトップシナリオ向けゼロショット文脈認識コマンド理解

問題定義

現在の家庭用サービスロボットは、非専門家ユーザーとのシームレスで汎用的な相互作用の能力を欠いていることが多い。従来のロボットは単一のタスク（例：掃除）を実行するが、シームレスな人間 - ロボット相互作用（HRI）には、自然言語とジェスチャの手がかりを組み合わせた豊かなマルチモーダルな人間のコミュニケーションを理解する必要がある。既存の解決策は、主に 2 つのボトルネックに直面している：

1. 単一構造のエンドツーエンドモデル：ビジョン - ランゲージ - アクション（VLA）アーキテクチャは、入力から制御への直接マッピングを提供するが、高い計算オーバーヘッド、「ブラックボックス」的な意思決定、および説明可能性の欠如という問題を抱えている。
2. モジュール型記号フレームワーク：透明性はあるものの、これらは閉じた語彙の物体検出器や手書きのセマンティックグラフに依存することが多く、現実の家庭環境に見られる多様で非構造化された物体への一般化能力が制限されている。

さらに、従来のシステムは自然言語の曖昧さ（例：「これ」や「あれ」といった指示代名詞）に苦しみ、タスク固有の膨大なトレーニングデータや事前に定義された物体モデルを必要とする。

手法

本論文は、テーブルトップシナリオにおけるゼロショット動作向けに設計された新しいハイブリッドフレームワーク「UNCOM（UNderstanding COMmands）」を提示する。UNCOM は、音声、ジェスチャ、およびシーン文脈を統合し、タスク固有のトレーニングデータや事前に定義された物体モデルに依存することなく、構造化された実行可能な指示を抽出する。

システムアーキテクチャ

このシステムは、複雑なサブタスクには基盤深層学習モデルを、ジェスチャ検出には単一の専門モデルを活用する Python 製のモジュール型パイプラインを採用している：

• 音声転写：自動音声認識（ASR）にWhisper-large-v3-turboを使用。
• コマンド理解：転写されたテキストを構造化されたセマンティック要素（物体、動作、対象）に解析するために**Phi-4 (mini-instruct)**を使用。具体的な実体と指示代名詞（例：「これ」、「あれ」）を区別する。
• ジェスチャ検出：MediaPipe Hand Landmarkerを使用して指差しジェスチャを検出。システムは人差し指の基部から先端へのベクトルを指差しベクトルとして定義し、z 座標を使用してアクティブな手を判定する。
• 物体検出とセグメンテーション：
  • GroundingDINO (tiny)：名前で物体を識別するか、複数の物体が記述に一致する場合の曖昧さを解消するために使用されるオープン語彙検出器。
  • Segment Anything Model (SAM)：対象物体および対象位置の正確なピクセル領域をセグメンテーションするために使用される。
  • DINOv2：シーン理解を支援するために深度推定および一般的な物体検出に使用される。
• 空間推論：
  • 相対的な対象（例：「リンゴの隣」）の場合、システムはテーブルをセグメンテーションし、ボロノイ図を適用して空間をセルに分割し、占有マップを生成する。その後、空間記述子に対応する占有されていないセルを選択する。
  • 指示代名詞的な対象（指差しのみ）の場合、コンテナの検出を試みる。見つからない場合は、最も近い空のボロノイセルを選択する。

実行

出力は、ピクセルレベルのセグメンテーションと 3 次元座標を備えた構造化された表現（物体 - 動作 - 対象）である。このデータは、タスク実行サブシステム（TIAGo および TIAGo++ ロボット上で**MoveIt!**を使用して実証）に渡され、ピックアンドプレース操作を実行する。システムは物体の 6DoF ポーズを計算し、未知の物体については重心推定にフォールバックするが、複雑な形状には限界があることに言及している。

主な貢献

1. ゼロショットハイブリッドアーキテクチャ：家庭用データセットでの微調整なしにマルチモーダルコマンドを解釈するために、基盤モデル（Phi-4、GroundingDINO、DINOv2）と専門的なジェスチャモデル（MediaPipe）を組み合わせたフレームワーク。
2. 解釈可能性とモジュール性：単一構造の VLA モデルとは異なり、UNCOM はコマンドを明示的に構造化された表現に解析し、透明性を高め、記号的ロボットフレームワークとの統合を可能にする。
3. 堅牢な曖昧さ解消：システムは、言語指示と指差しジェスチャおよび空間推論（ボロノイ分割）を融合させることで曖昧さを効果的に解消し、多様な指差しスタイルや物体参照をサポートする。
4. ベンチマークデータセット：著者は、物体参照、妨害物、雑然さ、および対象タイプ（絶対的対相対的）のバリエーションを網羅する、22 のテーブルトップシナリオにわたる 159 個のビデオを含むデータセットを公開した。

結果

このシステムは、人間 - ロボット相互作用シナリオの現実世界のデータセットで評価された：

• 成功率：UNCOM は、人間の指導者が意図した物体、動作、および対象を正しく識別する成功率82.39%（159 事例中 131 事例）を達成した。
• ロボット実証：このシステムは、妨害物、複数の類似物体、および指示代名詞的参照を含む 6 つの特定のシナリオにわたるピックアンドプレースタスクのために、TIAGo および TIAGo++ ロボット上で正常に展開された。
• エラー分析：主なボトルネックは手続き的ロジックではなく、基盤深層学習コンポーネントに特定された：
  • MediaPipe：モーションブラーに非常に敏感であり、手の検出見逃しを引き起こす。
  • Whisper：非ネイティブ英語話者との間で、特に「bowl（ボウル）」と「ball（ボール）」の混同など、転写エラーが時折発生する。
  • ビジョンモデル：GroundingDINO、SAM、DINOv2 は堅牢な性能を示し、エラーは文脈の手がかりを通じて修正可能な場合が多かった。

意義

本論文は、UNCOM が基盤モデルの柔軟性と記号フレームワークの説明可能性の間のギャップを埋める、モジュール型でゼロショットのアプローチの有効性を示していると主張している。コマンド理解と実行を分離することで、このシステムは再トレーニングなしに異なるロボット実装や環境への適応を可能にする。著者は、現在の性能は市販の深層学習モデルの堅牢性によって制限されているが、このアーキテクチャはスケーラブルな基盤を提供すると強調している。今後の研究は、ノイズに対するモデルの堅牢性の向上、言語サポートの拡大、およびロボットがユーザーと対話して明確化を図るための曖昧さ解消ルーチンの統合に焦点を当てている。