GraphPoint: Semantic Entity Graphs and Point Trajectories for Compositional Robot Manipulation

技術要約：GraphPoint

問題提起
ロボットの操作ポリシーは、たとえ新しい指示が既知の物体や動作を含むものであっても、特定の訓練デモンストレーションを超えて汎化することに失敗することがよくあります。言語と視覚的シーンが訓練中に強く相関している場合、ポリシーは要求された動作に応答するのではなく、固定された視覚・動作のマッピング（ショートカット）を学習してしまう傾向があります。この限界は、以下の2つの形式の構成的汎化として現れます：

1. サブタスク内汎化： 単一の原子的な相互作用の中で、既知のセマンティックな要素（エンティティ、アクションタイプ、修飾語）を新しい方法で再結合する能力。
2. サブタスク間汎化： 明示的なシーケンスレベルのデモンストレーションなしに、学習済みの原子的なサブタスクを再利用して、未知の長期的（ロングホライゾン）な指示を実行する能力。

画像ベース、シーンポイント、およびエンティティポイントのポリシーを含む既存のアプローチは、デモンストレーションされたタスクに対する性能は向上しますが、既知のエンティティが新しいアクション修飾語やアクションタイプと組み合わされた場合や、サブタスク間の遷移を動的に管理する必要がある場合に苦戦します。

手法：GraphPoint
著者らは、セマンティックなエンティティグラフと幾何学的制御を接続するフレームワークであるGraphPointを提案しています。核心となるアイデアは、現在の操作状態をセマンティックなエンティティグラフとして表現することで、指示された関係性を、暗黙的な視覚的相関に頼るのではなく、明示的にすることです。

• タスクからグラフへの構築： 大規模言語モデル（LLM）が自然言語による指示を解析し、順序付けられたサブタスクグラフへと変換します。各サブタスクは、アクター（Actor: A）、ペイシェント（Patient: P）、ターゲット（Target: T）というセマンティックな役割を定義します。これらの役割は学習された埋め込みによって表現されます。アクションタイプと修飾語は、凍結された言語エンコーダー（BGE）を使用してエンコードされ、ポリシーを条件付けるために投影されます。
• グラウンデッド・ポイント・エンティティ： 視覚的なローカライゼーション（VLMを使用）と時間的なトラッキング（SAM 2を使用）により、タスクに関連する物体を特定します。これらは、現在のツールセンターポイント（TCP）に対する相対的な疎な3Dポイントクラウド（エンティティあたり32点）として表現されます。アクター（グリッパー）は6つの幾何学的なキーポイントによって表現されます。
• 役割構造化エンティティグラフエンコーダー： エンコーダーは、共有MLPを用いてエンティティのポイントを処理し、ローカルエンコーディング（各エンティティ内）とグローバルな相互作用（エンティティ間）を交互に行います。
  • 相対座標： すべてのポイントはTCPに対して相対的に表現されており、絶対的なシーン配置への依存を軽減しています。
  • 条件付きアテンション： グローバルなアテンションメカニズムは、アクションタイプと修飾語によって条件付けられたエンティティの要約間で情報を交換します。ここでは、特定の「ペイシェントを介した」相互作用チェーン（$A \leftrightarrow P \leftrightarrow T$）が強制され、操作対象の物体を通じた相互作用を促すために、アクターとターゲット間の直接的なアテンションがマスクされます。
  • 役割認識ポイント崩壊（Role-Aware Point Collapse: RPC）： 訓練中、ペイシェントまたはターゲットのポイントセットは、形状に基づいたショートカットへの依存を防ぐために、その重心へとランダムに崩壊（collapse）させられ、これによりセマンティックな条件への依存を強制します。
• ポイント・トラジェトリ・フロー・ポリシー： ポリシーは、条件付きフローマッチングを用いて、将来のグリッパーのポイント軌跡（10ステップ）とグリッパーのコマンドを予測します。軌跡はTCP相対フレームで予測されます。実行可能なポーズは、予測されたキーポイントをロボットの幾何学構造に最小二乗法による剛体整合させることで回収されます。
• 長期的構成： プログレスヘッドが、ペイシェントとターゲットの関係に基づいてサブタスクの完了度を推定します。これにより、「セルフスイッチング（Self-Switching: SS）」が可能になります。これは、外部信号ではなく予測された進捗に基づいてシステムが次のサブタスクへ進むことを可能にし、単一の原子的なポリシーを一連のシーケンス全体で再利用することを可能にします。

ベンチマーク：CoMani
これらの能力を厳密に評価するために、著者らは制御された分割を持つベンチマークであるCoManiを導入しています。

• CoMani-Mod： 固定されたアクションタイプを用いて、修飾語の汎化（例：「～の上」対「～の右」）をテストします。視覚的なショートカットによる失敗ではないことを保証するため、一致した初期シーンを使用します。
• CoMani-Act： 固定された修飾語を用いて、アクションタイプの汎化（例：「置く」対「掃く」対「回転させる」）をテストします。ロボットが単に目標地点に到達するのではなく、指示されたアクションを実行していることを確認するために、アクション一貫成功率（ACSR）を評価します。
• CoMani-Seq： シーケンスレベルの訓練データなしに、原子的なサブタスクを3ステップの指示へと連鎖させることで、逐次的な構成をテストします。

主要な結果
CoManiにおける実験により、GraphPointが多様なベースライン（ACT、Diffusion Policy、DP3、Point Policy、CbFを含む）を凌駕することが示されました。

• 修飾語の汎化： GraphPointは平均成功率（SR）96.4%（未知のタスクにおいて80.0%）を達成し、未知の修飾語に対して失敗することが多いベースラインを大幅に上回りました。
• アクションの汎化： GraphPointは、未知のアクションに対する最高のアクション一貫成功率（ACSR）を達成しました。これには、他の手法が完全に失敗した新しいエンティティ（クリームチーズ）への「回転（rotate）」アクションの転移も含まれます。
• 逐次的構成： GraphPointは、未知の3ステップのシーケンスを実行できる唯一の手法です。環境スイッチング（ES）を使用した場合、最初の2つのサブタスクに対して82.5%のSRを達成し、全シーケンスに対して50.8%を達成しました。セルフスイッチング（SS）を使用した場合、95.0%の SR2 および 67.5%の SR3 を達成しました。ベースラインは、最初の2ステップすら完了できないことがほとんどでした。
• アブレーション研究： 役割認識ポイント崩壊（RPC）を削除するか、絶対座標を使用した場合は、未知のデータに対する性能が劇的に低下し、セマンティックな正規化と相対フレームの必要性が確認されました。言語条件付けを削除すると、未知のデータに対する成功率は80%から8.3%に低下しました。

意義と主張
本論文は、GraphPointが原子レベルおよびシーケンスレベルの両方において、指示依存の汎化を成功裏に解決したと主張しています。ポリシーをセマンティックな役割に基づいて明示的に構造化し、言語から導出された修飾語やアクションタイプによって条件付けることにより、標準的な模倣学習を悩ませる視覚的なショートカットを回避しています。セマンティックなエンティティグラフの使用により、ロボットは指示に基づいて同じ視覚的シーンを異なる形で解釈することが可能になり、予測された進捗メカニズムにより、学習されたスキルを複雑な未知のタスクへと構成することが可能になります。著者らは、現在の限界は、フロントエンドの知覚（パース、ローカライゼーション、セグメンテーション）および深刻な遮蔽にあり、これらが追跡されているエンティティのポイントを中断させる可能性があると述べています。