技術要約: RelAfford6D

問題提起

オープンワールドにおけるロボット操作は、根本的な「知覚と行動のギャップ（perception-action gap）」に直面しています。これは、高次元でマルチモーダルな観測から、精密で低レベルな物理制御コマンドへと変換することの困難さを指します。近年のデータ駆動型ポリシーや基盤モデルベースのパラダイムは、このギャップを埋めることを試みてきましたが、オブジェクト表現における決定的なボトルネックに突き当たっています。既存のアプローチは、孤立した接触点（例：2Dヒートマップ、疎な3Dキーポイント）や暗黙的なエネルギー場に依存することが多く、これらの表現には、複雑な可動オブジェクトを操作するために必要な、厳密かつ明示的な運動学的制約が欠けています。例えば、電子レンジの扉を開くことは、単にハンドルに手を伸ばすことではなく、扉と本体との間の剛体としての相対的な幾何学関係によって厳格に規定されています。現在の手法は、こうした連続的な相対幾何学をエンコードできないことが多く、その結果、運動学的違反（例：回転ドアを直線的に引いてしまうなど）を引き起こしたり、タスク固有の学習なしではオープンワールド設定での汎化性能が低下したりします。

手法

著者らは、Relational 6D Affordance Graph（関係的6Dアフォーダンス・グラフ）を中心とした、学習を必要としない新しいフレームワークであるRelAfford6Dを提案しています。このフレームワークは、抽象的な意味論的推論と物理的制御を、以下の3段階のパイプラインを通じて橋渡しします。

1. 意味論的トポロジー生成 (Semantic Topology Generation)

このモジュールは、自由形式の自然言語指示から、未知のオブジェクトの基礎となる運動学的連鎖（kinematic chain）を導出するという課題に対処します。

• 知識ベース: システムは、PartNet-Mobilityデータセットから派生した構造化された運動学的知識ベースを利用します。オブジェクトは、主要な相互作用パーツ ($s_p$) と物理的なアンカーパーツ ($s_a$) からなる関係ペアとして抽象化され、それらは運動学的制約タイプ（例：回転、スライド）によって結ばれます。
• 検索拡張推論 (Retrieval-Augmented Reasoning): 大規模言語モデル（LLM）は、検索拡張生成（RAG）によってガイドされます。システムは、ユーザーのクエリに基づいて知識ベースから関連する運動学的連鎖を検索し、それらを事前知識としてLLMに注入します。
• 出力: LLMは、相互作用するパーツと特定の幾何学的制約多様体（例：「rotate」は回転制約を意味する）を明示する、厳密な関係ノード・トポロジー $((s_p, s_a), a)$ を出力します。

2. メトリック視覚接地 (Metric Visual Grounding)

このモジュールは、抽象的なトポロジーノードを精密なメトリック SE(3) ポーズへと昇華させ、意味論と幾何学のギャップを埋めます。

• セグメンテーション: ビジョン基盤モデルである SAM3 を使用して、推論されたトポロジーに基づき、言語誘導型のセグメンテーションを行い、主要パーツおよびアンカーパーツの微細なバイナリマスクを生成します。
• ポーズ推定: マスクされたRGB-D領域は、カテゴリに依存しないポーズ推定器（FoundationPose）によって処理されます。このステップにより、抽象的なノードが、世界座標系における明示的な6Dポーズ ($T^*_P$ および $T^*_A$) としてインスタンス化されます。
• 結果: 出力されるのは、インスタンス化された空間グラフ $\Psi = \{(T^*_P, T^*_A)\}$ であり、これは物理的な実行に必要な正確な境界条件を提供します。これには、カテゴリ固有の学習済みモデルは不要です。

3. 制約駆動型運動学実行 (Constraint-Driven Kinematic Execution)

最終モジュールは、学習されたポリシーの代わりに幾何学的フィードバック制御を用いることで、行動の実行を連続的な SE(3) 運動学的制約充足問題として定式化します。

• 多様体の定義 (Manifold Definition): 意味論的トークン（例：「pull」、「rotate」）は、特定の幾何学的制約多様体 ($M_a$) のセレクターとして機能します。
  • 直進（Prismatic/Pull）: 運動は、アンカーに対して定義された軸に沿った1次元の並進に制限されます。
  • 回転（Revolute/Rotate）: 運動は、アンカーパーツに固定されたヒンジ軸の周囲の1次元の回転軌道に従います。
• 軌跡合成 (Trajectory Synthesis): システムは、これらの多様体を追跡することで、解析的に軌跡を合成します。グローバルプランナー（RRT-Connect）は、到達フェーズにおける障害物回避を処理し、ローカル実行フェーズは厳密に1次元の制約多様体に従います。
• クローズドループ再計画 (Closed-Loop Replanning): 動的な乱れに対する堅牢性を確保するため、システムはFoundationPoseを用いた5Hzのクローズドループ・トラッキング機構を採用しています。追跡されているアンカーのポーズが、幾何学的閾値を超えて計画状態から逸脱した場合、システムは即座にライブ座標を用いて多様体を再インスタンス化し、残りの軌跡を解析的に再合成します。

主な貢献

1. Relational 6D Affordance Graph: 操作を、孤立した接触点ではなく、パーツに条件付けられたSE(3)関係としてモデル化する、新しい中間表現。
2. 構造化されたパーツレベルの運動学オントロジー: 自然言語からゼロショットで意味論的トポロジー推論を可能にする、再利用可能な関係的事前知識をエンコードする手法。これにより、カテゴリ固有のテンプレートが不要になります。
3. クローズドループ制約最適化: 操作を、関係的なSE(3)制約多様体上の連続的な最適化問題として再定式化。これにより、学習によるエンドツーエンドのポリシーを、物理的に根ざした幾何学的フィードバック制御へと置き換えます。
4. 学習フリーの汎化: タスク固有の学習やデモンストレーションを必要とせず、シミュレーションおよび実世界の環境の両方において、堅牢なゼロショット性能を達成します。

実験結果

著者らは、2つの設定において、最新のベースライン（Where2act, FlowBot3D, ManipLLM, RoboMambaを含む）に対し、RelAfford6Dの評価を行いました。

• 可動オブジェクトの操作: 10種類の複雑な運動学的タスク（例：引き出しを開ける、ボトルに蓋をする）のベンチマークにおいて、学習フリーのRelAfford6Dは平均成功率 74% を達成しました。これは、10,000回の軌跡学習を必要としたすべてのデータ駆動型ベースラインを上回りました。著者らは、この要因を、SE(3)多様体制約を明示的に強制していることにあり、これにより、孤立した接触点を推論する手法でよく見られる運動学的違反を防いでいると説明しています。
• 剛体オブジェクトの操作: 古典的なタスク（キューブのピック、スタック、プッシュ）において、本手法は 100% の成功率を達成し、再学習なしで可動メカニズムを超えた剛体タスクへの汎化が可能であることを示しました。
• アブレーション研究: 運動学的知識の検索、ビジョン基盤モデルの置換、または動的な多様体再計画の無効化を行うと、成功率が35%から68.5%の間へと大幅に低下することを確認し、各コンポーネントの必要性を検証しました。

意義と主張

本論文は、RelAfford6Dが、ロボット操作における「表現力」と「運動学的物理制約」の間の緊張関係を根本的に解決すると主張しています。潜在的な特徴量を通じて「行動を学習する（learning to act）」というパラダイムから、明示的な幾何学的制約を通じて「行動を解く（solving to act）」というパラダイムへと移行することで、システムは以下を実現しています。

• 堅牢性: 連続的なクローズドループ再計画を通じた、動的な外部乱れに対する前例のない耐性。
• 汎化性能: タスク固有のデータなしに、多様なオブジェクトカテゴリおよびタスクタイプにわたる優れたゼロショット能力。
• 物理的妥当性: 可動オブジェクトの物理的なジョイント幾何学に厳密に従う、運動学的に有効な軌跡の生成。これは、データ駆動型のアプローチでは欠落しがちな能力です。

著者らは、本研究を、抽象的な意味論を厳密な物理制御に接地させることで、ロボットがオープンワールドのシナリオにおいて、物理的に多様で未知のオブジェクトと信頼性高く相互作用できるようにするためのステップとして位置づけています。