技術要約：身体化された操作のためのグラウンデッド・シーングラフ推論 (GSR)

問題提起

急速な進展にもかかわらず、ロボットエージェントは、空間的一貫性、因果関係、および目標制約の維持を必要とする長期的な操作タスクにおいて依然として苦戦している。現在の手法、特にエンドツーエンドのVision-Language-Action (VLA) モデルは、高次元の潜在表現の中にタスクの論理を暗黙的に埋め込むことが多い。この設計は、タスクの論理と知覚的な変動性（例：物体の外観）を絡み合わせてしまうため、モデルを環境の変化に対して過度に敏感にし、新しいタスクやドメイン外の設定への汎化能力を制限してしまう。一方、古典的なタスク・アンド・モーション・プランニング (TAMP) フレームワークは構造化された解決策を提供するが、通常、定義済みの記号的表現に依存しており、オープンエンドで変動性の高い環境へのスケーラビリティに欠ける。本研究が取り組む核心的な課題は、いかにしてスケーラビリティを損なうことなく、構造化された中間表現を活用して、一般的な操作タスクのための推論能力を強化できるかである。

手法

1. グラウンデッド・シーングラフ推論 (GSR) フレームワーク

GSRは、直接的な「知覚から行動へのマッピング」から、「意味的にグラウンデッドされたシーングラフ上での明示的な推論」へのパラダイムシフトを提案する。

• 世界表現: 生のRGB-D入力の代わりに、システムは3Dシーングラフ $M_{sg} = (O_t, E_t)$ を構築する。ここで $O_t$ は物体（機能的なキーポイントと関節コンポーネントを持つものとしてモデル化される）を表し、$E_t$ は空間関係（例：on, inside, adjacent）をエンコードする。
• アーキテクチャ: GSRは、推論エンジンとして微調整された大規模言語モデル (Qwen3-8B) を利用する。これは、シーングラフを生成するための知覚フロントエンド（Vision Foundation Model）と、低レベル制御を実行するためのアクションエキスパート・バックエンド（幾何学的ファブリックに基づくメタスキル・ライブラリ）と統合されている。
• 推論プロセス: モデルは、潜在的な潜在表現に頼るのではなく、物理的にグラウンデッドされた空間内で、物体の状態と空間関係についてステップごとに推論を行い、行動の前件条件、結果、および目標の充足を推論する。

2. Manip-Cognition-1.6M データセット

このような構造化された推論の学習をサポートするために、著者らは、世界の理解、行動計画、および目標解釈を共同で監督する160万サンプルからなる大規模なデータセットを構築した。データエンジンは、生の視覚デモンストレーションを構造化されたタスク・トラジェトリへと処理し、以下の3つのコアコンポーネントを含む。

• 世界の理解 (15k サンプル): 視覚的な観察を意味的にグラウンデッドされたシーングラフへと抽象化するようにモデルを訓練する (Text $\to$ SG ペア)。これにより、知覚と記号的推論を橋渡しする。
• 行動計画 (1.3M サンプル): 推論を以下の3つのタスクに分解する：
  • 順方向行動推論 (Forward Action Reasoning): 状態遷移を繋ぐための多段階の行動シーケンスを推論する。
  • 世界モデリング (World Modeling): 特定の行動による環境の変化 ($\Delta SG_{edge}$) を予測する。
  • 目標条件付きプランニング (Goal-conditioned Planning): 現在の状態とテキストによる目標が与えられた際に、次の記号的な行動を予測する。
• 目標解釈 (288k サンプル): 「長期的な目標の夢想 (long-horizon goal dreaming)」に焦点を当て、現在の状態と自然言語の指示から、最終的な環境構成 ($SG_{goal}$) を予測する。

3. 学習戦略

GSRモデルは2段階で訓練される：

• ステージ1 (教師あり微調整 - SFT): Qwen3-8B アーキテクチャに対して Low-Rank Adaptation (LoRA) を使用し、構造化された推論と行動コマンドを学習させる。
• ステージ2 (強化学習による微調整 - RFT): Group Relative Policy Optimization (GRPO) を採用し、モデルを物理的な実行制約に適合させる。報酬関数は、以下の3つの失敗モードを対象とする：
  • ステップ単位の制約報酬 (Step-wise Constraint Reward): 単一の出力内に複数の行動を生成することを禁止し、厳密なステップ・バイ・ステップの生成を強制する。
  • シーングラフ・グラウンディング報酬 (Scene-Graph Grounding Reward): 予測されたオブジェクト識別子が現在のシーングラフ内に存在することを保証することで、物体の幻覚（ハルシネーション）を防ぐ。
  • 終了報酬 (Termination Reward): 正しいタスク完了と、不適切な終了または無限ループを区別する。

主な貢献

1. GSRフレームワーク: 意味的にグラウンデッドされたシーングラフ上の遷移として、世界の状態進化を明示的にモデル化する構造化推論パラダイムの導入。これにより、高レベルの概念的推論と低レベルの実行を分離する。
2. Manip-Cognition-1.6M: 多様な操作スキルにおける世界の理解、意図の解釈、および行動計画の共同的な監督を提供する大規模データセット。
3. 明示的な帰納バイアス: 明示的な世界状態表現が、スケーラブルな身体化された推論のための重要な帰納バイアスとして機能し、ゼロショット汎化と長期的なタスク完了を向上させることを実証した。

実験結果

RLBench、LIBERO、カスタムGSRベンチマーク、および実世界のロボットタスクを用いて広範な評価が行われた。

• ゼロショット汎化: RLBench および LIBERO ベンチマークにおいて、GSR (8B) は、様々なカテゴリ（キッチン操作、ピック・アンド・プレース、スタッキングなど）において、プロンプティングベースのベースライン（GPT-5、Gemini-2.5-Pro、DeepSeek-V3 を含む）を大幅に上回った。例えば、RLBench の Stacking および Assembly において、GSR は 41.2% の成功率を達成したが、GPT-5 は 15.0% であった。
• 長期的な推論: GSRベンチマーク（180タスク、平均ホライゾン >10 ステップ）において、GSR は、意味的な物体の曖昧さ回避、空間を意識したシーケンシング、および目標条件付き汎化において、SOTA（最先端）の性能を達成した。
• 堅牢性: GSR は知覚ノイズに対する堅牢性を示した。シーングラフに 5% のノイズを注入しても、タスク進行度 (TP) の低下はわずかであった。目標条件付きタスクはより高い感度を示したが、ベースラインと比較して安定していた。
• 実世界への展開: 本フレームワークは、Tianji Marvin-6 7自由度デュアルアームロボットに正常にデプロイされ、ピック・アンド・プレース、ソーティング、および日常生活タスクにおける能力を実証した。

意義と主張

本論文は、明示的な世界状態表現が、スケーラブルな身体化された推論のための重要な帰納バイアスであると主張している。タスク構造と知覚的変動性を混同する暗黙的な潜在表現から脱却することで、GSRはエージェントが行動の前件条件と結果について、合理的かつステップごとの推論を行うことを可能にする。著者らは、このアプローチにより、シーケンス化された行動の柔軟な構成と、タスクを横断した堅牢な適応が可能になると考えている。これは、構造的事前知識を欠くエンドツーエンドのVLAモデルと、オープンエンドな環境へのスケーラビリティを欠く古典的なTAMPフレームワークの両方の限界に対処するものである。本研究は、意思決定を明示的で構造化された表現に接地させることが、オープンワールドの身体化された設定において、より体系的な汎化と持続的な推論をサポートすることを強調している。

限界

著者らは現在の限界を認めている：

1. 本フレームワークは定義済みの行動プリミティブに依存しており、これが長期的なタスクにおける連続するステップ間の柔軟な行動生成や適応を制約する可能性がある。
2. シーングラフを構築するために使用される視覚表現は、微細な幾何学、微妙な物体の状態、およびニュアンスのある物理的特性を捉える能力に限界があり、視覚的に複雑または混雑した環境において精度に影響を与える可能性がある。