Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

技術要約：ロボット操作計画のための効果予測を通じた物体および行動シンボルの共同発見

問題提起
自律ロボットは、長期間の操作タスクにおいて、高次元かつ連続的なセンソリモーター空間を推論するという根本的な課題に直面している。効果的なプランニングには、連続的な知覚と行動を離散的な表現へと抽象化する必要がある。従来のアプローチには限界がある。視覚ベースの分類は、見た目は似ているが挙動が異なる物体を区別できない。一方で、相互作用ベースの手法は、定義済みの行動に依存するか、あるいは軌道の時間的構造を無視することが多い。さらに、既存の数ショット（few-shot）汎化手法は、通常、静的な幾何学的または視覚的な類似性に依存しており、未知の物体を扱う上で極めて重要な物理的な相互作用のダイナミクス（アフォーダンス）を捉えることができていない。本研究が取り組む核心的な問題は、精密な多段階プランニングと未知の物体への堅牢な汎化を実現するために、連続的なランダム相互作用データから、いかにして高レベルの物体および行動シンボルを自律的に発見するかである。

手法
著者らは、マルチモーダルな効果予測に基づいて最適化された、2段階の学習プロセスを通じて物体および行動シンボルを共同で発見するニューロ・シンボリック・フレームワークを提案している。

1. アーキテクチャとシンボル発見:

   • システムは、バイナリ・ボトルネック層を備えたエンコーダ・デコーダ・ネットワークを採用している。
   • 物体エンコーダ ($\phi_o$): 畳み込みニューラルネットワークを用い、物体の深度画像をバイナリ・シンボル ($z_o$) にマッピングする。
   • 行動エンコーダ ($\phi_a$): トランスフォーマー・アーキテクチャを用い、関節角の軌道をバイナリ・シンボル ($z_a$) にマッピングし、時間的構造を捉える。
   • バイナリ活性化: 両エンコーダは、再パラメータ化トリックを通じて学習中に勾配を通過させるために、Gumbel-Sigmoid (GS) 活性化関数を使用して離散的なバイナリ・ベクトルを生成する。
   • デコーダ ($\psi$): 連結された物体および行動シンボルから、マルチモーダルな効果軌道（物体の位置、力ベクトル、および接触フィードバック）を予測する。

2. 2段階の学習手順:

   • ステージ1: モデルは、完全な物体のビットと行動ビットのサブセットを用いて、力と接触フィードバックの効果のみを予測する。このステージでは、乳幼児の初期のセンソリモーター発達を模倣し、触覚フィードバックに基づいて粗い高レベルのプリミティブ（例：プッシュ vs ピック・アンド・プレース）を学習する。
   • ステージ2: モデルは、すべてのシンボル・ビットを使用して、空間的な位置変化を含む全効果軌道を予測する。このステージでは、方向の変化（例：左へのプッシュ vs 右へのプッシュ）を捉えるために、行動シンボルを精緻化する。

3. プランニング・フレームワーク:

   • 学習されたモデルから、(物体シンボル, 行動シンボル, タイムステップ) のタプルを予測される位置効果にマッピングする離散効果ライブラリを構築する。
   • A*探索: プランニングは、このライブラリ上でのA*探索によって行われる。このアルゴリズムは、予測された軌道の中間タイムステップを個別の到達可能状態として利用する**部分的行動実行（partial action execution）**を活用しており、これにより精密な低レベル制御が可能となる。
   • 実行: シンボル・プランは、シンボル条件付き低レベルコントローラ（Conditional Neural Movement Primitives, CNMP）を用いて、実行可能な関節角軌道へと変換される。
   • ドリフト検証: 実際の物体位置が予測位置から閾値を超えて逸脱した場合、再プランニング・メカニズムがトリガーされ、実行の整合性が確保される。

4. 数ショット汎化（Few-Shot Generalization）:

   • 未知の物体は、視覚的な外観ではなく、行動的類似性によって分類される。
   • システムは、新しい物体に対して少数のランダムなデモンストレーションを収集し、行動シンボルを抽出し、候補となる物体シンボルに対する効果を予測する。
   • デモンストレーション全体を通じて平均予測誤差が最も低い物体シンボルが、その未知の物体に割り当てられ、再学習なしでのプランニングを可能にする。

主な貢献

• 共同シンボル発見: マルチモーダル（空間・触覚）な効果軌道予測に基づいて最適化された、2段階の学習プロセスを通じて物体および行動シンボルを共同で発見する、バイナリ・ボトルネックを備えたディープ・エンコーダ・デコーダ・ネットワーク。
• 部分的実行を伴う離散プランニング: 離散効果ライブラリを構築し、精密な制御のために中間軌道点を用いてA*探索を実行するプランニング・フレームワーク。これは、シンボル条件付き低レベルコントローラとドリフトに基づく再プランニングと組み合わされている。
• 効果駆動型の数ショット汎化: 幾何学的または視覚的な類似性ではなく、行動的類似性（効果マッチング）に基づいて未知の物体を分類する手法であり、最小限のデモンストレーションで未知の物体に対する操作プランニングを可能にする。

実験結果
実験は、PyBulletシミュレーション環境において、UR10eマニピュレータと5種類の物体タイプ（Ball, Cube, Block X, Y, Z）を用いて行われた。本フレームワークは、2つのタスク（テーブルトップ再配置：タスク1、およびスタッキング：タスク2）について、Diffusion Policyのベースラインと比較評価された。

• 効果予測: 提案された2段階のトランスフォーマー・ベースのアーキテクチャは、単一ステージ学習（1.77 cm）や全結合ベースライン（1.82 cm）と比較して、有意に低い位置予測誤差（1.70 cm）を達成した。
• プランニング性能（既知の物体）: 提案手法は、両方のタスクにおいてDiffusion Policyベースラインを大幅に上回った。タスク1では、すべての物体タイプにおいて、より低いユークリッド距離誤差を達成した（例：Cubeにおいて4.49 cm vs 5.09 cm）。タスク2（スタッキング）では、把握のアフォーダンスと中間状態を学習できる能力により、有意に高い成功率を達成した（例：Block Zにおいて69.67% vs 18.33%）。
• 数ショット汎化（未知の物体）: 5種類の未知の物体（Torus, T-Block, Cylinder, U-Block, Wide Block）に対し、それぞれ3回のデモンストレーションのみを用いたテストにおいて、効果駆動型のアプローチは、Diffusion Policyおよび視覚ベースのエンコーディング・ベースラインを大幅に上回った。特筆すべきは、視覚ベースのベースラインが物体を誤分類した（例：TorusをBallと分類）のに対し、効果ベースの手法は行動的類似性（例：プッシュ効果においてTorusがCubeのように振る舞うこと）を正しく特定し、優れたプランニング成功率をもたらした。

意義と主張
本論文は、未知のシナリオを効果的に扱うためには、エージェントは相互作用を通じて表現を発見しなければならないと主張している。本研究の意義は、以下のことを示した点にある：

1. 外観よりも相互作用: 物体と行動を、マルチモーダルな相互作用の効果（力、接触、運動）に基づいて分類することは、視覚ベースの手法よりもプランニングにおいて優れており、特に外見は似ているが物理的ダイナミクスが異なる物体を区別する際に有効である。
2. 時間的構造: 最終的な結果だけでなく、相互作用の完全な時間的ダイナミクスを捉えることで、中間軌道点を用いた精密なプランニングが可能になる。
3. 効率的な汎化: 行動的類似性マッチングは、幾何学的または視覚的な類似性に依存する手法よりも、未知の物体に対する堅牢な数ショット汎化を可能にする。

著者らは、単一物体のアフォーダンスへの焦点、ドリフトに基づく再プランニングの反応的な性質（実行後に発生する）、およびPDDLソルバーと比較したA*の計算効率など、限界についても認めている。これらについては、物体間の関係的シンボル、実行前検証、およびPDDL互換のシンボリック・オペレータ生成に関する今後の研究を示唆している。