技術的サマリー：述語と動作の同時学習によるゼロショット技能合成の実現

1. 問題定義

デモンストレーションからの学習（LfD）は、ロボットが複雑な行動を獲得することを可能にしましたが、既存の生成視覚運動方策は、再学習なしに既知の技能の新しい組み合わせへの汎化に失敗することが多いです。現在のアプローチは、通常、動作軌道のみに対する分布をモデル化します。多モーダルな行動の捉え方には効果的ですが、これらのモデルは、動作によって引き起こされる記号的結果（状態変化）について推論する能力を欠いています。この制限は、分布のシフトが累積し、タスク変種の空間が組み合わせ的に増大する長 horizon タスクにおいて、ギャップを生み出します。

このギャップを埋めようとした先行研究は、しばしば構成要素を分離します：動作を生成するモデルと、観測から述語を分類する別のモデルを別々に訓練します。この分離は、操作動作とその記号的効果の間の緊密な結合を無視しています。その結果、予測された記号状態が実際の動作モードと整合しない推論時の不整合が生じ、頑健な計画ベースの合成を阻害します。

2. 手法：述語 - 動作技能（PACTS）

著者は、動作軌道（$x$）と述語信念軌道（$z$）に対する結合生成過程として技能をモデル化する、閉ループ視覚運動方策のクラスである**述語 - 動作技能（PACTS）**を提案します。

中核的な定式化

$p(x|o)$ と $p(z|o)$ を別々に学習する代わりに、PACTS は結合分布を学習します：
$$(x, z) \sim p_\theta(x, z | o)$$
ここで：

• $x$ は horizon $H$ における動作軌道です。
• $z$ は述語信念軌道であり、時間経過に伴う一連の述語 $J$ に対するソフトな真偽値（$[0, 1]$ の範囲の信頼スコア）のコンパクトな痕跡を表します。
• $o$ は現在の観測です。

この結合分布からサンプリングすることで、モデルは、特定の動作モードへのコミットメントが本質的に対応する記号的痕跡へのコミットメントを伴う、整合性のあるペアを生成します。

実装上のアーキテクチャ

• 結合変数：モデルは結合軌道変数 $y \triangleq [x | z]$ を定義し、単一の条件付き生成モデル $p_\theta(y | o)$ を学習します。
• 目的関数：このフレームワークは、**デノイジング拡散確率モデル（DDPM）と条件付きフローマッチング（CFM）**の両方をサポートします。
  • DDPM：結合変数 $y$ をデノイズするノイズ予測ネットワーク $\epsilon_\theta$ を訓練します。
  • CFM：最適輸送経路に沿ってノイズをデータへ輸送するベクトル場 $v_\theta$ を訓練します。
• バックボーン：軌道生成器は、時間的なUNet（1 次元畳み込み）またはTransformer（時間ステップ間の自己注意）のいずれかでインスタンス化できます。
• 実行：PACTS は、縮小 horizon 方式で動作します。各制御サイクルにおいて、現在の観測を条件とし、結合ロールアウト $(x, z)$ をサンプリングし、動作のプレフィックスを実行し、再サンプリングします。

計画ベースの合成

生成された述語信念軌道 $z$ は、計画のためのオンライン記号インターフェースとして機能します。

1. 状態推定：$z$ 内の連続的な信念値は、閾値処理（例：$>0.5$）され、離散的な述語状態 $\hat{p}_t$ を生成します。
2. 計画ループ：市販の PDDL プランナーは、これらの予測された状態を使用して以下を行います：
   • 事前条件と効果をチェックする。
   • 目標を達成するために技能を順序立てる。
   • 技能の予測された効果が違反された場合（例：環境の擾乱による）、再計画をトリガーする。
     これにより、ゼロショット合成が可能となり、ロボットは再学習なしに学習した技能を順序立てて、新しい目標を達成できます。

データツール

実世界への展開を容易にするため、著者は技能セグメンテーションおよびラベリングツールキットを導入します。このツールは、モノリシックなデモンストレーションデータセット（例：LeRobot 形式）を、以下によって技能中心のデータセットに変換します：

• 疎なキーフレームにグラウンディングされた述語を注釈する。
• これらを密な時刻ごとのラベルに補間する。
• 目標達成の述語構成に基づき、エピソードを連続した技能ごとの軌道にセグメント化する。

3. 主要な貢献

本論文は、3 つの主要な貢献を行います：

1. 結合生成定式化：動作軌道と述語痕跡を結合生成過程として扱う技能モデルであり、単一モデル内で整合性のある動作 - 結果ロールアウトを生成します。
2. 計画ベースの合成：述語信念痕跡をオンラインインターフェースとして使用して技能を順序立て、監視する手法であり、市販のプランナーによるゼロショット合成を可能にします。
3. オープンソースツールキット：モノリシックなデモンストレーションを、結合 $(x, z)$ 学習に適したデータセットに変換するセグメンテーションおよびラベリングツールキットです。

4. 実験結果

著者は、PACTS を 2 次元合成ベンチマーク（PushBarrier）、2 つの 3 次元 RoboMimic タスク（Kitchen およびコーヒー調製）、および実世界の立方体パッキングタスクで評価しました。

単一方策のパフォーマンス

• 動作品質：2 次元 PushBarrier 環境において、PACTS は、様々なバックボーン（UNet/Transformer）および目的関数（DDPM/CFM） across で、完璧またはほぼ完璧なタスク報酬（最大報酬 $\approx 1.0$）を達成し、動作のみのベースラインを上回るか同等の性能を示しました。3 次元タスクにおいても、PACTS は動作のみの方策と競争力があり、結果のモデル化を追加しても制御性能が劣化しないことを示しました。
• 述語予測：PACTS は、述語分類（F1、Recall、Precision、Accuracy）において一貫してベースラインを上回りました。特に、共有エンコーダを持つが別々のヘッドを持つマルチタスクベースラインを上回りました。これは、単純なパラメータ共有よりも、結合サンプリングがより強力な帰納的バイアスを提供することを示唆しています。

整合性と合成

• 述語 - 動作整合性：実験により、PACTS の予測された信念ロールアウトが、生成された動作を実行して実現された実際の結果と密接に一致していることが示されました（低いクロスブライアスコアおよびクロス NLL スコア）。これにより、記号的痕跡は事前分布ではなく、動作依存のものであることが確認されました。
• ゼロショット合成：シミュレーションおよび実世界の環境において、システムは学習したサブ技能を合成して、エンドツーエンドでデモンストレーションされなかった新しい目標（例：特定の色の立方体のみをパッキングする）を達成することに成功しました。
• 敵対的回復：システムは、述語インターフェースを介して技能の効果が違反された場合（例：実行中にドアが閉まる）を検出する能力を示し、タスクを完了するために回復する再計画をトリガーしました。

5. 意義と主張

本論文は、現在の技能学習における根本的な制限は、動作とその記号的結果の分離にあると主張します。技能を結合動作 - 結果ロールアウトとしてモデル化することで、PACTS は方策の行動と本質的に整合する「プランナー整合型」インターフェースを提供します。

著者は、このアプローチが以下を可能にすると主張します：

• 頑健な汎化：再学習なしに、未見のタスク合成に対して技能を順序立てる能力。
• 信頼性の高い監視：実行の進捗を確認し、失敗を検出することを可能にするオンライン記号インターフェース。
• 帰納的バイアス：結合分布を学習することは、方策が動作モードと記号的遷移の間の特定の関係を表現することを促し、制御と予測の両方を改善します。

本論文は、性能が述語セットの品質に依存し、現在のアプローチは手動で定義された記号ドメインを前提としていることを認めつつ、控えめに結論付けています。しかし、動作と結果の結合モデル化は、スケーラブルで信頼性が高く、合成可能なロボット技能に向けた必要な一歩であると提唱しています。