技術要約: BooST – 効率的なスキル転移のための意味論と動作の架け橋

問題提起

本論文は、ロボット学習における効率的なスキル転移という課題に取り組んでいる。スキルの抽象化（再利用可能で時間的に拡張された振る舞いの学習）は、汎用的なエージェントへの有望な道筋を示すが、既存の手法は、実世界へのデプロイメントに不可欠な3つの要件、すなわち汎用性（Generalization）、堅牢性（Robustness）、**効率性（Efficiency）**を同時に満たすことに苦慮している。

従来のアプローチは、通常、スキルのうち一つの側面のみを捉えている：

• 低レベルな手法は、動作のダイナミクス（「どのように」行うか）に焦点を当てているが、意味論的な接地（Semantic Grounding）が欠けているため、異なるロボットの形態やタスク間での転移が困難である。
• 高レベルな手法は、視覚と言語から導出される意味的な意図（「何を」行うか）に焦点を当てているが、動作の忠実度が不足していることが多く、視覚的な妨害要素に敏感であり、リアルタイムデプロイメントには計算量的に不可能な大規模モデルを必要とする。

このような不完全さは、ポリシー学習に対する弱い事前知識（Prior）をもたらし、適応のために膨大なインドメイン・データが必要となる。著者らは、少数のデータによる適応、クロスドメイン転移、および動的な視覚ノイズに対する堅牢性を実現するためには、意味論と動作の両方を捉えた統一的な表現が必要であると主張している。

手法: BooST フレームワーク

著者らは、統一されたスキル表現を学習し、それを効率的なダウンストリーム利用のために蒸留するように設計された2段階のフレームワークであるBooST（Bridging Semantics and Motions for Efficient Skill Transfer）を提案する。

ステージ I: 統一スキル事前学習

第1ステージでは、大規模で多様なオフラインデータセット（具体的にはDROIDデータセット）を用いて、クロスモーダル VQ-VAEの事前学習を行う。目的は、高レベルの意味論と低レベルの動作ダイナミクスを共同でエンコードする、再利用可能なスキルの離散的な潜在空間を学習することである。アーキテクチャは、2つの補完的なパスを採用している：

1. 視覚と言語のパス（Visuo-linguistic Pathway）: 事前学習済みのCLIPモデルとクロスアテンション機構を用い、言語指示（$l$）に条件付けられた現在および将来の画像（$I_t, I_{t+H}$）から、タスクに応じた視覚的特徴を抽出する。このパスは、スキルを意味的な意図に接地させる。
2. アクションのパス（Action Pathway）: 動作のダイナミクスをアクション軌跡（$a_{t:t+H}$）から直接エンコードし、学習されたスキルが実行可能であり、物理的な振る舞いに基づいていることを保証する。

これらのパスは、ベクトル量子化（VQ）を介して共有された離散コードブックへと入力される。モデルは、単一の教師信号である**アクション再構成（Action Reconstruction）**を用いて学習される。デコーダは、離散的なスキル・トークンと現在の視覚的特徴からアクションシーケンスを再構成する。損失関数は、両方のパスからの再構成誤差と、特徴空間を整列させるための正則化項を組み合わせたものである。決定的なのは、ピクセルではなくアクションを再構成することで、モデルがタスクに関係のない視覚的詳細を無視するように促され、動的な妨害要素に対する堅牢性が高まる点である。

ステージ II: ダウンストリーム適応

第2ステージでは、効率的なデプロイメントのための**蒸留（Distillation）**に焦点を当てる。事前学習されたスキルエンコーダ（$q_\phi$）から得られる豊かな知識は、2つの軽量なコンポーネントへと転移される：

1. 因果的スキル事前分布（Causal Skill Prior, $p_\psi$）: 過去の観測と言語から、潜在的なスキルの分布を予測する。
2. 低レベルポリシー（Low-level Policy, $\pi_\theta$）: サンプリングされたスキルに条件付けられたアクションを実行する。

このステージは、証拠下界（ELBO）から導出された変分目的関数を用いて、小規模なインドメイン・データセットで学習される。学習では、事前分布蒸留損失（Prior Distillation Loss）（事前分布を凍結されたエンコーダの予測に一致させる）と、行動クローニング損失（Behavior Cloning Loss）（エキスパートのアクションを模倣するようにポリシーを訓練する）を最小化する。この分離されたアプローチにより、システムは大規模な事前学習を活用しながら、リアルタイム制御に適した軽量なアーキテクチャを維持することができる。

主な貢献

1. 統一されたスキル表現: 意味的な意図と動作のダイナミクスを共有のスキル・コードブックに統合するBooSTを導入し、一方の側面のみを捉える手法の限界を克服した。
2. 分離された2段階パイプライン: 大規模な事前学習と効率的なデプロイメントを両立させる学習パラダイム。豊かな統一表現の学習と、軽量でタスク固有のポリシーの学習を分離することで、少数のデータによる適応（Few-shot adaptation）を可能にした。
3. 堅牢性と汎用性: 高い少数のデータによる適応、クロスエンボディメント転移（例：Franka PandaからUR3へ）、および動的な視覚的妨害要素や背景の変化に対する堅牢性を実証した。

実験結果

著者らは、シミュレーション（LIBEROベンチマーク）および実世界の環境（UR3ロボット）の両方でBooSTを評価した。

• 少数のデータによる適応（Few-Shot Adaptation）: LIBEROベンチマークにおいて、BooSTはベースライン（Diffusion Policy, VQ-BeT, QueST, LISA, EXTRACTを含む）を一貫して上回った。特筆すべきは、各タスクにつきわずか10回のデモンストレーションのみで、多様なLIBERO-90ベンチマークにおいて、2番目に優れた手法に対して140%の相対的な改善を達成したことである。
• クロスエンボディメント転移: 実世界実験において、Franka Emika Pandaで事前学習されたポリシーは、各タスクわずか5回のデモンストレーションでUR3ロボットへと正常に転移した。低レベルのベースラインは、アクション空間の不一致により転移に失敗したが、BooSTのセマンティックな接地が成功した適応を可能にした。
• 妨害要素に対する堅牢性: 動的な人間の妨害者が含まれるデータで事前学習を行った際も、BooSTは標準的なベンチマークで高い成功率を維持した。対照的に、視覚的な遷移を再構成する潜在アクション・ベースライン（LAPA, UniVLA）は、表現が背景の不要な動きまでエンコードしてしまったため、性能低下が見られた。
• 効率性: 蒸留されたダウンストリームモデルは約60 Hzで動作し、これは比較対象となるベースライン（例：Diffusion Policyの12 Hz）よりも大幅に高速であり、実世界へのデプロイに適している。アブレーション研究により、アクションのパスとタスク指向型エンコーダの両方が性能において極めて重要であることが確認された。

意義

本論文は、既存の手法が同時に達成できていない、効率的なスキル転移のための3つの主要な要件（汎用性、堅牢性、効率性）を、BooSTが成功裏に満たしていることを主張している。「何を（semantics）」と「どのように（motions）」の間の溝を埋めることで、BooSTは強力な事前知識を提供し、ダウンストリーム適応に必要なデータを劇的に削減する。著者らは、このアプローチにより、大規模でヘテロジニアスなデータセットから学習されたスキルを、最小限のインドメイン・データを用いて、新しいシーン、タスク、および新しいロボットの形態へと転移できることを示唆している。これは、手動のキュレーションや、リアルタイム制御のための計算コストの高いモデルを必要とせずに、「野生の（in-the-wild）」データから学習できる、実用的な汎用ロボットエージェントへの道筋を示している。