技術要約：Behavior Uncloning: 推論時のステアリングを伴わない、ポリシー重みへのモード再方向付けの蒸留

問題定義

行動クローニング（BC）は、大規模で多様なデモンストレーション・データセットから、有能な視覚運動制御ポリシーを学習することを可能にします。しかし、これらのデータセットは異なるオペレーターやコンテキストからのデモンストレーションを集約していることが多く、その結果、ポリシーは同じタスクに対して複数の「行動モード」を学習してしまうことがあります。すべてのモードがタスクを成功させる可能性はあるものの、中には安全でないもの、望ましくないもの、あるいは特定のデプロイメント制約と互換性のないもの（例：ナイフの刃を先にするか、持ち手を先にするか）が含まれる場合があります。

既存の解決策には、以下のような重大なトレードオフが存在します：

1. フィルタリングによる再学習： 望ましくないデモンストレーションを除去してゼロから再学習する方法は、直接的な制御を提供しますが、元のデータへのアクセスが必要であり、新しいターゲットモードを作成するたびに高い計算コストが発生します。
2. 推論時のステアリング： デプロイメント中にアクションを再ランク付けしたり、拡散サンプリングをガイドしたり、隠れ状態に介入したりする手法は、再学習を回避できますが、大幅な推論時のオーバーヘッドを導入します。これには外部モジュールやサンプリングループが必要となり、低レイテンシの制御を複雑にします。

本論文は、すでに学習済みのポリシーから、元のデータセットを必要とせず、かつ推論時のオーバーヘッドを追加することなく、望ましくないモードを抑制できる手法の欠如を指摘しています。

手法：MoRE (Mode Redirection)

著者らは、モード再方向付けの信号をポリシーの重みに直接蒸留する、事後的なポリシー編集フレームワークである MoRE を提案します。このプロセスは、主に3つのステージで構成されます。

1. 問題の定式化

混合モードのポリシー $\pi_{\theta_0}$ が、モード $D_k$ に分割されたデータセット $D_{BC}$ で学習されている場合、目標は、閉ループのロールアウトが所望のデプロイメント集合 $S \subseteq \{1, \dots, K\}$ 内に収まるように、ポリシーを新しいパラメータセット $\theta^*$ へと編集することです。編集用データ $D_{edit}$ は、元のデモンストレーション、または行動モードが付与された混合ポリシーからの閉ループ・ロールアウトで構成されます。

2. 微分可能なモード再方向付けエディタ

MoREは、元のポリシーから抽出された特徴量を用いて学習された、軽量で一時的な行動モード分類器 $g_\phi$ を利用します。

• 特徴量抽出： Vision-Language-Action (VLA) ポリシーの場合、特徴量は平均プーリングされた隠れ状態となります。Diffusion Policyの場合、特徴量は観測条件と予測されたクリーンなアクションチャンクを含みます。
• 凍結： 分類器のパラメータ $\phi$ は学習後に凍結されます。編集フェーズの間、ポリシー依存の特徴量を通じて分類器からの勾配がポリシーの重みへと流れるようにしながら、ポリシーのパラメータ $\theta$ が更新されます。

3. 維持（Retain）および再方向付け（Redirect）損失による最適化

編集目的関数は、行動の抑制とタスクの有能性のバランスを取るために、2つの損失項を組み合わせます：
$$L_{MoRE}(\theta) = \underbrace{\mathbb{E}_{x \sim D_{des}} [L_{BC}(x; \theta)]}_{\text{Retain}} + \gamma \underbrace{\mathbb{E}_{x \sim D_{undes}^\theta} [L_{red}(x; \theta, \phi, S)]}_{\text{Redirect}}$$

• Retain Loss（維持損失）： 望ましいモードのセット（$D_{des}$）のサンプルに適用されます。この項は、元の模倣損失（例：ノイズ予測や速度マッチング）を使用して、タスクの有能性を維持し、ポリシーがタスクの完了方法を忘れることを防ぎます。
• Redirect Loss（再方向付け損失）： 望ましくないモードのサンプル（$D_{undes}$）に適用されます。この項は、分類器の予測確率質量を所望の集合 $S$ へと押し出すためのサブセット確率損失を使用します。
• ソースモード・マスキング： 安定性を確保するため、リダイレクト損失は、ソースモードの確率が閾値 $\tau$（例：0.5）未満である望ましくないサンプルに対してのみ適用されます。これにより、再方向付けは、ポリシーがすでに軌道にコミットしているモード固有の実行ブランチを妨げることなく、複数のモード間で共有されている状態・アクション領域においてのみ行われることが保証されます。

編集後、分類器は破棄されます。結果として得られるポリシー $\pi_{\theta^*}$ は、追加のオーバーヘッドなしで元の推論パスを実行します。

主な貢献

1. Behavior Uncloning の定式化： 本論文は、事前学習済みポリシーにおけるデプロイメントに望ましくないモードの抑制に焦点を当てた、新しいポリシー編集の設定を定義しました。これは、タスクの完了と許容可能な行動モードへの準拠の両方を要求する「デプロイメント成功率（SR）」指標によって評価されます。
2. MoRE フレームワーク： 維持損失を用いて、分類器による再方向付けをポリシーの重みに蒸留する手法を提案します。これは単一およびマルチターゲットの編集をサポートし、デモンストレーションまたはロールアウトの両方に対応し、編集後に分類器を取り除くことができます。
3. 包括的な検証： MoREは、Diffusion Policyおよび $\pi_{0.5}$ VLAバックボーン、バイナリおよびマルチウェイのモード制御、シミュレーションおよび実ロボットでのデプロイメント、そして操作および四足歩行ナビゲーションタスクにわたって検証されています。

実験結果

実験は、ナイフの受け渡し、マルチロケーション配置、四足歩行ナビゲーションなどのタスクを含む8つのタスク（シミュレーション4つ、実ロボット4つ）に対して行われました。

• 性能向上： MoREは、元の混合モードポリシーと比較して、平均デプロイメント成功率（SR）を 44パーセントポイント 向上させました。例えば、Push-Tタスクでは、SRは50.0%から98.3%に上昇しました。
• ベースラインとの比較：
  • CPL（好みの学習）との比較： MoREは、より強力なモードシフトと高いSRを達成しました。CPLは部分的なシフトしか提供できず、時にはタスク完了率（TCR）を低下させました。
  • DynaGuide（推論時ステアリング）との比較： DynaGuideは一部のタスクでモード整合性を向上させましたが、8.47倍の推論時間の遅延 を引き起こしました。MoREは元の推論速度を維持しました。
  • フィルタリングによる再学習との比較： MoREは、元のデータセットへのアクセスやフル再学習を必要とせずに、フィルタリングされたデータからゼロから再学習されたポリシーの性能に迫りました。
• 汎用性： MoREは、異なるポリシーバックボーン（Diffusion Policyから $\pi_{0.5}$ VLA）、異なるエンボディメントタイプ（アーム操作から四足歩行）、およびシミュレーションから実世界へのデプロイメントを越えて、正常に転移しました。
• データ効率： MoREは、編集用データとして混合ポリシーからの閉ループ・ロールアウトのみを使用した場合でも効果的でしたが、元のデモンストレーションを使用した方がわずかに良い結果が得られました。

意義と主張

本論文は、MoREを「デプロイメントの緊張（deployment tension）」、すなわちデータの多様性と安全性・受容性の制約の間の対立に対する実用的な解決策として位置付けています。再方向付けの信号を重みに蒸留することで、MoREは、外部のステアリングモジュールやゼロからの再学習を必要としない、スタンドアロンで安全なポリシーの作成を可能にします。

著者らは、MoREを認定された安全層ではなく、モード制御編集メソッドとして見るべきであると明示しています。その有効性は、以下の特定の仮定に基づいています：

• モードラベル付きの編集データの利用可能性（または信頼性高く推論可能なロールアウト）。
• 特徴量が、軌道がソースモードに完全にコミットする前にモード情報を露出する分類器インターフェース。

本研究は、ターゲットとなる行動がモデルの重みに直接再方向付け可能であることを示唆しており、推論時の介入に伴う計算コストやレイテンシのコストなしに、より安全で制御可能なロボットデプロイメントへの道を開いています。今後の研究方向としては、よりノイジーなラベルの扱い、階層的なモード分類体系の発見、およびより強力な分布シフトへの対処が挙げられています。