技術的サマリー：BEACON

問題定義

行動クローニング（BC）によるロボット学習は、拡散ポリシー（Diffusion Policies）などのシーケンスモデルの進展により大幅に前進しましたが、依然として決定的なボトルネックが存在します。それは、あるドメイン（ソース）で訓練されたポリシーが、タスクの意味論が同一であっても、別のドメイン（ターゲット）に展開された際に性能が低下するという点です。これらのドメインギャップは、視覚的な不一致（テクスチャ、照明、カメラ姿勢）や物理的な不一致（摩擦、接触ダイナミクス、駆動遅延）に起因します。大規模なターゲットドメインデータセットの収集は高コストであり、スケーリングが困難である一方、ソースデータ（シミュレーションや人間のデモンストレーションなどから得られるもの）は豊富ですが、しばしば不一致を伴います。

この問題に対する既存のアプローチは以下の 2 つのカテゴリーに分類されます：

1. ドメインランダム化：ソースの多様性を高めることでロバスト性を向上させますが、分布を明示的に整合させるわけではありません。
2. ドメイン適応：ソースとターゲットの表現を明示的に整合させます（特徴マッチングや敵対的学習などを通じて）。しかし、これらの手法はしばしばヒューリスティックな目的関数に依存し、視覚以外のシフトを見逃す可能性があり、ソース同士が互いに異なり、かつターゲットとも異なるようなマルチソース設定では困難に直面します。

本論文が扱う中心的な問いは以下の通りです：「ヒューリスティックな整合損失に依存することなく、ラベル付きターゲットデータの必要性を最小化しつつ、豊富だが不一致を伴うソースデモンストレーションをどのように活用してターゲットドメインの汎化性能を向上させることができるか？」

手法：BEACON

著者らは、BEACON（Best-Effort Adaptation for Cross-Domain Co-Training）を提案します。これは、理論に基づいたフレームワークであり、クロスドメイン共訓練を不一致を考慮した重要度再重み付け問題として再定義するものです。

理論的基盤

BEACON は、Best-Effort Adaptation (BEA) フレームワーク [23] に基づいています。ソースデータとターゲットデータを単純に混合したり、特徴の整合を強制したりするのではなく、BEACON はポリシー $\pi_\theta$ とサンプルごとの重み集合 $q$ を共同で学習し、ターゲットドメインに対して理論的に導出された汎化誤差の上限を最小化します。

目的関数（式 6）は以下の項を最小化します：
$$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$$

ここで：

• $\ell_{BC}$ は拡散行動クローニング損失です。
• $d_i$ は、ターゲットと不一致なソースサンプルにペナルティを課す不一致項です。
• $p_0$ は参照重み付け（ターゲットのみの経験的分布）です。
• 正則化項（$\lambda_1, \lambda_2$）は、学習された重みがターゲット分布に固定され、退化的な解を防ぐことを保証します。

ロボティクスへの実用的な適応

高次元の拡散ポリシーに元の BEA フレームワークを適用するには、いくつかの重要な適応が必要でした。

1. インスタンスレベルの不一致推定：単一のドメインレベルのペナルティの代わりに、BEACON はサンプルごとの不一致スコア $d_i$ を計算します。デフォルトの推定器は、ポリシーのビジョンエンコーダ埋め込み空間における**k 近傍法（k-NN）**を使用します。これは、ソースサンプルとターゲットの最寄りの隣接サンプルとの距離を、ターゲット内でのばらつきで正規化して測定します。これにより、単一のシミュレータ内であっても、視覚的または行動的にターゲットと互換性のない特定の「外れ値」ソース軌道を特定し、その重みを低下させることが可能になります。
2. 確率的交互最適化：拡散モデルの計算コストの高さにより、BEACON は全バッチ最小化ではなく、確率的な交互更新を採用します。これは以下の手順を交互に行います：
   • 重み更新（$q$）：サンプルごとの損失と不一致に基づいた射影部分勾配ステップ。
   • ポリシー更新（$\theta$）：重み付きミニバッチ損失に対する AdamW ステップ。
   • 複雑さ制御：元のノルムベースの容量制御は、最適化器と互換性のある重み減衰（$\gamma \|q\|_\infty R(\theta)$）に置き換えられ、最大サンプル重みを正則化の強さと関連付けます。
3. マルチソース拡張（MS-BEACON）：複数のシミュレータなど、異質なソースドメインが存在するシナリオでは、この手法は 2 段階の重み付けスキームを導入します。有用なソースドメインを選択するためのドメインレベルの重み $w$ と、各ドメイン内の不一致軌道をフィルタリングするためのインスタンスレベルの重み $\tilde{q}$ です。

主要な貢献

1. 理論に基づく共訓練：BEACON は、ヒューリスティックな特徴整合損失に依存するのではなく、不一致に基づく汎化誤差の上限を直接最小化する BEA フレームワークを生成ロボットポリシーに適用した最初の手法です。
2. スケーラブルなインスタンスレベルの再重み付け：スケーラブルなインスタンスレベルの不一致推定器（埋め込み空間における k-NN）の導入により、この手法は高次元のシーケンスポリシーと異質なソースデータを効果的に処理できます。
3. 暗黙的な特徴整合：本論文は、明示的な整合損失項を必要とすることなく、不一致を考慮した再重み付け目的関数の結果として特徴整合が自然に生じることを実証しています。
4. マルチソースへのロバスト性：MS-BEACON 拡張は、異質なソースドメインを効果的にバランスさせ、ソース同士およびターゲットと大きく異なる場合のネガティブ転移を軽減します。

実験結果

BEACON は、Franka Emika Panda ロボットを用いたブロック積み上げ、マグカップの片付け、糸通しなどのタスクにおいて、シミュレーションからシミュレーション（sim-to-sim）、シミュレーションから実世界（sim-to-real）、およびマルチソースの操作タスクで評価されました。

• 優れた汎化性能：BEACON は、ターゲットのみのポリシー、固定比率の共訓練、特徴整合手法（MMD、UOT）を含むベースラインを一貫して上回りました。
  • sim-to-sim（テクスチャと視点のギャップ）において、BEACON はテクスチャギャップで平均成功率 0.64、テクスチャ＋視点ギャップで 0.45 を達成し、次点のベースライン（MMD）を大幅に凌駕しました。
  • sim-to-real（ターゲットのみのポリシーがほぼ失敗し、平均成功率 0.10）において、BEACON は 0.77 の平均成功率を達成し、視覚的および物理的なギャップに対するロバスト性を示しました。
• 分布外（OOD）へのロバスト性：ターゲットデモンストレーションの分布外のタスクインスタンスで評価された際、BEACON は性能を維持しましたが、特徴整合ベースライン（MMD など）は著しい性能低下を招きました。
• 暗黙的な整合：UMAP 可視化は、明示的な整合損失がないにもかかわらず、再重み付けのダイナミクスにより、BEACON がソースとターゲットの潜在特徴を互いに近づけることを確認しました。
• データ効率：ターゲットデモンストレーションをさらに増やすと BEACON の性能が向上したことから、ソースの再重み付けはターゲットデータを置き換えるのではなく、その価値を増幅させることが示唆されました。

意義と主張

本論文は、BEACON が既存のドメイン適応手法に対する補完的なパラダイムを提供すると主張しています。潜在空間の一致を強制すること（タスクに関連する幾何学を崩壊させる可能性がある）に焦点を当てるのではなく、BEACON はどのソース軌道がターゲット学習に影響を与えるべきかを選択することに焦点を当てています。

著者らは以下を主張しています：

• 重要度再重み付けは、ネットワーク内でどの表現を整合させるかという選択よりも、クロスドメインロボット学習におけるより基本的な設計レバーです。
• このレバーを汎化理論に基づくことで、ロバスト性とデータ効率において具体的な成果が得られます。
• この手法は、大規模なターゲットデータセットの収集が非現実的なターゲットデータが少ない領域で特に効果的です。

本論文は限界を認めており、実験は準静的な相互作用に限定されており、大規模で異質な実世界データセットが利用可能になるような将来のシナリオでは、実データが希薄であるという仮定が成り立たない可能性があると指摘しています。しかし、結果は提案された再重み付けメカニズムがドメインシフトを処理するためのロバストな戦略であることを示唆しています。