技術要約: DF-ExpEnse

問題提起

ロボットのポリシー改善におけるサンプル効率の向上は、インテリジェントなエージェントを実世界にデプロイする上で極めて重要である。有望なアプローチとして、オフラインの行動模倣（Behavior Cloning）から得られた学習済み生成制御ポリシー（具体的には拡散ポリシー）を用いてエージェントを初期化し、その後、強化学習（RL）を用いた自己収集によるオンライン経験を通じて適応させる手法がある。しかし、このプロセスにおける大きなボトルネックは、**効果的な探索（Exploration）**にある。

既存の探索戦略は、この文脈において主に3つの課題に直面している：

1. 探索への関心の定量化： 行動の質と不確実性の減少のバランスを取りながら、任意の行動に対するエージェントの関心をどのように原理的に測定するか。
2. 扱いやすい行動選択： 全探索が不可能な連続的な行動空間において、探索に値する妥当な行動をどのように特定するか。
3. 協調的なフリート探索： 並列化されたロボット・フリートを活用して、単にデータ量を増やす（潜在的に冗長なデータ収集を行う）のではなく、コラボレーションを通じて収集される経験の質をどのように向上させるか。

手法: DF-ExpEnse

著者らは、オンライン推論時の探索的な行動選択を強化するために設計された技術である DF-ExpEnse (Diffusion Filtered Exploration via Ensembles) を提案する。これは、学習済み拡散ポリシーを更新する既存のRLファインチューニング・フレームワーク（例：DSRL, ResFiT）とシームレスに統合できる。本手法は、以下の3つのコアメカニズムを通じて機能する：

1. 拡散フィルタリングによる候補生成 (Diffusion-Filtered Candidate Generation)

連続的な行動空間の探索における困難に対処するため、DF-ExpEnseは学習済み拡散ポリシー ($\pi_{dp}$) のマルチモーダルなモデリング能力を活用する。エージェントは空間全体を探索する代わりに、現在の状態 $s$ に条件付けられた $M$ 個の候補行動を生成する：
$$[a_1, \dots, a_M] \sim \pi_{dp}(a | s)$$
この集合は、広範なカバー範囲を提供しつつ、候補が基礎的なレベルの許容可能な質を備えていることを保証する、制約された探索空間として機能する。

2. アンサンブルに基づく探索への関心 (Ensemble-Based Exploration Interest - UCBスタイル)

候補セットから最適な行動を選択するために、DF-ExpEnseは、通常ポリシー勾配の更新に使用されるクリティック・アンサンブル ($Q^{[1\dots K]}$) を利用して、価値（Value）と不確実性（Uncertainty）の両方を推定する。各候補行動 $a_m$ について、探索への関心スコア $e_m$ は以下の要素の線形結合として計算される：

• 価値推定： 過大評価バイアスを軽減するための、アンサンブルにおける最小予測値。
• 不確実性推定： アンサンブルの予測間の標準偏差（不一致）。

スコアは以下のように計算される：
$$e_m = \min(Q^{[1\dots K]}(a_m, s)) + \alpha \cdot \text{std}(Q^{[1\dots K]}(a_m, s))$$
エージェントは、最大値 $e_m$ を持つ行動を選択する。このアプローチは、高価値（Exploitation）と高不確実性（Exploration）のバランスを取るUpper Confidence Bound (UCB) アルゴリズムに着想を得ている。

3. 行動模倣サンプリング正則化 (Behavior Cloning Sampling Regularization - BC-SR)

ファインチューニング中にエージェントが単一の行動モードへ早期に収束すること（これにより探索が劣化する）を防ぐため、著者らは BC-SR を導入した。候補行動セットの一部を、初期のオフライン学習済み拡散ポリシー ($\pi_{dp}^{init}$) から抽出されたサンプルで上書きする。これにより、候補セットが元の行動模倣モデルのマルチモーダルな事前分布を保持し続け、行動の多様性の崩壊を防ぐことが保証される。

4. フリート正規化による協調的探索 (Fleet Normalization for Collaborative Exploration)

フリート設定（複数のエージェントが並列展開されている環境）において、DF-ExpEnseはリアルタイムのクロスエージェント通信を可能にする。行動を選択する前に、各エージェントは、フリート内の全エージェントの候補セットから集計された統計量（平均および標準偏差）を使用して、自身の価値および不確実性の推定値を正規化する。
$$\bar{e}_{n,m} = \bar{v}_{n,m} + \alpha \cdot \bar{d}_{n,m}$$
この正規化により、エージェントのローカルな選択がグローバルなフリートの状態に対して文脈化され、グループ全体として、同じ領域を冗長に探索するのではなく、多様で価値の高い軌跡を共同で探索することを促進する。

主な貢献

1. DF-ExpEnse アルゴリズム： 拡散ポリシーのマルチモーダリティによる候補フィルタリングと、不確実性を考慮した行動選択のためのクリティック・アンサンブルを組み合わせた、新しい探索技術。
2. BC-SR 正則化： 初期学習済みポリシーからのサンプルを注入することで、行動候補セットのマルチモーダルな多様性を維持し、オンライン・ファインチューニング中のモード崩壊を防ぐ手法。
3. フリート正規化： ローカルな探索への関心をグローバルなフリート統計量に対して正規化することで、集団的なデータ品質を向上させる、ロボット・フリートのための協調的探索メカニズム。
4. 汎用的な統合： 動きのモデル（Dynamics Model）のような追加のモデルコンポーネントを必要とせずに、様々なRLファインチューニング戦略（特にDSRLおよびResFit）にDF-ExpEnseがシームレスに統合できることを実証。

実験結果

著者らは、操作タスク（RoboMimic, DexMimicGen）および移動タスク（OpenAI Gym）において、DF-ExpEnseを以下の手法と比較して評価した：

• バニラ・ファインチューニング： 強化された探索を行わない標準的なDSRLおよびResFit。
• Max-Q 選択： 最大値を持つ候補を選択する貪欲なベースライン（$\alpha=0$ のDF-ExpEnseに相当）。
• 代替的な探索手法： 学習済みのダイナミクスモデルに依存するE3B（Elliptical Episodic Bonuses）およびPlan2Explore。

主な知見：

• サンプル効率： 同一のオンライン経験タイムステップ数において、DF-ExpEnseはすべてのベースラインよりも一貫して高い成功率と報酬スコアを達成した。
• アブレーション研究：
  • BC-SR： DF-ExpEnseからBC-SRを除去すると性能が大幅に低下した一方、Max-QにBC-SRを追加すると性能が向上したことから、モード崩壊を防ぐ役割が確認された。
  • フリート正規化： フリート正規化を除去すると、フル・コラボレーション・アプローチと比較してサンプル効率が低下したことから、グループ認識型の探索の利点が検証された。
  • コンポーネントのサイズ： クリティック・アンサンブルのサイズを大きくすると性能は向上した（飽和点まで）。また、フリートのサイズを大きくしても性能は向上したが、行動候補のサンプルサイズを増やしても収穫逓減が見られた。
• 堅牢性： 本手法は、追加のコンポーネント（ダイナミクスモデルなど）を必要とするベースラインを上回る性能を示し、既存のクリティック・アンサンブルを再利用することが原理的な探索に十分であることを証明した。

重要性と主張

本論文は、DF-ExpEnseが、学習済み生成制御ポリシーのファインチューニングにおけるサンプル効率を向上させるための、汎用的かつ多用途なソリューションを提供すると主張している。その重要性は以下の点にある：

• 原理的な探索： 複雑な補助モデルを必要とせず、連続的な行動空間において質と不確実性のバランスを取るための扱いやすい方法を提供する。
• スケーラビリティ： 単なるデータの量ではなく、協調的で正規化された意思決定を通じて、ロボット・フリートによるデータの質を効果的に活用する。
• 実用性： 最小限のアーキテクチャ変更で既存のRLパイプライン（DSRLなど）に直接統合でき、サンプル効率が極めて重要となる実世界のロボット・デプロイメントにおいて実用的なツールとなる。

著者らは、オンライン経験収集の質を向上させることにより、DF-ExpEnseがより迅速かつ効果的なスキルの学習と洗練を可能にすると結論付けている。これは、シミュレータや実世界でのデプロイにおける並列化能力が拡大し続ける中で、特に重要な意義を持つ。