技術要約：Max-Q Selective Imitation による Human-in-the-Loop オンラインロボット学習

1. 問題提起

現実世界のロボット強化学習（RL）は、相互作用のコスト、接触を伴う失敗モード、および安全性が制限された探索といった重大な制約に直面している。Human-in-the-Loop (HIL) プロトコルは、自律的なロールアウトと人間による介入を組み合わせることで、これらを軽減しようと試みている。しかし、効果的な学習を実現するには、以下の2つの相反するニーズのバランスを取る必要がある：

1. 有用な人間の修正（介入）を迅速に吸収すること。
2. 人間のデモンストレーションや介入のレベルを超えて継続的に改善すること。

既存の手法は、これらを同時に満たすことに苦慮している。介入の行動クローニング（Behavioral Cloning）は安定しているが保守的である。制約のないQ最大化は、分布外（OOD）の過大評価を招く。IQL（Implicit Q-Learning）やAWR（Advantage-Weighted Regression）のような手法は、更新をデータのサポート内に留めるが、混合されたHILバッファ下では、政策（$\pi$）が不均一なサンプルのモード（介入 vs 自律的なアクション）へと繰り返し引き寄せられてしまう。これは、政策分布（ロボットが実行するもの）とターゲット・サンプル分布（学習者が訓練対象とするもの）の間に持続的なギャップを生じさせ、実行時の分布シフトや追従エラーを引き起こす。逆に、SACスタイルのHILシステム（例：HIL-SERL）は、現在の政策分布に近い状態を維持するが、そのTDバックアップはサンプル平均の挙動ではなく現在の政策の下でブートストラップを行うため、介入の報酬を十分に活用できない。

2. 手法

著者らは、2つのコンポーネントからなる学習手法、MC Q-Chunk Critic と Max-Q Selective Imitation を提案している。

2.1 MC Q-Chunk Critic

現在の政策の下でのTDブートストラップ（現在の$\pi$への価値推定のバイアスを生む）を使用する代わりに、このクリティックはサンプル平均の挙動評価を行う。

• チャンクレベルのスコアリング: アクション空間をホライゾン $h$ （$a_{t:t+h-1}$）のチャンクに離散化する。
• モンテカルロ回帰: クリティック $Q_\theta$ は、リプレイバッファからログされた軌跡のモンテカルロ（MC）リターン（$G_t$）に対して、直接チャンクレベルの値を回帰する。
  $$L_Q = \mathbb{E}_{(s_t, a_{t:t+h-1}, G_t) \sim \mathcal{B}} \left[ (Q_\theta(s_t, a_{t:t+h-1}) - G_t)^2 \right]$$
• 利点: これにより、介入の軌跡が現在の政策によるTDバックアップによって希釈されることなく、直接価値を付与される。これにより、高価値な人間の修正がアクターに対して可視性の高い状態で保持される。
• 実装: 初期のランキングノイズを軽減するため、著者らはオプションとしてクリティック・アンサンブルの平均 $\bar{Q}$ をスコアリングに使用しているが、コアとなる手法は単一のクリティックに依存している。

2.2 Max-Q Selective Imitation

アクターの更新メカニズムは、各状態において2つの候補間の「ハード」な選択を行うことで、政策とターゲットのギャップに対処する：

1. $a_\pi$: 現在の政策 $\pi(s)$ が提案するアクション。
2. $a_b$: リプレイバッファからのサンプルアクション（多くの場合、介入）。

ターゲットアクション $a^*$ は、ハードな勝者総取りルールに従って選択される：
$$a^* = \arg\max_{a \in \{a_\pi, a_b\}} Q_\theta(s, a)$$

その後、アクターはこのハードな勝者に対して教師あり回帰（行動クローニング）を通じて更新される：
$$L_\pi = \mathbb{E}_{s \sim \mathcal{B}} \left[ \| \pi_\phi(s) - a^* \|_2^2 \right]$$

運用のダイナミクス:

• 介入フェーズ: 人間の介入が現在の政策よりも高いQ値を持つ場合、アクターは介入を模倣する。
• 自己改善フェーズ: 自律的な政策が改善し、そのアクション（$a_\pi$）がバッファ内のサンプルよりも高いQ値に達すると、ターゲット $a^*$ は $a_\pi$ に一致する。
• ギャップの削減: このメカニズムは、介入からの学習からオンポリシーの自己改善へと自動的に切り替わる。実行政策をターゲット・サンプル分布に一致させることで、HIL学習において典型的な分布シフトを低減する。決定的なのは、これがソフトな重み付けや手動調整されたスコア閾値を必要とせずに達成される点である。

3. 主な貢献

1. MC Q-Chunk Critic: 混合されたHIL軌跡をモンテカルロ回帰によって評価するクリティックアーキテクチャであり、$\pi$ ブートストラップ型のTDクリティックと比較して、介入報酬の活用を向上させる。
2. Max-Q Selective Imitation: ラベルフリーで、ハードな切り替えを行うアクター更新。高Q値の介入の模倣からオンポリシーの自己改善へと動的に遷移し、政策とターゲット・サンプルのギャップを効果的に閉じる。
3. 実証的検証: シミュレーションタスク（Peg Insertion, Square）および実機ロボットタスク（USB pick-and-insertion）において、最先端のベースラインよりも大幅に速く高い成功率を達成した。

4. 実験結果

シミュレーションタスク

本手法は、Peg Insertion および Square タスクにおいて、HIL-SERL、MCBC（Q-chunkなし）、EXPO、および E2HiL に対して評価された。

• Peg Insertion: ACT QChunk-MCBC バリアントは、最初のチェックポイント後、0.32時間（約4,400ステップ）以内に99%の成功率を達成した。対照的に、HIL-SERLは100%の成功に達するまでに約3.2時間（10万ステップ）を要した。
• Square: ACT QChunk-MCBC は 0.38時間 で 99%の成功率 に達した。HIL-SERL も最終的に100%に達したが、それには 3.85時間 を要した。
• 比較: EXPO や E2HiL といった競合手法は、ピーク成功率が著しく低い（それぞれ30% および 10%）か、あるいははるかに長い学習時間を必要とした。

実機ロボットタスク

Frankaクラスのアームと手首カメラを用いて、USB pick-and-insertion タスクを実施した。

• セットアップ: 20回の人間によるデモンストレーション、自律的なロールアウト、および人間による介入。
• パフォーマンス: ACT QChunk-MCBC は 30分（0.5時間） で 99%の成功率 に達した。
• ベースライン: HIL-SERL は100%の成功に収束するまでに約 5時間 を要した。
• 効率性: 提案手法は、HIL-SERLと比較して、高い成功率を維持しながら、学習時間を桁違いに短縮した。

5. 意義と主張

本論文は、提案手法が、人間の修正を吸収することと自律的な政策を洗練させることという、HIL学習における根本的な緊張関係を解決できることを主張している。Q-chunkによる価値推定を Max-Q Selective Imitation による政策更新から分離することで、システムは以下の特性を持つ：

• 介入が有益な場合には、それを迅速に吸収する。
• 歴史的なバッファデータよりも自律的な政策が優れている場合には、自動的にオンポリシー学習へと移行する。
• ソフトなスイッチングメカニズムや手動のハイパーパラメータ調整を必要とせずに、政策とターゲット・サンプル間のギャップを排除し、実行時の分布シフトを低減する。

著者らは、このアプローチを、相互作用の予算が限られ、安全性が極めて重要となる現実世界のロボット学習に対する実用的な解決策として位置付けており、数時間ではなく数分で高性能な政策を学習できることを示している。

6. 限界

著者らは以下の限界を認めている：

• クリティックへの依存: 切り替えの決定はクリティックの質に依存する。初期のノイズの多いQ推定値は、最適ではないターゲット選択を招く可能性がある（アンサンブルの手法によって部分的に緩和されている）。
• 分散: モンテカルロ・リターンはTDバックアップよりも分散が高く、安定したターゲットを得るには十分なエピソードの完了が必要である。
• ハイパーパラメータ: チャンクホライゾン $h$ は依然としてタスク依存のハイパーパラメータである。
• 範囲: より広範なマルチタスク評価、および2つの候補による改善オペレータの形式的な定式化は、今後の課題である。