When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning

技術的サマリー：クエリ時における専門家誘導型強化学習の診断

問題定義
多くの連続制御領域（産業制御、歩行、軌跡追跡）では、調整された PID ループ、手動設計された歩行パターン、またはモデル予測制御（MPC）システムなど、有能だが最適ではないコントローラーが展開されています。これらのコントローラーは、強化学習（RL）エージェントが超越することが期待される「床（フロア）」として機能することが多いです。しかし、訓練中に事前存在する専門家コントローラーをクエリできる「クエリ時における専門家誘導型 RL」に関する文献には、統合された評価フレームワークが存在しません。既存の手法（IBRL、JSRL、Residual SAC など）は、異なるベンチマーク上で、異なる専門家品質とハイパーパラメータ最適化（HPO）予算を背景に、個別に提案されてきました。その結果、実務家はどの統合メカニズムが専門家から最大の価値を抽出できるのか、また専門家不完全（調整不足、バイアス、ノイズなど）の場合に生じる特定の失敗モードについて、明確な理解を持っていません。

手法と実験プロトコル
著者は、5 つの専門家誘導型手法（IBRL、2 つの JSRL 変種、Residual SAC、および EDGE と呼ばれる新しい手法）の比較を、共有された Soft Actor-Critic（SAC）バックボーン上で調和させました。評価プロトコルは厳格かつ標準化されています：

• ベンチマーク： 4 つの連続制御タスク：FourTank（MIMO 目標値追跡）、Plane3DCircle（壊滅的失敗を伴う 3 次元航空機追跡）、GlassFurnace（長視野熱制御）、およびCheetahRun（歩行）。このうち 2 つ（Plane3DCircleとGlassFurnace）は新しいベンチマークとして公開されました。
• シードと予算： 制御タスクには 100 シード、歩行には 50 シードを使用し、100 万環境ステップで訓練しました。
• 専門家品質： 「劣化スウィープ」により、専門家の調整不足、動作バイアス、および観測ノイズに対するロバスト性をテストしました。
• 指標： 性能は、専門家のパフォーマンスおよび理論的な物理的天井に対するリターンを正規化する「専門家正規化アドバンテージ（ENA）」を用いて測定されました。

主要な貢献

1. 共通プロトコル・ベンチマーク： 本論文は、同一の HPO および評価条件の下での専門家誘導型 RL 手法の直接比較を確立し、単一の手法がすべてのタスク構造で支配的ではないことを明らかにしました。
2. 失敗モードの分類（F1–F3）： 調和された比較により、単一論文の評価では見逃されていた 3 つの特定の失敗モードが浮き彫りになりました：
   • F1（クリティックの盲点）： argmax動作選択を使用する手法（IBRL など）において、クリティックは専門家が勝つ状態において専門家の動作に「アンカー」されます。これにより、その状態におけるポリシー自身の動作に対する新しいベルマンターゲットがクリティックに与えられなくなり、専門家が非常に強力（RL 天井に近い）な場合、手法が専門家なしの SAC ベースラインよりも劣る結果となります。
   • F2（残差飽和）： 加法的補正手法（Residual SAC）は動作空間によって制限されます。専門家が弱いタスクでは、専門家の構造的誤差を克服するために必要な補正がこの制限を超え、他の手法よりもはるかに低い性能で頭打ちになります。逆に、ほぼ最適な専門家では、この制限により Residual SAC は専門家のパフォーマンスを即座に継承できます。
   • F3（ウォームスタート・バッファ汚染）： 訓練時のハンドオフ（固定されたウォームスタート期間中に専門家を実行し、その後ポリシーに切り替える）を使用する手法は、専門家が不完全な場合に苦しみます。ウォームスタート中に収集されたリプレイバッファは、特定の（潜在的に欠陥のある）専門家の状態を反映しており、ポリシーは異なるまたは摂動されたシステムに展開された際に回復に失敗します。
3. 決定ルール： 著者は、3 つの観測可能変数（専門家品質、タスク終了、期待される摂動タイプ）を推奨される手法にマッピングする、検証可能な決定ルールを導出しました。例えば、専門家が天井に近く非終了型の場合、IBRL は F1 により失敗すると予測されます。逆に、専門家が弱くタスクが終了型の場合、Residual SAC は F2 により失敗すると予測されます。
4. EDGE（Expert-Driven Guided Exploration）： 本論文は、特定された失敗モードを回避するように設計された新しい手法 EDGE を導入しました。EDGE は、決定論的なargmaxゲートを、品質を考慮した悲観的ゲート付き確率的混合メカニズムに置き換えます。アンサンブル・クリティックを用いて下限信頼区間（LCB）を計算し、ソフトマックスゲートを適用して専門家とポリシーの間を確率的に選択します。重要なのは、クリティックが完全な可視性を持つことを保証するために、専門家の内部コントローラー状態（例：PID 積分器状態）を状態に付加することです。

結果

• 支配的な手法の不在： 各手法は特定の領域で優れますが、他の領域では予測可能に失敗します。例えば、Residual SAC はFourTank（天井に近い専門家）でトップとタイですが、Plane3DCircle（弱い専門家）では崩壊します。IBRL は F1 のため、FourTankにおいて専門家なしの SAC に支配されます。
• ロバスト性： 専門家の摂動（調整不足、バイアス、ノイズ）下では、明確なランキングが逆転します。各ステップで専門家へのフォールバックを維持する手法（JSRL-カリキュラム、EDGE）は、訓練時の専門家劣化に対してよりロバストであるのに対し、Residual SAC はその有界な補正により、展開時の動作バイアスに対してよりロバストです。
• EDGE の性能： EDGE はすべてのタスクで競争力があります。Plane3DCircleでは、文字通りのトンプソンサンプリングや他のベースラインを大幅に上回り、確率的ゲートと LCB スコアリングの組み合わせが有効であることを示しています。
• 「RL 天井に近い」の壁： 専門家がすでに専門家なし RL エージェントのパフォーマンスに非常に近いタスク（例：専門家なし RL リターンの 98% に達するFourTank）では、100 万ステップの予算内でクエリ時専門家手法が専門家を凌駕することはありません。著者は、これが根本的な制限か予算効果のいずれかである可能性を指摘していますが、高度に有能な専門家の場合、クエリ時混合のオーバーヘッドは標準的な訓練範囲内では利益をもたらさない可能性を示唆しています。

意義と主張
本論文の主な貢献は、ベンチマーク、分類、および決定ルールであり、これらは実務家に、専門家とタスクの具体的な特性に基づいて専門家誘導型手法を選択するためのフレームワークを提供します。著者は明示的に、EDGE は特定された軸（ゲート形式とスコアリングルール）が個別に活用可能であることを実証するための「設計プローブ」として提供されるものであり、最先端（SOTA）の支配を主張するものではないと述べています。

この研究は、統合メカニズムが重要であることを浮き彫りにしています。完璧な専門家ではよく機能する手法も、わずかに不完全な専門家では壊滅的に失敗する可能性があります。F1、F2、F3 を特定することで、本論文は、孤立した手法の提案から、専門家誘導型 RL がいつ、なぜ成功または失敗するかを体系的に理解する段階へと分野を前進させました。著者は、専門家すでに物理的または RL 天井に近い場合、現在の予算内での最も実用的な解決策は、RL 統合からの限界利益が現在無視できるほど小さいため、専門家を直接展開することであると結論付けています。