技術的サマリー：サンプル効率の高い連続制御のためのバイアス除去モデルベース表現

問題定義

強化学習（RL）エージェントはしばしばサンプル非効率に陥り、効果的な方策を学習するために広範なオンライン相互作用を必要とする。モデルフリー手法は様々な技術を通じて効率を向上させてきたが、モデルベース手法は環境のダイナミクスを学習することでより高いサンプル効率を提供する一方で、高い訓練コストを伴う。最近のハイブリッド手法は、モデルベース表現（潜在ダイナミクスを状態 - 行動表現に埋め込むこと）を学習して下流のアクター - クリティックネットワークに供給し、両方のパラダイムの利点を組み合わせようとする。

しかし、著者は既存のモデルベース表現手法において、最適ではない性能をもたらす 2 つの重要なバイアス源を特定している：

1. 表現バイアス：既存の手法は通常、現在の状態 - 行動表現（$z_{sa}$）と次の状態表現（$z_{s'}$）間の数値的乖離（例えば、平均二乗誤差）を最小化する。著者らは、ユークリッド距離を最小化することが本質的にこれらの表現間の相互情報量を最大化するわけではないと主張する。その結果、学習された表現は十分な関連情報を捉えられなかったり、特に高次元空間において冗長な要素に過剰適合したりする可能性がある。
2. サンプリングバイアス：均一サンプリングや優先度付き経験再生（PER）などの標準的な経験再生戦略は、プライマシーバイアスの影響を受けやすい。PER は時間的差分（TD）誤差が大きい遷移を好むが、これはしばしば初期の、潜在的に最適ではない経験に対応する。これにより、エージェントは現在の方策分布から大きく逸脱している可能性のある初期データに過剰適合し、訓練の不安定性や劣った性能を引き起こす。

手法：DR.Q アルゴリズム

これらの問題に対処するため、著者は情報豊富なモデルベース表現を学習するために設計されたオフポリシー RL アルゴリズムであるDR.Q（Q 学習のためのバイアス除去モデルベース表現）を提案する。このフレームワークは学習プロセスを 2 つのフェーズに分離する：(i) モデルベース目的を用いた状態および状態 - 行動表現の学習、および (ii) 下流の価値関数と方策の最適化。

1. 表現学習における相互情報量の最大化

DR.Q は、表現間の乖離を最小化するだけでなく、状態 - 行動表現（$z_{sa}$）と次の状態表現（$z_{s'}$）間の相互情報量を明示的に最大化するようにエンコーダの訓練目的を修正する。

• 潜在一貫性損失：予測された次の状態表現とターゲットの次の状態表現間の MSE を最小化する。
• 相互情報量損失：相互情報量の直接計算の扱いにくさを回避するため、DR.Q はInfoNCE 損失（相互情報量の下限）を採用する。この損失は、表現が数値的に近いだけでなく、潜在ダイナミクスに関する共有された情報豊富な知識を符号化することを促す。
• 理論的正当性：著者らは（定理 4.1）、MSE を最小化することが相互情報量の増加を保証しないことを証明する。さらに、彼らは（補題 4.2）相互情報量を最大化することが、現在の状態 - 行動に条件付けられた次の状態の条件付きエントロピーを厳密に減少させ、より決定論的で識別力のある潜在ダイナミクスモデルにつながり、価値推定誤差の上限を狭めることを示す。

2. フェード優先度付き経験再生（Faded PER）

DR.Q は、優先度付き経験再生（PER）と忘却メカニズムを組み合わせることでプライマシーバイアスを軽減する新しいサンプリング戦略を導入する。

• メカニズム：遷移 $e_i$ に対するサンプリング確率 $P(i)$ は、その TD 誤差の大きさと、再生バッファ内での年齢に基づく減衰因子の積に比例する：
  $$P(i) \propto |\delta(i)|^\alpha (1 - \epsilon)^i$$
  ここで、$\delta(i)$ は TD 誤差、$\alpha$ は平滑化係数、$\epsilon$ は減衰率である。
• 効果：この戦略は、新しい（最近追加された）かつ情報豊富（大きな TD 誤差を持つ）遷移に高い優先度を割り当てる。これにより、初期に大きな誤差を持っていたとしても、方策が進化するにつれて古い経験が徐々に優先度を下げられ、エージェントが古くなったデータに過剰適合するのを防ぐ。
• 理論的解析：著者らは（定理 4.3）、Faded PER の下では、同一の TD 誤差を持つ古い経験のサンプリング確率が新しい経験よりも厳密に低く、古い経験の期待サンプリング回数が有界であることを示す理論的 bound を提供する。

主要な貢献

1. DR.Q アルゴリズム：多様な連続制御ベンチマークにわたって単一のハイパーパラメータセットを用いてモデルベース表現を学習する汎用的なオフポリシー RL アルゴリズム。
2. バイアス除去表現学習：標準的な潜在一貫性損失を補完する InfoNCE ベースの相互情報量損失の導入により、表現が十分に情報豊富で表現力があることを保証する。
3. フェード優先度付き経験再生：高誤差遷移の優先化の利点と、古くなった経験を忘却する必要性を効果的にバランスさせるサンプリング戦略により、プライマシーバイアスを軽減する。
4. 包括的な評価：3 つの標準ベンチマーク（MuJoCo、DMC Suite、HumanoidBench）から 73 タスクにわたる広範な実証的検証により、堅牢性と一般化能力を実証する。

実験結果

著者らは、DR.Q をモデルフリー手法（SimBaV2、FoG、TD7 など）およびモデルベース手法（MR.Q、TDMPC2、DreamerV3 など）を含む強力なベースラインと比較評価した。

• 性能：DR.Q は一貫して最先端のベースラインと同等かそれ以上の性能を発揮する。顕著な改善には以下が含まれる：
  • DMC-Hard タスクにおいて SimBaV2 より**15.5%**の向上。
  • HumanoidBench（器用な手付き）タスクにおいて FoG より**58.9%**の改善。
  • DMC-Visual タスクにおいて MR.Q より**26.8%**のリード。
• サンプル効率：DR.Q は優れたサンプル効率を達成し、しばしばベースラインを大幅に上回る。例えば、100 万環境ステップ以内に困難な dog-run タスクで平均リターン 700 を超えることを報告した最初の手法である。
• アブレーション研究：実験により、InfoNCE 損失またはフェード PER メカニズムを除去すると、冗長な状態情報を持つ高次元タスク（例えば、手付きの HumanoidBench）において特に顕著な性能低下が生じることが確認された。
• 表現の質：t-SNE 可視化は、DR.Q が MR.Q に比べてより連続的で集中したクラスターを学習することを示しており、潜在空間の構造的学習が優れていることを示唆している。

意義と主張

本論文は、DR.Q が高性能かつ汎用的なモデルフリー RL アルゴリズムの構築に向けた具体的な一歩であると主張する。表現学習（相互情報量の最大化を通じて）と経験再生（フェード PER を通じて）におけるバイアスを明示的に対処することで、DR.Q はタスク固有のハイパーパラメータ調整や複雑なアーキテクチャ変更を必要とせずに強力な性能を達成する。

著者らは、統一されたハイパーパラメータの使用に起因する Hopper-v4 などの特定タスクでの性能劣化や、限られた訓練予算内での humanoid-run のような極めて困難な視覚タスクにおける課題などの限界を指摘している。また、このアルゴリズムは困難な探索や非マルコフ性タスク向けに設計されていないことも認めている。これらの限界にもかかわらず、この研究はモデルベース表現のバイアス除去が連続制御におけるサンプル効率を向上させる viable な道であることを実証している。