技術要約：人間からのフィードバックを用いた腐敗に強いオフライン強化学習

問題定義

本論文は、**オフライン人間からのフィードバックに基づく強化学習（Offline RLHF）における腐敗への堅牢性（corruption robustness）**という課題に取り組んでいる。著者らは、オフラインデータセットが、軌跡のペア $(\tau^0, \tau^1)$ と共に、人間による選好フィードバック $o \in \{+1, -1\}$ で構成されている状況を想定している。核心となる問題は、このデータのうち $\epsilon$ 分率が、アドバーサリ（敵対者）によって汚染されていることである。この腐敗は、以下の形で現れる：

1. フィードバックの操作： 選好ラベル $o$ の反転。
2. 軌跡の特徴量の操作： 軌跡 $\tau$ の特徴量の改変。

目標は、このような汚染されたデータから、理論的な保証を伴って近最適（near-optimal）な方策を特定できるアルゴリズムを設計することである。著者らは、報酬と遷移が $d$ 次元の特徴写像 $\phi$ の線形関数である**線形マルコフ決定過程（Linear MDPs）**を仮定している。ホライゾン長は $H$ とする。

既存の文献では、腐敗のある強化学習（スカラー報酬からの学習）と、クリーンなデータに基づくオフラインRLHFを、それぞれ個別に研究してきた。しかし、これらのアプローチは、「オフライン設定において、かつ選好データから学習する」という特定の交差領域には適用できない。

手法

提案される手法は、ロバストなオフラインRLHFの問題を、ロバストなオフラインRLの問題へと還元するための3ステップのフレームワークに従う：

1. ロバスト報酬モデル推定： 著者らはまず、**トリムド最大尤度推定（Trimmed MLE）**問題を解くことで、報酬パラメータ $\theta$ をロバストに学習する。すべてのデータを使用する代わりに、尤度を最大化する $(1-\epsilon)N$ 個のサンプルを選択する。特徴量の汚染に対処するため、共変量をホワイトニング（白濁化）するためにロバスト共分散推定を用い、近似的な停留点を見つけるための交互最適化手順を実行する。
2. 信頼集合（Confidence Set）の構築： 推定された報酬パラメータ $\hat{\theta}$ の周囲に信頼集合 $\Theta(\mathcal{D})$ を構築する。この集合は、推定パラメータと真のパラメータの間の尤度比に基づいて定義され、汚染にもかかわらず、真のパラメータがその集合内に高い確率で含まれることを保証する。
3. 悲観的な方策最適化： 最後のステップは、構築された信頼集合上で悲観的な最適方策を学習することである。これは、問題を腐敗に強いオフラインRLへと還元することによって達成される。この還元に使用される具体的なアルゴリズムは、オフラインデータのカバレッジ仮定に依存する。

本論文では、以下の3つの異なるデータカバレッジ仮定の下で、それぞれ異なるロバストRLオラクルを利用して、この一般的なフレームワークを具体化している：

1. 一様カバレッジ（Uniform Coverage）

オフラインデータが特徴空間を一様にカバーしている（具体的には、差分特徴共分散行列 $\Sigma^{diff}$ が良好な条件を備えている）という仮定の下で、著者らは既存の腐敗に強いオフラインRLアルゴリズムである R-LSVI [Zha+22] をゼロ次オラクルとして利用する。

• メカニズム： アルゴリズムは、ロバストなオフラインRL手法を、方策と価値推定値を返すものの、勾配情報は提供しないブラックボックスとして扱う。
• 結果： これにより、$O(\epsilon^{1-o(1)})$ の劣最適性ギャップが得られ、これは腐敗率 $\epsilon$ に対してほぼ最適である。

2. 低相対条件数（Low Relative Condition Number）

一様カバレッジは強力すぎる仮定であることを認識し、著者らはこれを低相対条件数仮定へと緩和している。この条件はより弱く、ターゲット方策の特徴共分散と行動方策の共分散の比が有界であることのみを要求する。

• メカニズム： ゼロ次オラクル（R-LSVI）は勾配を提供できないため、著者らは ガウス近似技術 [NS17] を用いて、最適価値関数 $V^*(\theta)$ の近似劣勾配を構築する。彼らはロバストなオフラインRLオラクルをバイアスのあるゼロ次オラクルとして扱い、信頼集合上で**射影劣勾配降下法（Projected Sub-Gradient Descent）**を実行する。
• 結果： このアプローチは、$\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$ の劣最適性ギャップを達成する。ここで $\alpha$ は相対条件数である。$\epsilon$ に対する依存度は $O(\epsilon^{1/4})$ である。

3. 有界一般化カバレッジ比（Bounded Generalized Coverage Ratio）

$\epsilon$ に対する依存度をさらに改善するために、著者らは最近 Gabbianelliら [Gab+24] によって導入された有界一般化カバレッジ比仮定を検討する。

• メカニズム： この仮定の下で、著者らは、最適方策だけでなく最適価値関数の近似劣勾配も返す、新しい腐敗に強いオフラインRL手法（アルゴリズム7）を設計する。これは、線形MDPのための主双対フレームワークに基づいている。これにより、RLHFアルゴリズムは、ゼロ次スムージングを必要とせずに直接的な射影劣勾配降下を行うことができる。
• 結果： これにより、大幅に改善された $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$ の劣最適性ギャップが得られる。ここで $\nu$ は一般化カバレッジ比である。$\epsilon$ に対する依存度は $O(\sqrt{\epsilon})$ に改善される。

主な貢献と結果

本論文は、初めて証明可能な腐敗に強いオフラインRLHFの手法を提供している。主な貢献と理論的結果は、論文の表1にまとめられている：

• 新規フレームワーク： ロバストな報酬推定と信頼集合の構築を通じて、ロバストRLHFをロバストなオフラインRLへと還元すること。
• アルゴリズムの具体化：
  • アルゴリズム 1： 一様カバレッジに対し、R-LSVIをゼロ次オラクルとして使用することで、$O(\epsilon^{1-o(1)})$ の劣最適性を達成。
  • アルゴリズム 3： 低相対条件数に対し、ガウス近似を用いてゼロ次オラクルを使用することで、$\tilde{O}(\epsilon^{1/4})$ の劣最適性を達成。
  • アルゴリズム 4 & 7： 有界一般化カバレッジ比に対し、新しく設計された第一次（first-order）ロバストオフラインRLオラクルを使用して、$\tilde{O}(\sqrt{\epsilon})$ の劣最適性を達成。
• オラクルの効率性： 論文は、ゼロ次アクセスから第一次アクセス（アルゴリズム7）へ移行することで、必要なオラクル呼び出し回数が大幅に減少し、腐敗パラメータ $\epsilon$ に対する依存度が改善されることを強調している。

重要性と主張

著者らは、本研究が腐敗への耐性とオフラインRLHFを組み合わせた最初のものであると主張しており、従来の著作では不可能であった厳密な理論的保証を提供している。

• アドバーサリアル攻撃への耐性： これらの手法は、選好ラベルと軌跡特徴の両方の敵対的な操作に耐えられるように設計されており、データの信頼性が損なわれる実世界の展開において極めて重要な要件である。
• 理論的保証： 論文は、腐敗率 $\epsilon$、ホライゾン $H$、特徴次元 $d$、およびカバレッジ定数 ($\xi, \alpha, \nu$) の観点から、劣最適性ギャップに関する明示的な境界を提供している。
• 限定的な範囲と今後の課題： 著者らは現在の範囲について謙虚であり、結果が線形MDPに特有であることを述べている。彼らは、最適価値関数 $V^*(\theta)$ の $\theta$ に関する凸性が（非線形設定では保持されない可能性があるため）彼らの勾配ベースの証明に不可欠であることを挙げ、非凸報酬関数や一般的な関数近似（例：深層ニューラルネットワーク）への拡張は大きな課題であると認めている。また、予備的なシミュレーション結果は示しているものの、これらの手法を大規模言語モデル（LLM）のファインチューニングのような実用的な設定に適用することは、今後の研究におけるオープンかつ困難な方向性であるとも述べている。