技術要約：関数近似下におけるオンラインKL正則化強化学習のミススペシフィケーション（モデル誤設定）に関する研究

1. 問題定式化

本研究は、選択されたモデルクラスが**ミススペシフィケーション（モデル誤設定）されている状況下での、一般的な関数近似を用いたKL正則化コンテキスト・バンディットおよびエピソード型強化学習（RL）**の問題に取り組むものである。

標準的な設定では、理論的な保証は、真の報酬関数または価値関数が学習者の関数クラス内に正確に含まれていると仮定する実現可能性（realizability）の仮定に依存することが多い。しかし、人間からのフィードバックによる強化学習（RLHF）や大規模言語モデル（LLM）の事後学習といった実用的なアプリケーションでは、学習者は複雑で非線形な報酬構造を完全に捉えることができない制限された関数クラス（例：線形モデルや低ランクモデル）を頻繁に使用する。これは、無限のデータを用いたとしても、選択されたクラス内の最良の予測器が非ゼロの近似バイアスを保持することになるミススペシフィケーションを招く。

具体的な目的は以下の通りである：

• コンテキスト・バンディット： 参照方策 $\pi_{\text{ref}}$ と正則化パラメータ $\eta$ によって定義される、KL最適ギブス方策に対する累積KLリグレットを最小化すること。
• エピソード型RL： ステージごとの参照方策に対するKLペナルティによって方策更新が正則化される、エピソード型MDP設定における累積KLリグレットを最小化すること。

核心となる課題は、標準的な報酬リグレットの定式化におけるミススペシフィケーション分析が、最適化の幾何学的構造やベルマン・ターゲットの違いにより、KL正則化設定に直接転用できないことである。

2. 手法

2.1 ミススペシフィケーションの定式化

著者らは、KL正則化された目的関数に適合するように設計された特定のミススペシフィケーション条件を導入している：

• コンテキスト・バンディット： 真の報酬 $R^\star$ とクラス $\mathcal{R}$ 内の最良近似器との間の二乗誤差が $\zeta_{\text{Bandit}}^2$ で抑えられるという、点別（pointwise）ミススペシフィケーション定式化。
• エピソード型RL： KL正則化ベルマン・ターゲットに整合したステージ別（stagewise）ミススペシフィケーション条件。これは、真のベルマン・バックアップ（対数分配演算子を含む）と、ステージごとの関数クラス $\mathcal{R}_h$ 内の最良近似器との間の誤差を $\zeta_{\text{RL}}$ で抑えるものである。

2.2 アルゴリズム

本論文では、不確実性とミススペシフィケーションに対処するために楽観性を組み込んだ、2つの回帰ベースのアルゴリズムを提案している：

1. MR-KL-UCB (コンテキスト・バンディット)：

   • 観測されたデータに対して経験的リスク最小化（ERM）を行う。
   • 関数クラスの**エルーダー次元（eluder dimension）**に基づく不確実性ボーナスを計算する。
   • 既知のミススペシフィケーションレベル $\zeta_{\text{Bandit}}$ をボーナスに加算する。
   • 楽観的な報酬推定値から導出されたギブス分布を用いて方策を更新する：$\pi_t(a|x) \propto \pi_{\text{ref}}(a|x) \exp(\eta \hat{R}_t(x,a))$。

2. MR-KL-LSVI (エピソード型RL)：

   • KL正則化設定への最小二乗価値反復（LSVI）の拡張。
   • 後方計画を実行する：各ステージ $h$ において、次ステージからの継続価値を用いて回帰ラベルを再計算する。
   • ステージごとのERMを実行し、不確実性ボーナスを計算し、ミススペシフィケーションレベル $\zeta_{\text{RL}}$ を加算する。
   • ステージごとの参照方策に対するギブス方策改善を通じて方策を更新する。
   • KL正則化を扱うために、**ソフト価値更新（対数分配演算子）**を使用する。

2.3 理論的分析手法

分析には以下の高度な手法を組み合わせている：

• ギブス変分恒等式（Gibbs Variational Identity）： KLギャップとスコアの差の関係を利用して、リグレットを抑え込む。
• 二次自己境界（Quadratic Self-Bounding）： 学習者の方策と最適方策の間のKLギャップが、それらのスコア関数の二乗差（楽観性ギャップ）によって上界に抑えられることを確立する。
• ベルマン残差への還元： 二乗オンポリシーQギャップを二乗ベルマン残差項に変換し、KL特有の寄与を分離する。
• フリードマンの不等式（Freedman's Inequality）： 予測可能な二乗ボーナスの和を実現された和と一致させ、高確率の保証を確保するために使用される。

3. 主な貢献

1. 新規のミススペシフィケーション定式化： 本論文は、コンテキスト・バンディット（点別）およびエピソード型RL（ベルマンパスに沿ったステージ別）の両方について、KLに整合したミススペシフィケーション条件を初めて定義した。
2. アルゴリズム設計： KL正則化された目的関数に必要なギブス方策の構造を維持しながら、既知のミススペシフィケーションレベル（$\zeta$）に合わせて楽観性ボーナスを明示的に較正する MR-KL-UCB および MR-KL-LSVI を導入した。
3. 高確率リグレット保証： 統計的複雑性（エルーダー次元を介して）とミススペシフィケーションによる近似誤差を明示的に分離した、高確率のKLリグレット境界を確立した。
   • バンディットの場合：$O(\eta \sqrt{\log(N_R T/\delta) \cdot d(\mathcal{R}, \lambda, T)} + T\zeta_{\text{Bandit}}^2)$。
   • RLの場合：$\tilde{O}(\eta H^2 \sqrt{d_{\text{RL}}(\lambda, T)} + \eta H^3 T \zeta_{\text{RL}}^2)$。
4. 実現可能なケースの回復： 分析により、ミススペシフィケーションレベルがゼロ（$\zeta = 0$）の場合、これらの境界が実現可能なKL正則化設定における最先端の保証を回復することが示されている。

4. 結果

主な理論的結果（定理 5.1 および系 5.4）は、以下の保証を提供する：

• コンテキスト・バンディット： 点別ミススペシフィケーションモデルの下で、累積KLリグレットは、関数クラスのエルーダー次元の平方根に比例し、全時間ホライゾン $T$ に二乗ミススペシフィケーション誤差 $\zeta_{\text{Bandit}}^2$ を乗じたものに線形に比例する。
• エピソード型RL： ステージ別ミススペシフィケーション条件の下で、リグレットはホライゾン $H$、正則化パラメータ $\eta$、集約されたエルーダー次元、および二乗ミススペシフィケーション誤差 $\zeta_{\text{RL}}^2$ に比例する。この境界には、ミススペシフィケーションレベルによって制御される、二乗ボーナスの和に対する明示的な項が含まれている。

これらの結果は、高確率（$1-\delta$）で成立し、条件付き劣ガウスノイズを仮定している。

5. 意義と主張

本論文は、RLHFおよび選好学習において、ミススペシフィケーションが一般的であるにもかかわらず、理論的分析においてしばしば無視されてきたという、理論的理解における決定的なギャップを埋めるものであると主張している。

• 理論と実践の架け橋： 実現可能性の仮定を超えて、複雑な報酬ランドスケープを近似するために単純な関数クラス（線形モデルなど）が使用される現代的なRLアプリケーションに対し、より現実的な理論的枠組みを提供している。
• 構造的洞察： 分析は、KL正則化された目的関数が、標準的な報酬リグレットの定式化とは異なる、特定の幾何学的課題（例：対数分配演算子やギブス方策）を導入することを浮き彫りにしている。
• 堅牢性： 提案されたアルゴリズムは近似誤差に対して堅牢であり、ミススペシフィケーションレベルが増加しても、実現可能性に依存する一部の境界が示唆するような完全な破綻を起こすことなく、緩やかに劣化する。

著者らは、本モデルが点別ミススペシフィケーションおよび軽微な裾を持つノイズを想定していることを述べている。また、これらの保証をオンポリシーのミススペシフィケーション尺度、ヘビーテイル（重い裾）の設定、および現在の範囲を超えた選好ベースのフォーマットを含むより広いフィードバックモデルへ拡張することが、重要な今後の方向性であることを認めている。