技術的サマリー：ワンステップベルマンアライメントはオンライン強化学習における証明可能な効率的な転移を可能にする

1. 問題定義

本論文は、エピソード型マルコフ決定過程（MDP）における**オンライン転移強化学習（RL）**の課題に取り組む。この設定では、学習者がターゲットタスク（$M^{(0)}$）と相互作用する一方で、関連するソースタスク（$M^{(m)}$）からの経験にアクセスできる。目標は、探索や後悔の保証を損なうことなく、ソースデータを活用してターゲットタスクの学習を加速することである。

特定された根本的な障壁は、タスク類似性の定義とオンライン RL の学習メカニズムとの間の不一致である：

• タスク類似性： 通常、報酬、遷移、または価値関数を通じて定義される。
• RL 学習メカニズム： 最新のオンライン RL アルゴリズム（例：Q 学習）は、ワンステップのベルマンターゲットを回帰することで動作し、これは継続価値（$V_{h+1}$）と遷移分布（$P_h$）の両方に依存する。

著者らは、ソースタスクからのベルマン更新を単純にプーリングすることは体系的なバイアスを導入すると主張する。タスクが本質的に近接していても、ターゲットの継続価値 $V^{(0)}_{h+1}$ をソースの値 $V^{(m)}_{h+1}$ に置き換えるか、またはソースの遷移分布 $P^{(m)}_h$ を使用することは、反復ごとに変化する価値関数に依存する不一致を生み出す。この構造的バイアスは、楽観主義に基づく探索を破綻させ、標準的な後悔の保証を無効化する。なぜなら、誤りはターゲットデータの増加とともに消失しないからである。

2. 手法：再重み付けターゲティング（RWT）

構造的バイアスを解消するため、本論文はタスク間でのベルマン作用素を整合させる作用素レベルの修正である**再重み付けターゲティング（RWT）**を提案する。

2.1 ワンステップベルマンアライメント

核心的な洞察は、継続価値をターゲットタスクの下で評価し、遷移の不一致を測度変換によって修正する場合、タスク間のベルマン不一致は固定されたワンステップ修正に還元できるという点である。

ソースタスク $m$ とターゲットタスク $0$が与えられたとき、密度比を$\omega^{(m)}_h(s' | s, a) = p^{(0)}_h(s' | s, a) / p^{(m)}_h(s' | s, a)$ とする。RWT 整合ベルマン作用素は以下のように定義される：
$$(B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) := R^{(m)}_h(s, a) + \gamma \mathbb{E}_{s' \sim P^{(m)}_h} \left[ \omega^{(m)}_h(s' | s, a) V^{(0)}_{h+1}(s') \right]$$
重要なのは、継続価値 $V^{(0)}_{h+1}$ がターゲット価値関数である点である。真のターゲットベルマン作用素と RWT 整合ソース作用素との差は、以下のように簡略化される：
$$\Delta^{(m)}_h(s, a) = (B^{(0)}_h V^{(0)}_{h+1})(s, a) - (B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) = R^{(0)}_h(s, a) - R^{(m)}_h(s, a)$$
この結果は、タスクの不一致が価値関数 $V_{h+1}$ に依存しない固定されたワンステップの報酬差 $\Delta^{(m)}_r$ になることを示している。これにより、転移問題は複雑で反復依存のバイアスを学習するのではなく、構造化された残差を学習する問題へと変換される。

2.2 アルゴリズム的枠組み：RWT Q-学習

著者らは、分散低減とバイアス修正を分離する 2 段階のRWT Q-学習枠組み（アルゴリズム 1）を提案する：

1. ステージ I：ソースベースのベースライン（分散低減）
   • 現在のターゲット価値推定 $V_{h+1}$ を用いて、ソースデータから RWT 整合の疑似ラベルを構築する。
   • これらの疑似ラベルを用いてベースライン推定量 $Q^{base}_{n,h}$ を適合させる。これにより、報酬差までターゲットタスクとのベルマン整合性を維持しつつ、豊富なソースデータを活用して推定分散を低減する。
2. ステージ II：ターゲットベースの修正（バイアス修正）
   • ターゲットデータを用いて残差ラベルを計算する：$z_{i,h} = y^{(0)}_{i,h} - Q^{base}_{n,h}(s_{i,h}, a_{i,h})$。
   • 構造化されたワンステップの報酬差 $\Delta^{(m)}_r$ を捉える修正項 $\delta_{n,h}$ を推定する。
   • 最終的な転移推定量は $Q^{trans}_{n,h} = Q^{base}_{n,h} + \delta_{n,h}$ となる。
3. 探索：
   • 探索ボーナス $b_{n,h}$ を $Q^{trans}_{n,h}$ に加えて楽観的推定量 $Q^{ucb}_{n,h}$ を形成する。これには、ソースベースライン（密度比推定を含む）とターゲット修正からの不確実性の両方が考慮される。

2.3 理論的具体化（RKHS）

この枠組みは、**再生核ヒルベルト空間（RKHS）**関数近似の下で具体化される：

• ターゲットベルマンバックアップは、高複雑性の RKHS $\mathcal{K}$ に存在すると仮定される。
• タスクシフト（報酬差 $\Delta^{(m)}_r$）は、より低複雑性の RKHS $\tilde{\mathcal{K}} \subseteq \mathcal{K}$ に存在すると仮定される。
• ベースラインと修正の両段階にカーネルリッジ回帰が使用される。
• 探索ボーナスは、それぞれのカーネルの情報利得とカバリング数に基づいて導出される。

3. 主要な貢献

1. 概念的： オンライン転移の正しい抽象化としてワンステップベルマンアライメントの特定。本論文は、継続価値への依存により単純なベルマン再利用が構造的バイアスを有し、後悔の保証と両立しないことを実証する。
2. アルゴリズム的： ソースデータの統計的に妥当な再利用を可能にする作用素レベルの修正である**再重み付けターゲティング（RWT）**の提案。これにより、分散低減（ソース）とバイアス修正（ターゲット）を分離する 2 段階の Q-学習枠組みが得られる。
3. 理論的： RKHS 近似の下で、フルターゲット MDP の複雑性ではなくタスクシフト（報酬差）の複雑性にスケーリングする後悔の上限の確立。シフトが構造化されている場合、単一タスク学習に対して厳密な改善を提供する。
4. 実証的： 表形式およびニューラルネットワーク設定の両方で、単一タスク学習および単純なプーリングに対する一貫した改善を実証し、ベルマンアライメントの理論的必要性を検証する。

4. 結果

理論的結果

タスクシフトがより低複雑性の RKHS $\tilde{\mathcal{K}}$ に存在するという仮定の下、OFU-RWT アルゴリズムの後悔上限は以下のようになる：
$$\text{Regret}(N) \lesssim H \sqrt{N \beta_1} \left( N^{\beta_1+1} + N^{\alpha_1+1} \right) + \text{Source Terms}$$

• 支配的な項は、周囲のターゲット MDP（$\mathcal{K}$）ではなく、タスクシフト（$\tilde{\mathcal{K}}$）の複雑性に依存する。
• シフトが周囲の問題よりも単純な場合（例：$\alpha_1 \leq \beta_1$）、後悔は単一タスク学習の $O(H N^{1/2+\beta_0})$ 率よりも厳密に低くなる。
• ソース推定項は、ソースからターゲットへのサンプリング比率 $\kappa$ が増加するにつれて減少する。

実証的結果

実験はRandomRewardGridEnvで行われた。ここでは、ターゲット報酬は固定の Q テーブルであり、ソース報酬は摂動されたバージョン（$R_{source} = R_{target} + \Delta$）である。

• 単純なプーリング： ターゲットのみの学習と比較して一貫して性能が低下し、理論によって予測された構造的バイアスを確認した。
• RWT-Q： 表形式および深層 Q ネットワーク（DQN）設定の両方で、単純なプーリングおよびターゲットのみのベースラインを上回った。
• サンプル効率： RWT-Q は、報酬シフトが構造化されているが非自明な場合に特に、サンプル効率において顕著な向上を示した。

5. 意義と主張

本論文は、ベルマンアライメントがオンライン RL にとって不可欠なモデル非依存の転移原理であると主張する。

• 構造的対統計的： 単純な転移の失敗は、統計的な問題（データ不足）ではなく、構造的な問題（作用素の不一致）として特定される。
• 分解： タスクの不一致を固定されたワンステップ修正に還元することにより、RWT は学習をソース駆動の分散低減フェーズとターゲット駆動のバイアス修正フェーズに分離することを可能にする。
• 後悔の保証： 共有表現やオフライン仮定に依存する以前の転移手法とは異なり、この研究は証明可能な効率的なオンライン転移を提供し、タスクではなくシフトの複雑性に適応する後悔の上限を伴う。
• 一般性： このメカニズムは、特定の探索戦略（$\epsilon$-greedy または UCB と互換性あり）や関数近似器（表形式またはニューラル）に依存しないため、オンライン RL 転移の一般的な原理となる。