技術要約：線形Q学習における幾何平均を用いたハードターゲット更新

問題設定

現代の深層Q学習において、周期的なハードターゲット更新（$m$ステップごとにオンラインネットワークをターゲットネットワークにコピーすること）は、標準的な安定化メカニズムである。これは経験的に堅牢であるが、関数近似が存在する場合の周期的なハードターゲット更新の正確な理論的ダイナミクスは、依然として活発な研究領域である。具体的には、既存の文献では、線形Q学習という扱いやすい設定における周期的なハードターゲット更新の正確な境界ダイナミクスを完全には特徴付けていない。

核心となる課題は、異なるターゲット更新戦略（例：標準的な周期更新と投影Q値反復）が同じ固定点方程式（投影ベルマン方程式）を共有している可能性がある一方で、その収束特性と安定性証明が大きく異なることにある。本論文は、**周期1の決定論的線形Q学習（DLQL）と投影Q値反復（PQVI）**の間の溝を埋めるために、ターゲット更新メカニズムの連続的なパラメータ化を導入することで、この課題に取り組む。

手法

1. 理論的枠組み：スイッチングシステムとJSR

本論文は、スイッチング線形システムモデルを用いて線形Q学習を分析する。このフレームワークにおいて：

• ベルマン最大演算子は、有限個の決定論的な強欲方策（モード）の中から一つを選択するスイッチング信号として表現される。
• 安定性は、これらのスイッチングモードによって生成される行列族の**共同スペクトル半径（JSR）**を用いて証明される。JSRが1未満（$\rho < 1$）であれば、任意のスイッチングの下で一様指数的な誤差の減衰が保証される。
• 分析は、Lee and Lim (2026) によるスイッチングシステムモデル、および Lee (2026a) によるターゲット更新の分析に基づいている。

2. $\lambda$-ターゲット更新メカニズム

本論文では、単一の整数としてのターゲット周期 $m$ の選択を、すべてのハードターゲット周期に対する幾何平均に置き換える手法である $\lambda$-DLQL を導入する。

• 定義: 更新写像は、幾何学的重み $(1-\lambda)\lambda^{m-1}$ を用いた、$m$ 周期の境界写像 $A_{\mu, m}^{\text{DLQL}}$ の加重和として定義される（ここで $\lambda \in [0, 1]$）。
• 端点:
  • $\lambda = 0$ のとき：標準的な周期1のDLQL（1ステップ更新）を回収する。
  • $\lambda \uparrow 1$ のとき：PQVIを回収し、実質的に無限のターゲット周期に対応する。
• 補間: パラメータ $\lambda$ は、短期ホライゾン（DLQL）と長期ホライゾン（PQVI）の更新を連続的に補間する。これは、エルゴディティ・トレースやマルチステップ・リターンではなく、ハードターゲット境界写像に対して適用されるという点で、TD($\lambda$)の精神に類似している。

3. 実装戦略

幾何平均を無限の期間のシミュレーションなしに計算可能にするため、本論文では3つの等価な実装を提案している。

1. 再帰的ソルバー（逆形式）: 以下の閉形式の線形補正方程式を導出する：
   $$\bar{\theta}_{n+1} = \bar{\theta}_n + \alpha \left[ (1-\lambda)I + \lambda \alpha \Phi^\top D \Phi \right]^{-1} \Phi^\top D (R + \gamma P \Pi_{\pi_n} \Phi \bar{\theta}_n - \Phi \bar{\theta}_n)$$
   これは、各境界においてサイズ $m \times m$（特徴量次元）の線形システムを解くことを必要とする。
2. 逆形式を用いない再帰（Inverse-Free Recursion）: 補正項を追跡するために補助変数 $w_n$ とリチャードソン反復を使用し、行列の明示的な逆行列計算を回避する。これにより、拡張された状態空間を持つ2行の再帰式が得られる。
3. サンプリングされた周期-$M$実装: 平均化を行う代わりに、アルゴリズムは幾何分布 $P(M=m) = (1-\lambda)\lambda^{m-1}$ から周期 $M$ をサンプリングし、次のターゲットコピーが行われる前に正確に $M$ 回のオンライン更新を実行する。

主な貢献

1. ハードターゲットの幾何平均化: 本論文は、基礎となる固定点方程式（投影ベルマン方程式）を変更することなく、DLQLとPQVIの離散的な端点を結ぶ連続的なターゲット更新写像の族（$\lambda$-DLQL）を構築する。
2. JSRによる安定性分析: 著者らは、$\lambda$-DLQLの収束が、結果として得られるスイッチング族 $A_{\lambda}^{\text{DLQL}}$ のJSRによって決定されることを示す厳密な安定性分析を提供する。
   • $\lambda \to 0$ のとき、JSRはDLQLの族のJSRに収束することを証明している。
   • $\lambda \to 1$ のとき、JSRはPQVIの族のJSRに収束する。
   • また、一方の端点での安定性が他方の端点での安定性を保証しないことを示し、中間的な $\lambda$ 値が、端点が失敗する場合に安定性の証明を提供できる可能性があることを示している。
3. アルゴリズムの等価性: 再帰的な逆形式、逆形式を用いない補助再帰、およびサンプリングされた周期-$M$実装が、（一意性を仮定した場合）同じ投影ベルマン固定点に収束し、特定の条件下（例：逆形式を用いないバージョンの小さなステップサイズ）で同じ理論的安定特性を共有することを実証する。
4. 端点の理論的特性付け: 本論文は、DLQLとPQVIが同じ投影ベルマン方程式を解く一方で、それらの誤差ダイナミクスは異なるスイッチング族（$A^{\text{DLQL}}$ 対 $A^{\text{PQVI}}$）によって支配されることを明確にしている。

結果

• 収束: ステップサイズ $\alpha$ が $0 < \alpha < 2/\lambda_{\max}(\Phi^\top D \Phi)$ を満たすという条件下で、関連するスイッチング族（$\lambda < 1$ の場合の $A_{\lambda}^{\text{DLQL}}$ または $\lambda=1$ の場合の $A^{\text{PQVI}}$）のJSRが1未満であれば、境界誤差は一様に指数関数的にゼロに収束することを証明している。
• 端点の挙動: 定理7.1は、DLQLとPQVIのJSRの値に基づく4つのシナリオを詳述している：
  • 両方が安定な場合、小さい $\lambda$ も大きい $\lambda$ も安定である。
  • PQVIのみが安定な場合、大きい $\lambda$ は安定だが、小さい $\lambda$ は不安定である。
  • DLQLのみが安定な場合、小さい $\lambda$ は安定だが、大きい $\lambda$ は不安定である。
  • 両方が不安定な場合、端点は不安定であるが、中間的な $\lambda$ が理論的にJSRを改善できる可能性がある（ただし、本論文ではこれは保証されないと注記している）。
• 実装の妥当性: 再帰的実装、逆形式を用いない実装、およびサンプリングされた周期-$M$実装が、固定点および誘導される誤差ダイナミクス（逆形式の場合）または拡張されたシステム（逆形式を用いない場合）の観点から、幾何平均の定義と数学的に等価であることを示している。

意義と主張

本論文は、線形Q学習におけるハードターゲット更新を理解するための統一的な理論的枠組みを提供することを主張している。その主な意義は以下の通りである：

• ギャップの架け橋: 離散的で周期的なハードコピーメカニズム（深層RLで一般的）を、単一のパラメータ $\lambda$ を通じて、連続的な投影値反復（標準的な理論的ベンチマーク）へと接続している。
• 精密性: 線形近似における正確な境界ダイナミクスとJSRベースの安定性証明を提供することで、経験的な観察を超えた議論を行っている。
• 柔軟性: ターゲット更新の「実効的な周期」を連続的に調整するメカニズムを提供しており、これにより、標準的な端点（周期1または無限周期）が最適でない場合に、安定性を最適化する $\lambda$ を選択できる可能性がある。
• 実装: この理論的メカニズムを、無限のホライゾンをシミュレートすることなく実現する、実用的で実装可能なアルゴリズム（再帰的および逆形式を用いないもの）を提供している。

著者らは、この定式化が決定論的な線形Q学習のためのものであることを明示しているが、その定式化は確率的な強化学習の設定にも拡張可能であるとしている。本研究は、非線形な深層RLの問題を直接解決することを目的としているのではなく、線形領域におけるターゲット更新の基礎的なダイナミクスを明らかにすることを目指している。