技術要約：連続状態MDPにおける平均コスト基準下でのQ学習

1. 問題定式化

本論文は、連続的な状態および行動空間を持つマルコフ決定過程（MDP）を、無限ホライゾンの平均コスト基準の下で解くという課題に取り組んでいる。モデルは、タプル $(X, U, \mathcal{T}, c)$ によって定義される。ここで、$X$ と $U$ は標準ボレル空間（完備かつ可分な距離空間）、$\mathcal{T}$ は遷移カーネル、$c$ はコスト関数である。目的は、以下の長期平均コストを最小化する方策 $\pi$ を見つけることである：
$$J^*(x) := \inf_{\pi} \limsup_{T \to \infty} \frac{1}{T} \mathbb{E}^\pi_x \left[ \sum_{t=0}^{T-1} c(x_t, u_t) \right]$$

著者らは、連続空間における有限ホライゾンおよび割引コスト問題は、ベルマン作用素の縮小特性を用いて十分に研究されている一方で、平均コスト問題には特有の困難があることを強調している。具体的には、割引係数の欠如により即時的な縮小写像が失われるため、代替となる安定性とエルゴルディシティ（強正規性）の仮定が必要となる。さらに、既存の平均コスト強化学習（RL）に関する文献は、主に有限空間に焦点を当てているか、あるいは適用範囲を限定してしまうような厳格な構造的仮定（例：線形ダイナミクス、リプシッツ方策）を課している。

2. 手法

本論文は、量子化による有限近似と、それらの近似のための強化学習アルゴリズムという二段構えのアプローチを採用している。

2.1 離散化と近似

核心となる手法は、空間を量子化することにより、有限状態・有限行動の近似MDPを構築することである。

• 状態の量子化: 状態空間 $X$ を、代表状態 $y_i$ を持つ互いに素なビン $\{B_i\}_{i=1}^M$ に分割する。$X$ から $Y$（有限の代表集合）への写像 $q: X \to Y$ が定義される。
• 行動の量子化: 行動空間 $U$ を有限集合 $\Lambda$ によって近似する。
• 近似モデルの構築: 近似モデル $(\hat{X}, \hat{U}, \hat{\mathcal{T}}, \hat{c})$ は、重み測度 $\mu$（多くの場合、状態プロセスの不変測度）を用いて定義される。近似されたコストおよび遷移カーネルは、量子化ビンにおける元の関数の平均として定義される：
  $$\hat{c}(y_i, u) = \int_{B_i} c(z, u) \mu_{y_i}(dz), \quad \hat{\mathcal{T}}(A|y_i, u) = \int_{B_i} \mathcal{T}(A|z, u) \mu_{y_i}(dz)$$
• 緩和された連続性条件: 大きな手法論的転換は、従来の近似文献（例：Saldi et al., 2018）で標準的であった**全変動（Total Variation: TV）**連続性の条件を緩和した点にある。著者らは、以下の条件下での近似結果を確立している：
  1. 弱連続性 (Feller): グリッドサイズが消失する際の誤差の漸近的収束に十分である。
  2. ワッサースタイン連続性: グリッドサイズが消失する際の明示的な収束率（誤差界）を確立するのに十分である。

2.2 強化学習アルゴリズム

本論文は、構築された近似モデルの最適方策をデータから直接学習するための**量子化Q学習（Quantized Q-Learning）**アルゴブズムを提案している。

• 同期型アルゴリズム (Algorithm 1): 有限グリッド内のすべての状態行動ペアに対してQ値を同時に更新する。これは、事前に決定された測度に従って各ビンから状態をサンプリングすることに依存する。
• 非同期型アルゴリズム (Algorithm 2): 元の連続プロセスの単一の軌跡に基づいてQ値を更新する。これはより実用的であるが、量子化されたプロセス $q(X_t)$ はマルコフ連鎖ではないため（量子化された状態の観点からは部分観測MDPであるため）、非マルコフ的なノイズ項を導入する。
• 収束メカニズム: 平均コスト基準とQイテレートの有界性の欠如（割引ケースとは異なる）に対処するため、著者らは以下を利用している：
  • 同期更新のための スパン半ノルム (Span Semi-norms)。
  • エルゴルディシティの仮定: 探索方策は、量子化されたビン全体にフルサポートを持つ一意の不変測度を誘導しなければならない。
  • シフト更新: 非同期アルゴリズムは、特定のビンに基づく参照値を差し引くことで反復を安定させ、量子化されたプロセスをPOMDPとして扱う。

3. 主な貢献

本論文は、連続空間における平均コスト制御の最先端を前進させる、3つの主要な貢献を行っている：

1. より弱い条件を用いた近似理論:

   • 著者らは、従来の文献（Saldi et al., 2018など）で必要とされていた厳格な全変動連続性を緩和し、弱連続性およびワッサースタイン連続性の下での有限近似の誤差界を提供している。
   • ワッサースタイン連続性の下では、最適平均コストの誤差が量子化誤差（具体的には $L_X^\delta$）に比例する割合で減少することを確立している。
   • 弱連続性のみの下でも、離散化が細かくなるにつれて、近似方策のコストが最適コストに漸近的に収束することを証明している。

2. 量子化Q学習の収束:

   • 連続空間における同期型および非同期型Q学習アルゴリズムのほとんど確実な収束を確立している。
   • 極めて重要な点として、これらのアルゴリズムは、単に元の連続モデルではなく、構築された有限近似モデルの最適Q値に収束することを証明している。この区別は、量子化されたプロセスが厳密にはマルコフ的ではないため、非常に重要である。
   • この分析は、割引コストからより困難な平均コスト基準へと、先行研究（Kara and Yüksel, 2023など）の結果を一般化しており、非有界なQイテレートを扱うための新しい技術的分析を必要としている。

3. 近最適性の保証:

   • 近似誤差界と学習アルゴリズムの収束性を組み合わせることで、量子化Q学習を通じて学習された方策が、元の連続MDPに対して**近最適（near-optimal）**であることを示している。
   • パフォーマンスの損失は、量子化分解能およびコストと遷移カーネルのリプシッツ定数によって明示的に抑えられる。

4. 主要な結果と定理

• 定理 1 & 2 (近似界): 元のモデルの最適平均コスト ($\rho$) と近似モデルの最適平均コスト ($\hat{\rho}$) の差の上限を確立する。
  • ワッサースタイン連続性の下：$|\rho - \hat{\rho}| \leq C \cdot (L_X)^\delta$ （ここで $L_X$ は量子化誤差）。
  • 弱連続性の下：$\lim_{n \to \infty} \rho(\pi_n) = \rho$。
• 定理 5 & 6 (アルゴリズムの収束): 同期型および非同期型Q学習の反復が、有限近似モデルの最適Q値に収束することを証明する。非同期収束は、探索方策の下での状態プロセスのエルゴルディシティに依存している。
• 系 1: 近似と学習の結果を組み合わせ、学習された方策 $\hat{\pi}$ が $\rho(\hat{\pi}) - \rho \leq \epsilon$ を満たし、$\epsilon$ は離散化グリッドサイズがゼロに近づくにつれて消失することを示す。

5. 意義と主張

著者らは、連続空間を持つ平均コストMDPの強化学習に関する文献における未解決問題への解決策として、本研究を位置づけている。

• 仮定の緩和: 本論文は、実用的なモデルにおいて制限が強すぎる全変動連続性から、弱連続性およびワッサートスタイン連続性へと移行したことで、理論的な進歩を遂げたと主張している。これにより、加法的ノイズや特定のダイナミクスを持つシステム（例）など、理論的な保証を提供できる対象のクラスを広げている。
• 理論と実践の架け橋: Q学習が明確に定義された有限近似の解に収束することを証明することで、本論文は、離散化ベースのRLを連続的な平均コスト設定で使用することに対する厳密な正当化を提供している。これは、「近最適性」が学習アルゴリズムの副産物ではなく、近似の質に直接起因することを明らかにしている。
• 非マルコフ的量子化の扱い: 本論文は、量子化された状態プロセスがMDPではなくPOMDPであるという技術的な困難を明示的に扱い、平均コスト基準の下での非同期学習の収束証明を提供している。これは、先行文献（Wan et al., 2021など）で指摘されていた空白領域である。

本論文は、連続制御問題に関する数値的なケーススタディによって締めくくられ、価値関数の収束と、量子化率が増加するにつれて後悔（regret）が減少することを示し、理論的な境界を検証している。