技術的要約：複数のソースからの逐次決定の学習：グループ・ロバスト・マルコフ決定過程を通じて

問題定式化

本論文は、共通のアプリケーション・コンテキストを共有しながらも異質性（ヘテロジェニティ）を持つ、複数のサイト（例：病院）から収集されたオフライン・データセットを用いた、ロバストな逐次決定方策の学習という課題に取り組んでいる。標準的なオフライン強化学習（RL）では、さらなる環境との相互作用なしに、事前収集されたデータから方策を学習する。しかし、現実世界のマルチサイト・データは、以下の2つの決定的な問題に直面することが多い：

1. 分布シフト（Distributional Shift）: オフラインの軌跡は、最適方策の状態行動分布をカバーしていない可能性のある行動方策によって生成される。
2. サイト間の異質性（Site-wise Heterogeneity）: データ取得プロトコル、集団構成、および環境条件のバリエーションにより、軌跡は単一の固定されたマルコフ決定過程（MDP）から生成されるわけではない。すなわち、各サイト $k$ は独自の遷移カーネル $P_k$ と報酬関数 $r_k$ を持つ。

著者らは、この設定を**グループ線形分布ロバストMDP（Group-Linear Distributionally Robust MDP, DRMDP）**としてモデル化している。基礎となる仮定は、すべてのサイトが共通かつ既知の特徴写像 $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$ を共有しているが、遷移カーネルと報酬関数は、サイト固有のパラメータ $(\theta^k_h, \mu^k_h)$ を持つこれらの特徴量に対して線形であることである。目標は、サイト固有の分布の凸包によって定義される妥当な不確実性集合内において、最悪の環境シフトに対して良好に機能する方策を学習することである。

手法

1. 特徴量単位（d-矩形）不確実性集合

複数のサイトから生じる不確実性を扱いながら計算の実行可能性を維持するために、著者らは特徴量単位（d-rectangular）不確実性集合を提案している。

• 構造: すべての特徴量間で不確実性を結合させる標準的なクロスサイト凸包（これは非矩形集合を招き、NP困難なプランニングにつながる）とは異なり、このアプローチでは、アドバーサリ（敵対者）が各特徴次元 $i \in [d]$ に対して独立して混合重みを選択することを可能にする。
• 定義: 各ステップ $h$ および各特徴 $i$ について、アドバーサリは、サイト固有のパラメータの最悪の混合を形成するために混合ベクトル $\alpha_{h,i} \in \Delta^{K-1}$ を選択する。不確実性集合 $\mathcal{U}_h$ は、報酬と遷移が、これらの特徴量固有の混合によって重み付けされたサイト固有パラメータの線形結合となるように定義される。
• 利点: この緩和策は、サイト間の異質性を保持しつつ、**ロバスト・ベルマン再帰（robust Bellman recursions）**を回復させ、問題の計算可能性を確保する。

2. 悲観的価値反復アルゴリズム

著者らは、以下の3つのコアコンポーネントを含む**悲観的価値反復（pessimistic value iteration）**に基づくオフラインアルゴリズム（Algorithm 1）を開発した。

1. サイト別リッジ回帰: 各サイト $k$ について、アルゴリズムはローカル・データセット $D_k$ 上のリッジ回帰を用いて、ベルマン・ターゲット係数 $\hat{\nu}^k_h$ を推定する。これにより、線形パラメータのサイト固有の推定値が得られる。
2. 特徴量単位の最悪ケース集約: 平均化を行う代わりに、アルゴリズムは推定された係数の**行方向の最小値（row-wise minimum）**を実行する。具体的には、各特徴次元 $i$ について、ロバストな係数は $\min_{k \in [K]} (\hat{\nu}^k_h)_i$ に設定される。これにより、各特徴におけるサイト間の最悪のシナリオを捉える。
3. データ依存の悲観的ペナルティ: 推定の不確実性と分布シフトを考慮するため、Q値からペナルティ項を減算する。このペナルティは、リッジ回帰からの逆デザイン行列（共分散行列）の対角成分を用いて計算される。ペナルティは、特徴ベクトル $\phi(s, a)$ と、各特徴に関して観測された最大不確実性に応じてスケールする。

3. クラスターレベルへの拡張

サイト間に類似性がある場合にサンプル効率を向上させるため、著者らはクラスターレベルの拡張を提案している。サイトは、類似性に関する事前知識に基づいてクラスターに分割される。各クラスター内では、データセットを統合して「スーパーサイト」を形成し、クラスターレベルの代表値に対してロバスト・ベルマン演算子が適用される。このアプローチは、クラスター内の異質性によって導入される誤差を制御しつつ、より大きな統合サンプルサイズを活用する。

理論的結果

本論文は、**ロバスト部分被覆仮定（robust partial coverage assumption）**の下で、提案されたアルゴリズムの有限サンプル劣最適性境界を提供している。

• 劣最適性の分解: 劣最適性は、偽相関、固有の不確実性、および最適化誤差に分解される。
• 収束率: サイト固有の経験的共分散行列が、ロバスト最適方策の訪問分布の二次モーメントを支配するという仮定の下で、学習された方策 $\hat{\pi}$ の劣最適性は以下のように抑えられる：
  $$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$$
  ここで、$N_{\min}$ はサイト間の最小サンプルサイズ、$d$ は特徴次元、$H$ はホライゾン、$K$ はサイト数である。
• クラスターレベルの境界: クラスターレベルのアルゴリズムについては、境界にクラスター内のパラメータ不一致（$\Delta_h$）に比例するバイアス項が含まれており、クラスター内の異質性が制御されている限り、プーリングが有益であることを示している。

実験結果

著者らは、エピソード型線形MDPにおける $K=3$ から $4$ のサイトを用いたシミュレーションを通じて、提案手法を検証している。

• 比較: 提案する「Sitewise」アルゴリズムを、以下のベンチマークと比較した：
  • ナイーブ・プーリング（Naive Pooling）: すべてのデータを集約し、標準的な悲観的価値反復（PEVI）を適用する。
  • サイト別PEVI (Average-Q): 独立したサイト固有のPEVI実行から得られたQ関数の平均を取る。
  • サイト別PEVI (Min-Q): サイト固有のQ関数の要素ごとの最小値を取る。
• 性能: 提案アルゴリズムは、すべてのベンチマークと比較して、一貫して著しく低いロバスト劣最適性を達成している。
  • ナイーブ・プーリングは、サイト固有の分布シフトに対してロバストではなく、最悪のケースではなく平均的な性能を最適化してしまう。
  • サイト別手法は、限定的なローカル・サンプルサイズと情報共有の欠如により、高い分散に苦しむ。
• 収束: 実験的なスケーリング則は、理論的な $O(N_{\min}^{-1/2})$ 収束率を裏付けている。
• 悲観主義の必要性: 悲観的ペナルティを取り除くと（スケーリング定数を $c=0$ に設定）、特にデータの被覆が不均衡なシナリオにおいて、貪欲な推定器が有限サンプルのノイズに過学習するため、効率的な収束に失敗することを示す実験結果が得られた。

意義と主張

本論文は、強力な状態行動矩形性を仮定することなく、マルチサイトのオフラインRL設定におけるロバストなプランニングへの原理的なアプローチを提供することを主張している。

• 計算可能性とロバスト性: $d$-矩形不確実性集合を導入することで、著者らは、一般的なクロスサイト凸包の計算不可能性と、標準的な $(s, a)$-矩形ロバストMDPの過度な保守性の間のギャップを埋めている。
• プライバシーと効率性: アルゴリズムは、生の軌跡ではなく、集約されたサイトレベルの要約統計量（リッジ回帰係数と共分散対角成分）のみを通信するため、データ通信コストを削減し、プライバシーを強化する。
• 異質性の処理: 本フレームワークは、サイト間の異質性を明示的にモデル化し、活用することで、学習された方策が最悪のサイト構成に対してロバストであることを保証し、マルチソース・データに適用される際の標準的なオフラインRLの根本的な限界に対処している。

著者らは、本手法がサイト内の線形構造に依存していること、および $d$-矩形近似が保守的な推定を招く可能性があることを認めている。彼らは、将来の研究として、よりタイトな近似の探索や、非線形特徴写像を扱うための表現学習の統合を提案している。