テクニカルサマリー：実世界のRLにおけるオフライン・ハイパーパラメータ選択のためのダイナミクスモデル

問題提起

強化学習（RL）を現実世界の産業システムに導入する際、ハイパーパラメータの選択が困難であることが頻繁に障壁となります。標準的なアプローチには重大な限界があります。デフォルトのハイパーパラメータは特定のシステムダイナミクスに適合しないことが多く、シミュレータベースのチューニングには利用可能な正確なモデルが必要ですが、それらはしばれて入手困難です。また、現実世界での相互作用はコスト、リスク、または時間的負荷が高いため、直接的なオンラインチューニングはしばしば実行不可能です。

「キャリブレーションモデル（オフラインデータから学習され、ハイパーパラメータ選択のための代理環境として機能するダイナミクスモデル）」が提案されていますが（Wang et al., 2022）、これらはこれまで単純なシミュレーションドメインでのみ評価されてきました。これらのモデルが、ハイパーパラメータ構成の相対的なランキングを維持できるほど、複雑で非定常な現実世界のダイナミクスを効果的に近似できるかどうかは不明なままです。本論文は、理論的なキャリブレーションモデルと、実世界の産業設定への適用との間のギャップに対処します。

メソドロジー

フレームワーク：Data2Online

本研究では「Data2Online」フレームワーク（Wang et al., 2022）を利用しています。この設定では、オフラインログに基づいて真の環境ダイナミクス $p$ を近似するようにキャリブレーションモデル $\hat{p}$ が学習されます。このモデルはポリシーを直接最適化するために使用されるのではなく、後にオンラインで学習するエージェントのハイパーパラメータ（$\lambda$）を選択するための評価環境として機能します。目的は、モデル内で見出された最適なハイパーパラメータ（$\lambda^*_{model}$）が、真の環境におけるもの（$\lambda^*_{env}$）と一致することを確認することです。

タスク：Nexting Prediction（次ステップ予測）

評価対象となる具体的なタスクは、nexting predictionであり、これは一般値関数（GVF）問題の一種です（Modayil et al., 2012）。プラントを制御する代わりに、パッシブなエージェントが特定のセンサー信号（累積量）に対する割引将来価値の合計を予測します。パフォーマンスは、制御リターンではなく、予測値と経験的なモンテカルロ・リターンとの間の平方根平均二乗誤差（RMSE）によって測定されます。

キャリブレーションモデルのアーキテクチャ

著者らは以下のモデルアーキテクチャを評価しています：

1. k-最近傍法（kNN）： データセット内の遷移のみを使用して次状態と報酬を予測することで、外挿を回避する非パラメトリックなアプローチ。2つのバリアントがテストされています：
   • Euclidean kNN： 生の状態と行動の距離を使用。
   • Laplacian kNN： 基底となるMDP構造に敏感な距離指標を構築するために、近似ラプラシアン表現（Wu et al., 2018）を使用。
   • アンサンブル： エピステミックな不確実性に対処するため、5つのkNNモデルを用いたLeave-One-Block-Out (LOBO) アンサンブルを使用。性能は、保守的な推定を提供するために、モデル間のワーストランクを採用することで集計されます。
2. パラメトリック・ベースライン： 1ステップの次状態予測損失を最小化するように学習された、フィードフォワードニューラルネットワーク（NN）およびゲート付き回帰ユニット（GRU）。

評価指標

• ロールアウト品質： 真のデータに対する長期（30kステップ）の軌跡の定性的視覚比較。
• ハイパーパラメータの感度： キャリブレーションモデルと「Online」設定（保持されたホールドアウト・データでの再生）の間での、学習率に対する感度曲線（NRMSE vs. 学習率）の比較。
• 動的時間伸縮法（DTW）： モデル生成された軌跡と真の軌跡の間の類似性を測定するために使用され、速度、タイミング、または位相の違いを考慮します。

実験設定

本研究では、これらの手法をアルバータ州ドレイトンバレーにある都市水処理プラント（WTP）に適用しています。

• データセット： 1 Hzで記録された2年間のセンサーログ（2022–2024）を使用し、142次元の特徴ベクトルに削減。
• センサー： 3つの重要なセンサーを選択：膜圧（PIT300）、流入温度（TIT101）、および流入濁度（TUIT101）。
• シナリオ：
  1. Standard（標準）： 1週間のスライス（約350kの遷移）で学習。
  2. Scaling（スケーリング）： サブサンプリング後の全1年間のデータ（約3.2Mサンプル）で学習。
  3. Fine-Tuning（ファインチューニング）： 6ヶ月のデータでエージェントを事前学習し、そのモデルを使用してファインチューニングの学習率を選択。
  4. Distribution Shift（分布シフト）： 季節変化やセンサーのドリフトに対する汎化性能を評価するため、2023年4月、5月、7月のデータでテスト。

主要な結果

1. 実世界への適用とロールアウト品質

• kNNの優位性： kNNモデル（EuclideanおよびLaplacianの両方）は、PIT300センサーに対して真のデータに酷似した、現実的な長期的ロールアウトを正常に生成しました。対照的に、パラメトリック・ベースライン（NNおよびGRU）は、50〜100ステップ後に崩壊する傾向がありました。
• Laplacian vs. Euclidean： Laplacian kNNはPIT300において全体的な整合性が高かったものの、Euclidean kNNはTIT101およびTUIT101においてOnline曲線により密接に一致しました。これは、Laplacian表現がセンサーのダイナミクスに特化したチューニングを必要としている可能性を示唆しています。

2. ハイパーパラメータの感度

• ランキングの保存： 両方のkNNモデルは、Online設定と比較して、概ね正しいハイパーパラメータのランキング（学習率の感度）を復元しました。
• パラメトリックの失敗： NNおよびGRUモデルは、そのロールアウト品質の低さに伴い、ハイパーパラメータの感度を保持することに失敗しました。
• 結論： キャリブレーションモデルは、TD(0)予測エージェントのための学習率のオフライン選択をサポートできます。

3. スケーリングと分布シフト

• データ量： kNNモデルを1年間のデータセット（12ヶ月kNN）にスケールアップすることで、1週間のモデルと比較して、より幅広いダイナミクスを捉えることが可能になりました。しかし、DTWを用いた定量的な結果は混在しており、12ヶ月モデルはTIT101で最高の性能を示した一方で、1週間モデルはTUIT101でより優れた性能を示しました。
• ファインチューニング： ファインチューニングのシナリオにおいて、6ヶ月のkNNモデルは一般的な分布シフトを反映することができ、最小の学習率の性能がデプロイ期間が離れるにつれて低下することを示しました。これは、より多くの適応が必要であることを示唆しています。しかし、モデルは特定のシフトを捉えることには苦戦し、後のデプロイ期間におけるOnlineの感度曲線との不一致が見られました。
• 開始状態の選択： ロールアウトの開始状態を選択する戦略（例：デプロイ期間の最近傍を選択する）は、この特定の設定ではランダム選択に対して限定的なメリットしか示さず、ターゲットとなるデプロイ期間に関連する特定の分布シフトを完全にシミュレートするには、ターゲット化された開始状態の選択だけでは不十分であることを示唆しています。

意義と主張

本論文は、実世界の産業設定におけるオフライン・ハイパーパラメータ選択のためのキャリブレーションモデルの最初の適用を提示しています。その主な意義は、シミュレータが存在せず、オンライン実験のコストが高い環境において、オフライン・ダイナミクスモデルがRLのデプロイをサポートできるという**概念実証（Proof of Concept）**を提供したことにあります。

著者らは、彼らの知見が、現実的なロールアウトの生成と意味のあるハイパーパラメータ・トレンドの復元を可能にすることを実証している一方で、重大な実用的課題が残っていることを認め、控えめに主張しています。具体的には、以下の点に関するオープンな問いを強調しています：

• 外挿モデルが失敗する条件。
• 特定のターゲットデプロイ期間に関連する分布シフトを効果的にシミュレートする方法。
• 予測精度とハイパーパラメータ・ランキングの保存の間の必要性。
• 長期的なロールアウト品質を評価するための、DTWよりも情報量の多い指標の開発。

本研究は、シミュレーションによるキャリブレーションモデル研究と実世界のデプロイとの間の溝を埋めるものであり、このアプローチが有望である一方で、複雑な産業システムにおけるスケーラビリティと非定常性に対処するためには、さらなる調査が必要であることを強調しています。