技術要約：定常的な曖昧性下におけるロバスト制御

問題提起

確率的制御問題、特に金融（例：最適な投資およびデリバティブ・ヘッジ）においては、ポリシー（方策）はシミュレータ内で最適化されることが多い。これらのシミュレータは、限られた過去のデータから推定されたパラメータ $x$ に依存しており、これがパラメータの不確実性（曖昧性）を導入する。これを扱う一般的なアプローチは**ドメイン・ランダム化（Domain Randomization）**であり、ここではシミュレータのパラメータ $x$ を、各トレーニング・エピソードの開始時に分布 $\nu$ から抽出される確率変数として扱う。

しかし、この**静的潜在モデル（Static Latent Model: SLM）と呼ばれる標準的な手法は、決定的な欠陥を抱えている。それは曖昧性の消失（vanishing ambiguity）**である。パラメータ $x$ はトレーニング・エピソードの間固定されているため、制御ポリシーはシステムの出力 $Y$ を継続的に観測することで、$x$ の値をますます高い精度で推論できるようになる。その結果、ポリシーの $x$ に関する事後信念は時間の経過とともに収束し、ポリシーは推論された特定のレジーム（体制）へと特化してしまう。

この特化は、シム・トゥ・リアル（sim-to-real）の曖昧性ダイナミクスにおけるギャップを生み出す。金融市場のような現実世界のシステムでは、潜在的なレジーム（ボラティリティや相関など）は時間とともにシフトしたりドリフトしたりすることが多い。消滅する曖昧性の下で訓練されたポリシーは、現在のレジームの推定に対して過剰に自信を持ち、レジームが変化した際に適応できず、パフォーマンスの低下とロバスト性の喪失を招く。

メソドロジー

著者らは、ロバスト性の減衰に対処するため、**定常的な曖昧性（Stationary Ambiguity）**という新しいモデリング原理を提案している。

1. 形式的な定義

定常的な曖昧性は、シミュレータが定常なフィルタ過程 $\pi_t := P(X_t \in \cdot \mid Y_{\le t})$ を誘導することを要求する。

• 定常なレジームにおいては、潜在状態 $X_t$ に関する曖昧性の平均量（条件付き分散によって測定される）は、時間の経過とともに一定に保たれる。
• これにより、蓄積された観測履歴から静的なパラメータが推論される際に発生する、不確実性の系統的な減少を防ぐことができる。

2. リフレッシュ潜在モデル（Refresh Latent Model: RLM）

定常的な曖昧性を実用的に近似するために、著者らは**リフレッシュ潜在モデル（RLM）**を導入している。

• パラメータ $X \sim \nu$ をエピソードごとに一度だけ静的に抽出する代わりに、$X_t$ を定常なマルコフ過程としてモデル化する。
• 具体的には、確率 $1-\alpha$ で $X_t$ が $X_{t-1}$ と同じ状態を維持し、確率 $\alpha$ で $\nu$ から新たに抽出された値へと「リフレッシュ」される遷移カーネルを使用する。
• 主要な特性： 潜在パラメータが時折ジャンプするため、遠い過去の観測は現在の状態に関する情報力を失う。これにより、フィルタの収束を防ぎ、制御ホライゾン全体を通じて非ゼロのレベルの曖昧性を維持することができる。

3. シミュレーション設定

制御問題の開始時からポリシーが定常的な曖昧性の下で作動するように、以下の設定を行う。

• ウォームアップ期間： シミュレータは、その定常分布内（または十分に長い有限の過去 $H$）において無限の過去から初期化される。ポリシーはこの履歴を観測してから最初の制御決定を行う。
• 初期化： 著者らは、潜在状態を決定論的に初期化すること（例：分散 $V_0 = v_0$ と設定すること）は、$t=0$ 以降に曖昧性の系統的な増加を生み出すため、定常的な曖昧性に反すると強調している。彼らは、潜在状態を定常分布から初期化するか、観測された履歴に基づく条件付き初期化を用いることを推奨している。

主な貢献

1. 曖昧性の消失に関する分析： 本論文は、静的なランダム化（SLM）の下で最適化されたポリシーが、推論された潜在レジームへと段階的に特化していくことを示している。最適な投資およびヘッジのタスクにおいて、これはレジームが変化した際のロバスト性の喪失を招き、ポリシーが新しい状況への適応に失敗する原因となる。
2. 定常的な曖昧性の原理： 著者らは、シミュレータが定常なフィルタ過程を誘導するための要件を形式化している。彼らは十分条件（例：結合プロセス $(X, Y)$ が定常マルコフ過程であること）を提供し、それを実現するための実践的なレシピ（RLM）を提示している。
3. ヘッジにおける実証的検証： 3つの異なるヘッジ問題（ブラック・ショールズにおけるボラティリティの不確実性、ヘストン・モデルにおける相関の不確実性、マルチアセット・モデルにおける共分散の不確実性）を通じて、RLM（定常的な曖昧性）の下で訓練されたポリシーはロバスト性を維持する一方で、SLMポリシーは劣化することを示している。
4. 実市場でのバックテスト： S&P 100株価データを用いた大規模なケーススタディにおいて、定常的な曖昧性を用いて訓練されたポリシーは、静的なランダム化および標準的なブラック・ショールズ・ベンチマークよりも優れた性能を示し、特にレジームシフト（大きなボラティリティの変化）が発生した際に顕著であった。

結果

シミュレーション実験

• 投資問題： 静的なランダム化の下では、最適な投資戦略は決定論的かつ推論されたドリフトに特化したものになる。ドリフト・レジームがシフトすると、SLMポリシーは適応が遅れ、大幅な効用損失を招く。定常的な曖明性の下で訓練されたRLMポリシーは、行動の分布を維持することで、レジーム変化への迅速な適応を可能にする。
• ヘッジ問題（BS-VOL, HESTON-CORR, BS-COV）：
  • 初期のロバスト性： SLMおよびRLMの両方のポリシーは、一連の固定されたレジームに対して評価された際、「プラグイン」ポリシー（単一の固定パラメータで訓練されたもの）よりも優れた性能を示す。
  • 継続的なロバスト性： レジームシフトを含むパス（事前学習レジーム $\neq$ 取引レジーム）で評価した場合、SLMポリシーは事前学習レジームに応じてパフォーマンスの大きなばらつきを示し、特化が進んでいることが示された。対照的に、RLMポリシーは最小限のばらつきを示し、事前学習の履歴に関わらず一貫したパフォーマンスを維持した。
  • フィルタリング挙動： ニューラルネットワーク・ポリシーの内部状態を調査すると、SLMポリシーは時間の経過とともに高い確信度（低分散）で潜在状態をフィルタリングすることを学習するが、RLMポリシーはより高く安定した不確実性レベルを維持し、新しい観測をレジーム変化の証拠として扱うことができるようになる。

実市場バックテスト

• 日次のS&P 100データを用い、10種類の異なるペイオフ構造に対するヘッジ・ポリシーをバックテストした。トレーニング期間は2006年1月から2015年12月までとし、評価（バックテスト）期間は2016年1月から2025年12月までとした。
• 全体的なパフォーマンス： RLMポリシーは一般に、SLMポリシーおよび標準的なブラック・ショールズ・ベンチマーク（BS-EWMA, BS-HIST）よりも低いスペクトルリスクを達成した。
• レジームシフト： ボラティリティの変化が大きい時期において、パフォーマンスの差は顕著に拡大した。事前学習のレジームに特化したSLMポリシーは、市場レジームがシフトした際にパフォーマンスが悪化したのに対し、RLMポリシーはロバスト性を維持した。

意義と主張

本論文は、定常的な曖昧性が、シフトする潜在構造を持つ外生的な確率プロセスによって駆動される制御問題のためのシミュレータを設計する上での、極めて重要なモデリング原理であると主張している。

• ロバスト性の保持： 主要な意義は、定常的な曖昧性が、特定の推論されたレジームへのポリシーの「過剰な特化」を防ぎ、時間の経過とともにロバスト性が維持されることを保証することにある。
• 実践的な設計ガイド： 著者らは、シミュレータ設計のための具体的な「レシピ」を提供している。具体的には、実務家に対し、以下の事項を推奨している：
  1. パラメータを静的な抽出ではなく、定常なマルコフ過程（RLMのようなもの）を用いてランダム化すること。
  2. シミュレータを決定論的ではなく、ウォームアップまたは条件付き初期化を通じて、その定常レジーム内で初期化すること。
  3. シミュレータの潜在ダイナミクスが、コントローラーが予測できないレジームシフトを許容するようにすること。
• 適用可能性： 実験は金融ヘッジに焦点を当てているが、この原理は、環境の潜在ダイナミクスが不確実であり、かつ変化することが予想される（探索を行わない）あらゆる逐次的な制御問題（例：在庫管理、エネルギー貯蔵）に適用可能であると著者らは述べている。

結論として、曖昧性のダイナミクス（すなわち、曖昧性が消失すること）を無視することは、シミュレーションと現実の間に根本的なギャップを生み出す。定常的な曖昧性を強制することは、動的で不確実な環境においてロバストな制御ポリシーを配備するための必須のステップである。