技術要約：進化する不確実性下におけるロバストなリスク

1. 問題設定

本論文は、不確実性下で環境を学習するエージェントの意思決定における課題に取り組んでいる。核心となる問題は、エージェントの認識状態（epistemic state）に応じて進化するリスク態度を設計することである。すなわち、エージェントは無知な状態（高い不確実性）では最大限に慎重であり、信念が鋭敏になる（低い不確実性）につれて大胆になるべきである。

既存のアプローチは、以下の二項対立に直面している：

• 固定的なロバスト制御（Fixed Robust Control）: 最悪のケースを永遠に想定するため、環境が明らかに安全である場合でも過度に保守的な挙動となり、適応に失敗する。
• 期待値／ベイズ計画（Expected-Value/Bayesian Planning）: 信念が鋭敏になる前に方策を決定してしまうため、隠れた環境のタイプに関する初期の推測が間違っていた場合に、壊滅的な失敗を招くリスクがある。

本論文は、普及しているコヒーレントなリスク尺度である**エントロピー・バリュー・アット・リスク（EVaR）**における特定の限界を特定している。EVaRは、信頼水準 $\alpha$ が代替モデルの相対エントロピー（KL）球を定義するというロバスト最適化の恒等性を提供するが、この幾何学的構造には「ブラインドスポット（盲点）」が存在する。もし名目モデル $P$ がある破滅的な結果に対してゼロの確率を割り当てている場合、KLダイバージェンスはそのサポート外の分布に対して無限大となるため、KL球はその結果に正の確率を割り当てる分布を含めることができない。その結果、エージェントが学習を進め、名目モデルが稀な災害から集中していくにつれて、EVaRによる安全性チェックは、過信が最も危険となるまさにその瞬間に無価値（vacuous）になってしまう。

2. 手法

著者らは、相対エントロピー球の代わりに**1-ワッサースタイン球（最適輸送）を用いて、新しいリスク尺度であるワッサースタイン・エントロピー・バリュー・アット・リスク（WEVaR）**を定義することを提案している。

コアとなる定義

• WEVaR: 半径 $\varepsilon$ のワッサースタイン球における期待損失の上限として定義される：
  $$\text{WEVaR}_\varepsilon(X) = \sup \{ \mathbb{E}_Q[X] : W_1(Q, P) \le \varepsilon \}$$
  KL球とは異なり、ワッサースタイン球は、「輸送コスト（距離）」が半径の範囲内であれば、アドバーサリ（敵対者）が名目上の確率がゼロである結果へと質量を移動させることを許容する。

• 変分双対（Variational Dual）: 論文では、エントロピックな公式を模したWEVaRの変分双対を導出している。有界な損失 $X$ と半径 $\varepsilon$ に対して：
  $$\text{WEVaR}_\varepsilon(X) = \inf_{\lambda \ge 0} \{ \lambda \varepsilon + \mathbb{E}_P [X^c_\lambda] \}$$
  ここで、$X^c_\lambda(s) = \max_{s'} (X(s') - \lambda d(s', s))$ は $c$-変換である。これにより、問題は一次元の凸計画問題へと変換される。

• 閉形式の表現（Closed-Form Expression）: 飽和閾値以下では、この尺度は以下の厳密な閉形式を持つ：
  $$\text{WEVaR}_\varepsilon(X) = \mathbb{E}_P[X] + \varepsilon \cdot \text{Lip}_d(X)$$
  ここで、$\text{Lip}_d(X)$ は基底距離に関する損失関数のリプシッツ定数である。この等式は、$\varepsilon$ が閾値以下の場合（特に、2点支持の場合）に正確に成立する。

動的計画法オペレータ

著者らは、このリスク尺度を、曖昧さの半径 $\varepsilon$ がエージェントの信念エントロピー $H(b)$ によって駆動される動的計画法の枠組みに統合している。

• 半径: $\varepsilon(b) = \beta H(b)$、ここで $\beta$ は感度パラメータである。
• メカニズム: エージェントがデータを収集するにつれ、信念 $b$ が鋭敏になり、$H(b) \to 0$ となることで、曖昧さの球が収縮する。これにより、リスク態度は最悪ケース（高エントロピー）からリスク中立（ゼロエントロピー）へとスライドする。
• オペレータ: 結果として得られるロバスト・ベルマン・オペレータは、以下の閉形式の内部更新を持つ：
  $$(\mathcal{T}V)(s, b) = \max_a \left[ r(s, a) + \gamma \left( \mathbb{E}_{\bar{P}_b}[V] - \beta H(b) \cdot \text{Lip}_d(V) \right) \right]$$
  これにより、各ステップで線形計画問題を解く必要がなくなり、計算コストを $O(|S|^2)$ に低減できる。

3. 主な貢献

1. WEVA Rの定義と双対性: 本論文はWEVaRを定義し、カントロヴィッチ・ルビンシュタインの変分双対を証明している。この双対は凸であり、適切に定義されており、エントロピックな公式（逆温度を輸送価格に置き換えたもの）と構造的に類似している。
2. リスクの階層とコヒーレンス: WEVaRがコヒーレントなリスク尺度であることが証明されている。著者らは、輸送エントロピー不等式の下でEVaRがWEVaRによって抑えられるという「サンドイッチ」関係を確立した。決定的なのは、WEVA Rが、輸送半径がそれらの状態への距離を超えると、EVaRが無視するような名目確率ゼロの破滅的事象を厳密に考慮することを証明した点である。
3. 数値的検証: Gurobiを用い、両方のフォーマット（EVaRおよびWEVaR）について、強双対性が成立することを検証した。名目上の確率がゼロである災害の損失が増加しても、EVaRは変化しない一方で、WEVaRは損失に対して線形に増加することを示し、理論的な「ブラインドスポット」の修正を実証した。
4. 進化する不確実性フレームワーク: 信念エントロピーを半径とする閉形式のロバスト動的計画法オペレータを構築した。これは「セーフティ・サンドイッチ」（最大限に慎重な下限と、タイプを認識したオラクルとの間に挟まれた状態）と、計算可能な「セーフティ・スイッチ」メカニズムをもたらす。

4. 結果

• 幾何学的挙動: 5状態の計量空間において、ワッサースタイン球（青）は、名目上の信念がそれらにゼロの質量を置いている場合でも「Fail（失敗）」の頂点に到達することを示す一方、KL球（赤）はそのサポートの端に留まることが示されている。
• 定量的ギャップ: 名目上の確率がゼロである災害の損失が50から1000に増加した数値実験において、EVaRの変化は0であったが、WEVaRは807.5変化した。これは、到達不可能だが起こり得る破滅を扱う上での理論的優位性を裏付けている。
• 収束: 閉形式のオペレータを用いた値反復（Value Iteration）は、率 $\gamma$ で幾何学的に収束する。適応的な値は、収束時だけでなく、すべての反復において、安全境界（サンドイッチ）の内に厳密に留まっている。
• セーフティ・スイッチ: 「曖昧な橋（Ambiguous Bridge）」シナリオにおいて、エージェントは「クリープ・ゼン・クルーズ（這うように進み、その後加速する）」行動を示す。環境が好意的であるという信念が特定の閾値（$\approx 0.983$）を越えるまで、エージェントは停滞（慎重な行動）し、閾値を超えると高速な方策へと切り替わる。この閾値は報酬の非対称性から純粋に導出されており、感度パラメータ $\beta$ には依存しない。

5. 意義と主張

本論文は、エントロピー的リスク尺度に対して、WEVaRが安全性に不可欠な幾何学的補正を提供すると主張している。最適輸送の幾何学を利用することで、エージェントが自信を得るにつれて安全性チェックが無価値にならないことを保証している。

主要な意義は、閉形式のロバスト動的計画法オペレータにある。曖昧さの半径を直接信念エントロピーに結びつけることで、著者らは、証拠が集まるにつれて注意力が自然に収縮するメカニズムを提供している。これにより、以下が可能となる：

• 認定された安全性: 学習プロセス全体を通じて、エージェントの値が安全な範囲内に留まることを保証する「セーフティ・サンドイッチ」。
• 計算効率: 閉形式の更新により、各ステップでロバスト最適化問題を解く計算負荷を回避でき、リプシッツ・クリティック（Lipschitz critics）を介して大きな状態空間へのスケーラビリティを実現する。
• 適応的リスク: リスク態度を手動で調整することなく、エージェントの認識状態によって、ロバスト制御から期待値制御へと移行するための原理的な方法。

著者らは、本研究を相対エントロピーと最適輸送ロバスト性の間の架け橋として位置づけており、リプシッツ・クリティックを用いた連続空間へのこのオペレータの拡張や、能動的な情報収集への適用が自然な次のステップであると示唆している。