Distributionally Robust Regret Optimal Control Under Moment-Based Ambiguity Sets

1. 問題設定 (Problem Formulation)

背景と課題:
動的システムの制御において、外乱（ノイズ）の確率分布が完全には未知である場合、従来の確率制御（Stochastic Control）は想定分布からの乖離に対して敏感であり、性能が劣化するリスクがあります。これを解決するために「分布ロバスト制御（Distributionally Robust Control）」が提案されていますが、従来の手法（最悪ケースコストの最小化など）は過度に保守的（Pessimistic）になりがちで、実際の外乱分布が想定より穏やかだった場合に性能が低下する問題があります。

提案する問題:
本論文では、有限時間ホライズンを持つ線形二次（Linear-Quadratic: LQ）確率制御問題を対象とします。

• システム: 離散時間、線形時変システム。状態 $x_t$、入力 $u_t$、外乱 $w_t$。
• 不確実性: 外乱過程の確率分布 $P$ は未知ですが、「曖昧集合（Ambiguity Set）」$\mathcal{P}$ に属すると仮定されます。
• 曖昧集合の定義: 従来の Wasserstein 距離に基づく集合ではなく、モーメント（平均と共分散）に基づく集合を提案します。具体的には、平均 $\mu$ と共分散 $\Sigma$ が、それぞれ与えられた名义値（Nominal values）$(\hat{\mu}, \hat{\Sigma})$ の周りに、ユークリッドノルム球と Schatten ノルム球内に収まる分布の集合を定義します。
• 目的関数: 最悪ケースの「期待後悔（Expected Regret）」を最小化する制御ポリシーの設計。
  • 後悔（Regret）: 因果的な制御器が支払うコストと、外乱を最初から完全に知っている非因果的（clairvoyant）な最適制御器が支払う最小コストとの差。
  • 目的は、$\inf_{\phi} \sup_{P \in \mathcal{P}} \mathbb{E}_P [R(\phi(w), w)]$ を最小化することです。

2. 手法と理論的導出 (Methodology)

主要なアプローチ:
因果的なアフィン（線形＋定数）外乱フィードバック制御ポリシー $\phi(w) = Kw + v$ を設計します。

凸最適化問題への再定式化:

1. 最悪ケース期待後悔の分解:
   期待後悔は、外乱の平均と共分散の関数として表現できます。本論文では、この最悪ケース期待値の最大化問題を、平均に関する最大化と共分散に関する最大化に分解します。

2. 最小最大問題の解:
   平均に関する部分（非凸な二次関数の最大化）に対して、補題 1（Lemma 1）を用いて解析的な解を導出します。これにより、平均の不確実性が制御ポリシーの感度（スペクトルノルム）に比例するペナルティ項として現れることが示されます。

3. 凸計画問題への帰着:
   結果として、元の分布ロバスト後悔最適制御問題は、以下の有限次元の凸最適化問題として再定式化可能であることが証明されました（定理 2）。

   $$K^* \in \arg\min_{K \in \mathcal{L}} \left\{ \text{Tr}(\hat{\Sigma} C(K)) + r_1 \|C(K)\|_\infty + r_2 \|C(K)\|_q \right\}$$

   ここで、

   • $C(K) = (K - K_o)^\top D (K - K - K_o)$ は、最適非因果制御器 $K_o$ との差に基づく行列。
   • $r_1, r_2$ はそれぞれ平均と共分散の不確実性の半径。
   • $\| \cdot \|_\infty$ はスペクトルノルム、$\| \cdot \|_q$ は Schatten $p$-ノルムの双対ノルム（$1/p + 1/q = 1$）。

解釈:
この定式化は、正則化された線形二次確率制御問題として解釈できます。

• 第 1 項：名义分布下での期待コスト。
• 第 2 項（スペクトルノルム）：平均の不確実性に対するロバスト性（最悪ケース外乱に対する後悔最小化に相当）。
• 第 3 項（Schatten $q$-ノルム）：共分散の不確実性に対するロバスト性。
  パラメータ $r_1, r_2$ を調整することで、名义性能とロバスト性のトレードオフを制御できます。

3. 数値解法 (Scalable Algorithm)

課題:
上記の凸問題は半正定値計画問題（SDP）として定式化可能ですが、大規模システムに対しては内点法（Interior-point methods）を用いると計算コストとメモリ使用量が爆発的に増大し、実用的ではありません。

提案アルゴリズム:

• 双対射影超勾配法（Dual Projected Supergradient Method）:
  • 上記の凸問題の双対問題に対して、射影超勾配法を適用します。
  • 名义共分散行列 $\hat{\Sigma}$ が正定値である場合、このアルゴリズムは**射影勾配降下法（Projected Gradient Ascent）**に簡略化され、滑らかさを利用して収束を加速できます。
  • 各反復で、双対変数（ラグランジュ乗数）を更新し、それを共分散ノルム球（Schatten ノルム球）に射影します。
  • 射影計算は、行列の固有値分解と、固有値ベクトルに対する $\ell_p$ ノルム球への射影（Duchi et al. のアルゴリズム等）を用いて効率的に行われます。
• 収束性: 適切なステップサイズ条件下で、双対問題の最適解に漸近的に収束することが保証されています。

4. 数値実験結果 (Numerical Experiments)

実験設定:

• システム: ダンピングされた 2 重積分器（Damped Double Integrator）。
• 外乱: AR(1) プロセス（時系列相関を持つガウス過程）。
• 比較対象:
  1. 提案手法（Schatten ノルムに基づく曖昧集合：NUC-REGRET, FROB-REGRET, SPEC-REGRET）。
  2. Wasserstein 距離に基づく分布ロバスト手法（WASS-REGRET, WASS-COST）。
  3. 標本平均近似（SAA）。
  4. 真の分布を知っている場合の最適因果制御器（OPT-CAUSAL）。

結果:

1. 外観サンプル性能（Out-of-Sample Performance）:
   • 有限の訓練データから制御器を設計し、真の分布（未知）に対する性能を評価しました。
   • 不確実性半径 $r$ が適切に選択された場合、提案手法（特に SPEC-REGRET）は、Wasserstein 手法や SAA を上回る性能を示しました。
   • SPEC-REGRET は、時間相関がない場合（$\rho=0$）、古典的な LQR 制御器と同等の性能を達成し、非常に高いロバスト性を持ちました。
2. 相関パラメータの影響:
   • 外乱の時間相関 $\rho$ が変化する全範囲において、提案手法（SPEC-REGRET, FROB-REGRET）は、WASS-COST が示す過度な保守性（性能低下）を避けつつ、一貫して低い後悔（Regret）を達成しました。
3. 計算効率:
   • 提案する双対射影超勾配法は、大規模な SDP を解く内点法に比べて、はるかに高速に収束することが確認されました（例：$T=80$ で、内点法は 16 分超、提案手法は 8 秒未満）。

5. 主な貢献と意義 (Key Contributions & Significance)

1. 新しい曖昧集合の提案:
   平均と共分散のモーメントを、ユークリッドノルムと Schatten ノルムで制限する新しい曖昧集合を提案しました。これは、Wasserstein 距離に基づく手法の代替となり、より直感的なパラメータ調整を可能にします。
2. 解析的な凸再定式化:
   分布ロバストな後悔最適制御問題を、正則化項付きの線形二次制御問題として等価に再定式化しました。これにより、問題の構造が明確になり、正則化パラメータがどのような制御特性（平均不確実性 vs 共分散不確実性への感度）に対応するかが理論的に解明されました。
3. スケーラブルなアルゴリズム:
   大規模システムでも適用可能な、双対射影超勾配法を開発しました。これにより、従来の SDP ソルバーでは扱えなかった大規模な制御問題に対処可能になりました。
4. 実用的な性能向上:
   数値実験により、限られたデータから学習する場合、提案手法が既存のデータ駆動型制御手法（Wasserstein 手法など）よりも優れた汎化性能（Out-of-sample performance）を持つことを実証しました。

結論:
本論文は、不確実な外乱分布に対するロバスト性と、過度な保守性を避けた性能のバランスを両立させる新しい制御設計枠組みを提供しています。特に、モーメントベースの曖昧集合と効率的な最適化アルゴリズムの組み合わせは、実世界の動的システム制御において非常に有望であると考えられます。