論文「Sinkhorn 分布ロバスト線形二次制御における線形政策のグローバル最適性」の技術的サマリー

この論文は、従来の線形二次ガウス（LQG）制御の問題点を克服し、ノイズ分布のモデル化誤差に対する堅牢性を高めるための分布ロバスト（Distributionally Robust: DR）な LQG 制御の枠組みを提案し、その最適性を理論的に証明した研究です。特に、**Sinkhorn 不一致（Sinkhorn discrepancy）**を用いた曖昧集合（ambiguity set）を定義し、線形フィードバック政策が依然としてグローバルに最適であることを示しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定 (Problem Formulation)

• 背景: 従来の LQG 制御は、システムノイズがガウス分布に従うという仮定に基づいており、カルマンフィルタと線形状態フィードバックの組み合わせで閉形式解が得られます。しかし、実際のノイズ分布が仮定から逸脱する場合、性能が著しく劣化する脆弱性があります。
• 既存手法の限界:
  • $H_\infty$ 制御は最悪ケースを考慮しますが、過度に保守的になる傾向があります。
  • 従来の分布ロバスト制御（Wasserstein 距離などに基づくもの）では、線形政策の最適性が保証されない、あるいは証明が困難なケースがありました。
• 提案する問題:
  • 有限時間ホライズンの LQG 制御問題を対象とします。
  • プロセスノイズと測定ノイズの真の分布は未知であり、名目分布（ここではガウス分布）を中心とした Sinkhorn 不一致に基づく曖昧集合に属すると仮定します。
  • 目的は、この曖昧集合内の「最も敵対的な分布」に対する期待コストを最小化する制御政策 $\pi$ を見つけることです（ゼロサムゲームの形式）。

2. 手法と理論的アプローチ (Methodology & Theoretical Approach)

著者らは、線形政策がグローバルに最適であることを証明するために、「サンドイッチ」論法を用いて、問題の下限と上限を構築し、それらが一致することを示しました。

A. purified 出力への再パラメータ化

• 観測値 $y_t$ の代わりに、ノイズフリーのシステムコピーから導かれる**purified 出力（$\eta_t$）**を導入しました。
• これにより、制御入力 $u_t$ が $\eta_t$ の関数として表現可能となり、入力とノイズの独立性を明確にすることで解析を容易にしています。

B. 下限の構築 (Lower Bound Construction)

• 双対問題（敵対者が分布を選び、制御者がコストを最小化する問題）に対して、曖昧集合をガウス分布のみに制限することで下限を導出しました。
• Proposition 1: 2 つの正規分布間の Sinkhorn 不一致は、**エントロピー正則化された Gelbrich 発散（Entropy-regularized Gelbrich divergence）**と一致することを証明しました。
• これにより、無限次元の分布最適化問題が、共分散行列の最適化という有限次元の問題に帰着できます。

C. 上限の構築 (Upper Bound Construction)

• 原始問題（制御者が政策を選び、敵対者が分布を選ぶ問題）に対して、線形政策に制限し、曖昧集合をエントロピー正則化 Gelbrich 集合で外側から近似することで上限を導出しました。
• Proposition 3: 一方がガウス分布の場合、Sinkhorn 不一致は共分散行列のみを用いた Gelbrich 発散によって下方から評価できる（$W_\epsilon(P, Q) \ge G_\epsilon(\Sigma_1, \Sigma_2)$）という新しい不等式（Gelbrich 型不等式）を確立しました。
• これにより、任意の分布を含む問題が、共分散行列の制約付き問題として扱えることが示されました。

D. 均衡の存在証明

• 構築された下限問題と上限問題が双対関係にあり、Sion のミニマックス定理を適用できる条件（目的関数の凸性・凹性、制約集合の凸性・コンパクト性）を満たすことを示しました（Lemma 1）。
• その結果、下限と上限の最適値が一致し、線形政策とガウス分布の組み合わせがナッシュ均衡を構成することが証明されました。

3. 主要な貢献 (Key Contributions)

1. 線形政策のグローバル最適性の証明:
   • Sinkhorn 不一致を用いた分布ロバスト LQG 問題において、線形フィードバック政策がグローバルに最適であることを初めて証明しました。
   • これは、KL 正則化項の導入により曖昧集合の幾何学的構造が変化し、従来の Wasserstein DR 制御の証明手法（[14] など）が直接適用できないという課題を、新しいツール（Gelbrich 型不等式など）を開発することで克服した成果です。
2. 新しい数学的道具立ての確立:
   • Sinkhorn 不一致とエントロピー正則化 Gelbrich 発散の等価性（正規分布間）。
   • Sinkhorn 不一致に対する Gelbrich 型不等式（一般分布 vs ガウス分布）。
   • エントロピー正則化 Gelbrich 集合の凸性とコンパクト性の証明。
3. 実用的な定式化:
   • 最適制御問題が半正定値計画（SDP）として定式化可能であることを示し、数値的に解ける形を提供しました。

4. 数値実験結果 (Numerical Results)

• 設定: 不安定な離散時間線形システムを用い、名目分布（ガウス）と、曖昧集合内で選択された敵対的分布の 2 種類でシミュレーションを行いました。
• 結果:
  • 名目分布下: 提案手法（Sinkhorn DR LQG）は、従来の LQG に比べてわずかにコストが高くなる（保守的になる）傾向がありました。
  • 敵対的分布下: ノイズ分布が名目分布から大きく逸脱した場合、提案手法は従来の LQG よりも有意に低い平均コストを達成し、分布の不確実性に対する堅牢性を示しました。
• 結論: 名目性能と分布ロバスト性の間のトレードオフを適切に管理できることが実証されました。

5. 意義と結論 (Significance & Conclusion)

• 理論的意義: 分布ロバスト制御の文脈において、複雑な確率空間上の最適化を行っても、LQG 問題の構造（線形性の保持）が破綻しないことを示しました。これは、実装の容易さと理論的保証の両立を可能にします。
• 実用的意義: 現実世界のシステムではノイズ分布が完全に未知であることが多く、従来のガウス仮定に基づく制御はリスクがあります。Sinkhorn 距離を用いることで、計算効率（エントロピー正則化による）と堅牢性を両立させた制御設計が可能になります。
• 総括: 本論文は、分布ロバスト LQG 制御において、線形政策が依然として最適であることを示す重要なマイルストーンであり、不確実性下での制御システム設計の新たな指針を提供しています。