技術要約：後悔（Regret）の最適化

問題定義

本論文は、不確実性下における線形意思決定システムにおける期待後悔（expected regret）の最適化に取り組むものである。Aldridge (2026) によって確立された、期待後悔を不確実なコスト（$c$）と決定（$\hat{\pi}(c)$）の共分散に等しいとする基礎的な恒等式に基づき、中心となる問題は、後悔を最小化するために方策 $\hat{\pi}$ をどの方向に修正すべきかを決定することである。この恒等式は、性能測定を計算可能なスカラーへと変換するが、本論文は、勾配ベースの最適化を可能にするために、共分散関数 $\text{Cov}(c, \hat{\pi}(c))$ の完全な微分理論を導出することを目指している。その範囲には、一階および二階構造の導出、制約付き最適解の分析、双対性の確立、および有限サンプル収束保証の構築が含まれる。

手法

本論文では、関数解析と凸最適化の手法を用いて、共分散関数 $C[\hat{\pi}] = \text{Cov}(c, \hat{\pi}(c))$ を微分する。

1. 関数微分: 著者らは、方策写像に関する共分散関数のゲオ・微分（Gâteaux derivative）を導出する。これには、基準となる方策の周りで関数を展開し、摂動方向における線形項を特定するプロセスが含まれる。
2. 線形方策の分析: 理論を線形方策 $\hat{\pi}(c) = Ac + b$ のクラスに特化させる。この設定において、関数は方策行列 $A$ とコスト共分散行列 $\Sigma_c$ を含むトレース形式へと簡略化される。
3. 制約付き最適化: 予算、非負性、およびリターン目標の制約の下で最適方策を解くために、Karush-Kuhn-Tucker (KKT) 条件を適用する。
4. 勾配ベースのアルゴリズム: 決定出力へのアクセスを必要とせず、入力観測のみから導出されたコスト共分散行列を利用する、射影勾配降下アルゴリズムを提案する。
5. 有限サンプル分析: Thompson Samplingの文献との類似性を引き、劣ガウス分布の特性や行列集中不等式を利用して、目標とする後悔許容誤差を達成するために必要な勾配ステップ数とサンプルサイズに関する境界を導出する。

主要な貢献と結果

1. 微分理論と普遍的降下方向

本論文は、任意の $\hat{\pi}$ における共分散後悔関数のゲオ微分が、単にコストと方向の共分散であること、すなわち $D_C[\hat{\pi}](\phi) = \text{Cov}(c, \phi(c))$ であることを確立している。

• 普遍的最急降下: 関数勾配（リズ表現子）は現在の政策に依存しない。普遍的な最急降下方向は $\phi^*(c) = -(c - \bar{c})$ であり、これは逆張り（contrarian）または平均回帰戦略に対応する。逆に、最急上昇方向は $+(c - \bar{c})$ であり、モメンタム戦略に対応する。
• 線形方策の勾配: 線形方策の場合、行列 $A$ に関する勾配はコスト共分散行列 $\Sigma_c$ である。バイアス $b$ に関する勾配はゼロである。

2. 二階構造と境界における最適性

• 線形性と凸性: 線形方策において、後悔関数は $A$ に関して線形である（したがって同時に凸かつ凹である）。その結果、ヘッセ行列はゼロとなり、これは制約のない線形クラスにおいて内部に臨界点が存在しないことを意味する。
• 境界解: 線形方策の後悔最小化は、実行可能集合の境界で発生する。具体的には、制約のない最小値は $A=0$ で達成され、これは最小分散ポートフォリオ（MVP）に対応する。
• 非線形方策: 一般的な非線形方策の場合、ヘッセ行列は方策写像の二階微分に依存し、曲率に応じて局所的な極小値、極大値、または鞍点を生じさせる。

3. 制約付き最適化と効率的フロンティア

本論文は、制約付き問題に対する明示的な解を導出している：

• 最小分散ポートフォリオ: 予算制約のみの下では、後悔を最小化する線形方策は $A=0$ と設定し、$b$ を予算を満たすように解くことで、標準的なMVPを回収する。
• 後悔・リターン・フロンティア: リターン目標が追加された場合、最適な方策はラグランジュ乗数 $\kappa$ によってパラメータ化された、マークウィッツの平均分散フロンティアに類似したフロンティアを辿る。

4. 符号勾配双対性（Sign-Gradient Duality）

主要な理論的結果は、後悔最小化とアルファ最大化の間の「符号勾配双対性」である。

• 後悔の最小化（コスト感応度）は、勾配 $-\Sigma_c$ に従う。
• アルファの最大化（リターン感応度、ここで $r = -c$）は、勾配 $+\Sigma_c$ に従う。
• 両方の目的関数は同じ勾配の大きさを持つが、符号が逆であり、損失最小化とアルファ最大化が同一の関数上での勾配降下および勾配上昇であることを統一している。

5. アルゴリズムと収束

• ゼロ・インストルメンテーション勾配降下: 提案されるアルゴリズムは、方策行列を $A_{k+1} = \Pi_Z(A_k - \eta \hat{\Sigma}_c)$ を用いて更新する。極めて重要な点は、勾配推定値 $\hat{\Sigma}_c$ が決定出力ではなく、入力コストの観測のみを必要とすることである。
• 収束率: 制約のない線形方策に対して、アルゴリズムは線形収束を示す。収束率は、コスト共分散行列 $\Sigma_c$ の条件数 $\kappa(\Sigma_c)$ によって決定される。分散の取れたポートフォリオ（低い条件数）は急速に収束し、条件数の悪いポートフォリオは収束が遅くなる。
• 有限サンプル境界: 本論文は、Thompson Samplingに類似した問題依存の境界を提供している。超過後悔 $\epsilon$ に達するために必要なステップ数 $K$ は、条件数と初期後悔の対数に比例する。サンプル複雑性の境界は、十分な劣ガウス的コスト観測が得られれば、勾配推定値が高確率で真の勾配に収束することを保証する。

6. 金融への応用

本論文は、ポートフォリオ管理、特に最小分散ポートフォリオからの「ティルト（傾斜）」の分析にこの理論を適用している。アクティブなティルト $\Delta A$ による後悔コストを $\text{tr}(\Delta A \Sigma_c)$ として定量化し、目標とする配分を達成しつつこの後悔コストを最小化するための最適なランク1更新を導出している。

意義と主張

本論文は、共分散後悔関数の完全な微分理論を提供することで、静的な性能恒等式を動的な最適化フレームワークへと変貌させると主張している。その主な意義は以下の通りである：

1. 第一原理による導出: なぜ逆張り方策が後悔を最小化し、モメンタム方策がアルファを最大化するのかを、共分散関数の微積分に基づき、厳密に導出している。
2. アルゴリズムの効率性: 勾配推定フェーズにおいて決定フィードバックを必要とせず、入力データ（コスト）のみを使用して方策を最適化する「ゼロ・インストルメンテーション」勾配降下アルゴリズムを導入している。
3. 理論的統一: 符号勾配双対性を通じて後悔最小化とアルファ最大化を統一し、静的な共分散恒等式と動的な学習率および有限サンプル保証を結びつけている。
4. 境界における最適性: 線形方策において、最適な後悔は本質的に境界現象（最小分散ポートフォリオ）であることを明確にし、アクティブ運用（ティルト）が共分散構造によって定義される特定の後悔コストを負うことの理論的根拠を提供している。

本論文は、これらの結果を、静的な最適化恒等式と現代的なノーレグレット学習文献との間の架け橋として位置づけており、バンディット理論やオンライン凸最適化と並行する具体的な収束率およびサンプル複雑性の境界を提示している。