技術要約：部分的パフォーマティブ予測（Partially Performative Prediction）

問題設定

本論文は、既存の**パフォーマティブ予測（performative prediction）フレームワークが、分布の変化を純粋に内生的（endogenous）なもの（展開されたモデル $\theta$ によって誘発されるもの）としてモデル化しているという限界に対処している。古典的なパフォーマティブ予測では、データ分布 $D(\theta)$ は学習者の行動のみに反応して変化する。しかし、著者らは、現実世界の因果関係を伴う領域（金融、ヘルスケア、政策など）において、分布の変化が純粋に内生的であることは稀であると指摘している。それらは、モデルの影響と、学習者とは独立して進化する外生的（exogenous）**な要因（季節的影響、市場の力、政策変更など）の混合によって駆動されていることが多い。

この相互作用を捉えるために、本論文は**部分的パフォーマティブ予測（Partially Performative-Prediction）**を導入する。この設定では、時刻 $t$ におけるデータ分布は、以下のような時変混合として表される：
$$D_t(\theta) = (1 - \alpha_t)D(\theta) + \alpha_t P_t$$
ここで：

• $D(\theta)$ は、モデル $\theta$ に依存するパフォーマティブ成分である。
• $P_t$ は、$\theta$ とは独立して時間とともに進化する外生的分布である。
• $\alpha_t \in [0, 1]$ は、外生的シフトの相対的な強さを制御する。

このフレームワークは、古典的なパフォーマティブ予測（$\alpha_t = 0$ のときに回収される）を一般化し、純粋な外生的シフトの設定（$\alpha_t = 1$ のとき）へと近づくものである。核心となる課題は、「ターゲット」（最適または安定なモデル）がもはや静的ではなく、学習者の行動と $P_t$ の外部的な進化の両方によってドリフトすることである。

方法論とフレームワーク

1. 目的の再定義：動的レグレット（Dynamic Regret）

環境が非定常であるため、単一の固定されたモデルへの収束（パフォーマティブ安定性や最適性におけるもの）という目標は不十分である。著者らは、時変のベンチマークに対する性能を測定するために、**動的レグレット（dynamic regret）**を用いて性能を評価することを提案している：

• パフォーマティブ安定性レグレット ($Reg^{PS}_T$): 学習者のシーケンス $\{\theta_t\}$ を、デカップリングされたリスクを最小化するパフォーマティブ安定点 $\theta^{PS}_t$ のシーケンスと比較する。
• パフォーマティブ最適性レグレット ($Reg^{PO}_T$): 学習者を、パフォーマティブ・リスク $PR_t(\theta) = \mathbb{E}_{Z \sim D_t(\theta)}[\ell(Z, \theta)]$ を最小化するパフォーマティブ最適点 $\theta^{PO}_t$ のシーケンスと比較する。

2. 主要な解析ツール：パス長（Path Length）

理論的境界における中心的な量は、比較対象シーケンスの累積的な移動量として定義されるパス長である：
$$\sum_{t=1}^{T-1} \Delta^{PS}_t \quad \text{ただし} \quad \Delta^{PS}_t = \|\theta^{PS}_t - \theta^{PS}_{t+1}\|$$
本論文は、レグレット境界がこのパス長に明示的に依存することを確立している。このパス長は、外生的分布 $P_t$ の変化率と混合係数 $\alpha_t$ によって駆動される。

3. 解析対象のアルゴリズム

本論文では、この設定に適応させたいくつかの標準的な学習ヒューリスティックを分析している：

• 反復リスク最小化 (Repeated Risk Minimization: RRM): $\theta_{t+1} = \arg\min_\theta \mathbb{E}_{Z \sim D_t(\theta_t)}[\ell(Z, \theta)]$ を更新する。
• 反復勾配降下法 (Repeated Gradient Descent: RGD): 完全な期待勾配を使用する。
• 確率的勾配降下法 (Stochastic Gradient Descent: SGD): 「貪欲（greedy）」（展開ごとに1サンプル）および「怠惰（lazy）」（展開ごとに複数のサンプル/更新）のバリエーションを含む。
• ゼロ次アルゴリズム (Zeroth-Order Algorithms): パフォーマティブ最適性のための手法。これには、モデルを摂動させて勾配を推定する Two-Deployment (ZGD2) および Single-Deployment (ZGD) メソッドが含まれる。

主要な貢献と結果

1. 安定性のための理論的境界

著者らは、内生的および外生的シフトを明示的にトレードオフする RRM および RGD のレグレット境界を導出している。

• 定理 3.2 (RRM): 強凸性と滑らかさの仮定の下で、安定性レグレットは以下のように抑えられる：
  $$Reg^{PS}_T(ARRM) = O\left(1 + \sum_{t=1}^{T-1} \Delta^{PS}_t\right)$$
  収束に必要な縮小係数は、古典的な設定と比較して緩和されている：$\epsilon < \frac{\mu}{(1-\alpha_{\min})\beta_z}$。
• 洞察: シフトが主にパフォーマティブである場合（$\alpha_t \approx 0$）、パス長は消失し、レグレットは一定となる。シフトが主に外生的である場合（$\alpha_t \approx 1$）、レグレットは $P_t$ の非定常性に依存する。$P_t$ が急速に変動する場合、レグレットは大きくなり、$P_t$ がほぼ一定であれば、レグレットは低く保たれる。

2. 最適性のための理論的境界

パフォーマティブ最適性については、本論文はゼロ次最適化技術を利用している。

• 定理 5.2 & 5.3: 著者らは、二段階展開および一段階展開のゼロ次アルゴリズムに関するレグレット境界を提供している。これらの境界は、次元 $d$、時間ホライゾン $T$、および最適シーケンスのパス長 $\sum \Delta^{PO}_t$ に比例する。
• 凸性のトレードオフ: 本論文は、大きな外生的成分（$\alpha_t \approx 1$）がある場合、ターゲットの追跡が困難になる（パス長が増大する）一方で、パフォーマティブ・リスクが凸になる可能性が高まる（損失が凸であれば外生的部分は凸であるため）ことを指摘している。逆に、強い内生的フィードバックは、損失が凸であってもパフォーマティブ・リスクを非凸にする可能性がある。

3. 実証的検証

クレジットスコアリングのデータセット（戦略的応答モデル）および合成ガウスデータを用いた実験により、理論的知見を検証している：

• ランダムな外生的シフト: $\alpha_t$ の減衰が速い（移動する外生的項の重みを減らす）ほど、レグレットが低くなる。
• 定常的な外生的シフト: $\alpha_t$ を大きく保つ（固定された非パフォーマティブな分布に近い状態にする）ことで、より低いレグレットが得られる。
• 実験によるレグレット曲線は、異なる $\alpha_t$ スケジュールの順序に関して、理論的な上限と一致している。

意義と主張

本論文は、内生的および外生的な分布シフトを単一の学習モデルの下で統合する最初のフレームワークを提供すると主張している。その主な意義は以下の通りである：

1. 一般化: 古典的なパフォーマティブ予測を厳密に一般化しており、標準的なアルゴリズム（RRM など）が依然として有効であるが、外生的ノイズが存在する場合の収束条件の再評価が必要であることを示している。
2. 動的ベンチマーキング: 「最良」のモデルは動的なターゲットであることを認め、静的な平衡から動的レグレットへとパラダイムをシフトさせている。
3. トレードオフの特定: 移動するターゲットを追跡する困難さ（外生的ドリフト）と、非凸なランドスケープを最適化する困難さ（内生的フィードバック）の間のトレードオフを明示的に特徴付けている。

著者らは、レグレット率（特に貪欲な SGD に関して）のマッチングとなる下界を導出することや、正則性仮定（凸性、感度）を緩和することなどが今後の研究課題として残っていることを述べ、控えめな姿勢を保っている。また、現在の線形フレームワークを超えて、非線形混合モデルへレグレットの定義を自然に拡張できることも示唆している。