技術要約：パーソナライゼーションの多様性を備えたパーソナライズ型フェデレーテッド・ベクトル自己回帰

1. 問題設定

本論文は、$N$個のクライアントが関与するフェデレーテッド学習環境において、高次元の多変量時系列を推定するという課題に取り組んでいる。各クライアント $i$ は、$p$ 次元の一次ベクトル自己回帰（VAR）過程を観測する：
$$y_{i,t} = A_i y_{i,t-1} + \epsilon_{i,t}$$
ここで、$A_i \in \mathbb{R}^{p \times p}$ はクライアント固有の遷移行列である。

ここでは主に2つの課題が生じる：

1. パラメータの不均一性（Parameter Heterogeneity）： クライアント間で共通の動態メカニズムが存在する場合でも、遷移行列 $A_i$ はそれぞれ異なる。標準的なプーリング（単一のグローバルな $A$ の推定）は消去できない近似誤差を導入し、一方で各 $A_i$ を個別に推定することは、パラメータ数 $p^2$ に対してローカルな時系列が短い場合、非効率的となる。
2. 分布の不均一性（Distributional Heterogeneity）： クライアントは異なる定常共分散構造（$\Gamma_i$）およびイノベーション共分散（$\Sigma_{\epsilon,i}$）を持つ。この不均一性は、パーソナライズされた推定誤差を共有の更新へと集計する際に、グローバルモデルにバイアスをもたらす可能性がある。

核心となる困難は、パラメータの不均一性が曖昧さを生む中で、「共有された動態（クライアント間で共通）」と「パーソナライズされた動態（クライアント固有）」をいかに区別するかにある。特定の関係性が多くのクライアント間で頻繁に現れる場合、追加の構造的制約なしには、それが共有された効果なのかを判別することができない。

2. 手法：PerFeCT-VAR

著者らは、遷移行列 $A_i$ の3つの成分分解に基づいた PerFeCT-VAR (Personalized Federated Vector Autoregression via Frequency-Capped Thresholding) を提案している：
$$A_i = \underbrace{LR^\top}_{\text{共有低ランク}} + \underbrace{S_0}_{\text{共有スパース}} + \underbrace{S_i}_{\text{パーソナライズ・スパース}}$$

• $LR^\top$: 共通の低次元構造（ランク $r \ll p$）を介した、広範にわたる予測依存性を捉える。
• $S_0$: すべてのクライアント間で共有される、再帰的なスパース関係を捉える。
• $S_i$: クライアント固有のスパースな逸脱を捉える。

2.1 パーソナライゼーション多様性の原理

共有成分とパーソナライズ成分の間の曖昧さを解消するために、本論文では**パーソナライゼーション多様性（personalization diversity）の原理を導入している。ある関係が真にパーソナライズされたものであると見なされるのは、それが集団全体に広く再発しない場合のみである。これは、クロスクライアント周波数キャップ $m$ によって形式化される：
$$\max_{1 \le j,k \le p} \sum_{i=1}^N \mathbb{1}\{(S_i)_{jk} \neq 0\} \le m$$
比率 $m/N$ はパーソナライゼーションの頻度を表す。本論文では、$m < N/2$ であれば、共有成分はクライアントの多数派によって一意に決定され、この分解の識別可能性（identifiability）**が保証されることを示している。

2.2 周波数キャップ付き閾値処理（Frequency-Capped Thresholding: FCT）

推定アルゴリズムは、クライアントごとのスパース性（各 $S_i$ の非ゼロ要素の制限）と、クロスクライアントの周波数キャップを同時に強制する新しい演算子、**周波数キャップ付き閾値処理（FCT）**を採用している。

• メカニズム: 提案行列に対し、FCTは最大重み二部マッチング問題（maximum-weight bipartite $b$-matching problem）を解き、制約を満たしながら保持する要素の総重みエネルギーを最大化するサポートを選択する。
• 統合: FCTは以下のフェデレーテッド最適化ループに統合される：
  1. 初期化: ローカルの低ランク・プラス・スパース適合を用いて、フェデレーテッド初期化器を構築する。共有スパース成分は、座標ごとの多数決（$m < N/2$ の条件を活用）を介して推定され、パーソナライズされた残差はFCTによって処理される。
  2. 反復更新:
     • 共有低ランク: 非凸な因子分解を扱うため、Scaled Gradient Descent (ScaledGD) を通じて更新される。
     • 共有スパース: 容量を考慮したハード閾値処理（capacity-aware hard thresholding）を介して更新される。
     • パーソナライズ・スパース: 勾配降下法に続き、サーバーでのFCTによるサポート選択が行われる。
  3. 通信: プロトコルは効率的に設計されており、スパースな勾配圧縮とFCTスコアの選択的送信が可能である。

2.3 分布の不均一性の処理

理論的解析では、定常共分散（$\Gamma_i$）の違いがパーソナライズされた推定誤差とどのように相互作用するかを定量化するために、**方向性共分散不一致（directional covariance discrepancy）の尺度（$\Lambda_{LR}, \Lambda_S$）を導入している。パーソナライゼーションの頻度、サンプルサイズの不均衡、および共分散の不一致を関連付ける分布適合条件（distributional compatibility condition）**が課されており、これによりパーソナライズされた誤差が共有の更新を不安定にしないことが保証される。

3. 主な貢献

1. パーソナライゼーション多様性による構造的識別: 本論文は、周波数キャップによって形式化された構造的原理として、パーソナライゼーション多様性を導入している。$m < N/2$ が、3成分VARモデルにおける共有成分とパーソナライズ成分の一意な識別のための鋭い閾値であることを証明している。
2. 周波数キャップ付きフェデレーテッド推定: FCT演算子の開発により、クライアントごとのスパース性とクロスクライアントの周波数制約の同時強制が可能となった。これは、推定プロセスを通じて識別構造を維持する通信効率の高いフェデレーテッドアルゴリズム（PerFeCT-VAR）に統合されている。
3. 不均一性下での理論的保証: 著者らは、共有低ランク、共有スパース、およびパーソナライズ・スパースの誤差に関する結合収縮理論を確立している。
   • この理論は、パーソナライズされた誤差が共有の更新へと伝播する様子を明示的に特徴付けている。
   • 十分なパーソナライゼーション多様性と分布適合性がある場合、共有の動態が全サンプルサイズ（$NT$）の統計的利点を保持しつつ、パーソナライズされた成分がクライアントレベルの精度（$T$）を達成することを示している。
   • 統計的誤差率は以下のように示される：
     $$\|\hat{B} - B^*\|_F^2 \vee \|\hat{S}_0 - S_0^*\|_F^2 \lesssim \frac{D_G}{NT} + \frac{m}{N} \frac{D_P}{T}$$
     $$\frac{1}{N} \sum \|\hat{S}_i - S_i^*\|_F^2 \lesssim \frac{D_P}{T} + \frac{D_G}{NT}$$
     ここで、$D_G$ と $D_P$ はそれぞれ共有成分とパーソナライズ成分の実効次元である。

4. 結果

4.1 シミュレーション研究

• 推定精度: PerFeCT-VARは、遷移行列の相対誤差において、プーリング（Pooled LRS）、ローカル（Local LRS）、および既存のパーソナライズ型フェデレーテッド・ベースライン（Ditto）を凌駕している。
• レートの分離: シミュレーションは、理論的なレートの分離を裏付けている。すなわち、共有成分の誤差は総サンプルサイズ（$N$）とともに減少し、パーソナライズされた成分の誤差はクライアントレベルのスケール（$T$）に留まる。
• 不均一性の影響: 実験により、パーソナライゼーションの頻度（$m$）または方向性共分散不一致（$\Lambda$）が増加すると、共有成分の誤差が増大することが検証された。これは理論的な結合項と一致している。
• 通信効率: スパースな勾配圧縮と選択的なFCTスコア送信を用いたアルゴリズムのバリアントは、推定精度をほとんど損なうことなく、アップリンク通信量を86〜92%削減した。

4.2 実データへの適用

本手法を、Dominick's Finer Foodsの25店舗における17の製品カテゴリの週次売上収益データに適用した。

• 予測: PerFeCT-VARは、プーリング、ローカル、およびその他のパーソナライズされたベンチマークと比較して、アウトオブサンプル（out-of-sample）の平均および中央値の平均二乗誤差（MSE）において最も低い値を達成した。
• 解釈性: モデルは動態を以下のように分解することに成功した：
  • 共有低ランク: 低次元のパターン（例：ビスケット関連のカテゴリが連動して動くなど）を明らかにする。
  • 共有スパース: 共通の持続性および反転効果を特定する。
  • パーソナライズ・スパース: 店舗固有の調整（例：クッキーの売上に与える特定の価格帯の影響など）を捉え、共有成分では弱い関係性が一部の店舗では重要であることを示している。

5. 意義と主張

本論文は、パーソナライゼーションとフェデレーションは相反する目的ではないと主張している。パーソナライゼーション多様性の原理を強制することにより、提案されたフレームワークは、クライアントの分布が不均一であっても、共有の動態が（$NT$ に比例する）実質的なフェデレーションの利点を保持することを可能にする。

著者らは以下の点を強調している：

• 識別 vs 効率: $m < N/2$ という条件は「識別」（共有効果とパーソナライズ効果の分離）には十分であるが、「統計的効率」は $m/N$ の大きさに依存する。$m$ が小さい（多様性が高い）場合、共有モデルはフェデレーションの恩恵を最大限に享受できる。$m$ が大きい（ただし依然として $N/2$ 未満）場合、共有モデルはパーソナライゼーションの頻度に比例した統計的コストを負うことになる。
• 堅牢性: 本フレームワークは、方向性共分散不一致を通じて分布の不均一性を考慮しており、共分散の違いがパーソナライズされた誤差の方向に強く一致しない限り、フェデレーションの利点が維持されることを示している。

本研究は、分散化され不均一な環境における高次元時系列推定のための厳密な理論的基礎と実用的なアルゴリズムを提供し、構造的識別と統計的効率の間の溝を埋めるものである。