📊 statistics

Personalized Federated Vector Autoregression with Personalization Diversity

本文介绍了 PerFeCT-VAR，这是一个针对高维时间序列的个性化联邦学习框架，它利用个性化多样性原则将客户端特定的动态特性分解为共享组件和个性化组件，从而同时实现联邦样本规模效率和客户端层面的准确性。

原作者： Zhiyun Fan, Xiaoyu Zhang, Guodong Li, Di Wang

发布于 2026-10-06✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiyun Fan, Xiaoyu Zhang, Guodong Li, Di Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代世界中，由相关组织构成的网络——从银行的分行到零售连锁店的各个门店——每秒钟都在产生海量的数据。这些实体通常会随着时间的推移追踪相同的变量，例如销售额或能源使用情况。虽然这些群体共享共同的底层模式，但它们的具体行为却很少完全一致；例如，繁忙市中心的商店对市场变化的反应与安静郊区的商店截然不同。科学家面临的挑战在于，如何在不强迫它们进入一个忽略其独特差异的单一、僵化模型的前提下，同时学习所有这些群体的知识，且无需将所有私密数据汇集到一个中心位置，因为这会引发严重的隐私和安全问题。这便是个性化联邦学习（personalized federated learning）的领域，该领域致力于寻找共享知识与个体细微差别之间的平衡。

研究人员长期以来一直受困于这一过程中的一个根本性模糊问题：如何区分一个模式是真正被所有人共享的模式，还是仅仅因为少数特定群体恰好拥有某种特质而产生的巧合。如果两个变量之间的特定关系出现在许多不同的群体中，很难判断它属于共享模型，还是仅仅是一个恰好普遍存在的个性化特征。本研究的作者志云·范（Zhiyun Fan）、张晓玉（Xiaoyu Zhang）、李国东（Guodong Li）和王迪（Di Wang）引入了一个名为“个性化多样性”（personalization diversity）的新原则来解决这个谜题。他们提出，对于一个关系要被视为真正的个性化，它必须仅出现在极小比例的群体中。如果一个特定的动态出现在超过一半的群体中，它就应该被视为共享规则，而非个性化规则。

基于这一洞察，团队开发了一种名为 PerFeCT-VAR 的新方法。想象一下，试图通过观察数百个不同交叉口的数据来理解城市的交通流量。有些交通模式，如早高峰，在到处都会发生。而另一些，如由局部施工引起的特定绕行，则只发生在少数几个交叉口。研究人员的方法将每个地点的复杂数据分解为三个截然不同的部分。首先，它识别出代表系统普遍共享规则的宽泛、低秩动态。其次，它寻找那些被许多人拥有但不被所有人拥有的稀疏联系，代表了常见但局部的关系。最后，它分离出真正的个性化偏差，即仅针对极少数地点的独特、稀疏的奇特性。

他们方法的核心创新是一种被称为“频率限制阈值化”（frequency-capped thresholding）的技术。这在学习过程中充当了一个严格的过滤器。当计算机分析来自不同客户端的数据时，它会不断检查特定的个性化关系在整个网络中出现的频率。如果一个关系开始在过多的客户端中出现，系统会自动将其重新分类为共享模式而非个性化模式。这确保了模型不会意外地将独特的局部行为吸收进通用规则中。研究人员通过模拟实验和来自一家拥有 25 家门店的连锁超市的真实数据测试了这种方法。他们发现，通过严格限制个性化效应出现的频率，他们能够成功地将共享动态与个体动态分离。

结果表明，这种分离使得系统能够以高精度学习共享规则，从而受益于所有门店收集到的总数据量，同时仍保持对每个门店独特行为的高准确性。在模拟实验中，与那些要么忽略个体差异、要么未能有效结合数据的旧方法相比，该方法成功降低了预测未来趋势的误差。当应用于超市数据时，该模型不仅比标准方法更准确地预测了未来的销售情况，还揭示了具体的、可解释的见解。例如，它识别出虽然大多数门店在某些产品类别如何相互影响方面共享一种通用模式，但在特定价格层级的某一特定门店组中，饼干销量与其他商品之间存在独特的、强烈的联系，而通用模型将会错过这一点。

该研究还解决了这样一个困难的理论障碍：当不同的群体具有不同的底层统计结构时（例如，波动的程度不同或基准行为不同），会发生什么？作者证明，只要个性化差异足够多样化（即没有单一的个性化模式主导整个网络），即使各组之间差异很大，共享模型仍能有效地学习。他们证明，即使来自不同门店的数据并非完全统一，该方法也能可靠运行，前提是这些个性化的奇特性不会过于集中在某个方向。这一发现至关重要，因为它表明个性化联邦学习在数据极少完美平衡的混乱现实世界中是具有鲁棒性的。

最终，这项工作为分析分布式网络中的复杂时间序列数据提供了清晰的路径。它表明，个性化与联邦化并不是竞争目标，而是可以协同工作。通过规定真正的个性化必须是稀有的，研究人员创建了一个既能借鉴集体力量又尊重个体的框架。该方法成功地分离了普遍性与唯一性，使组织能够在不损害其个体数据隐私的情况下，做出更好的预测并获得对其运营的更深层洞察。该研究证实，通过适当的结构约束，构建出既具有广泛力量又具备局部精确性的模型是完全可能的。

技术摘要：具有个性化多样性的个性化联邦向量自回归

1. 问题陈述

本文解决了在涉及 $N$ 个客户端的联邦学习设置中，估计高维多元时间序列的挑战。每个客户端 $i$ 观测到一个 $p$ 维一阶向量自回归（VAR）过程：
$y_{i,t} = A_i y_{i,t-1} + \epsilon_{i,t}$
其中 $A_i \in \mathbb{R}^{p \times p}$ 是客户端特定的转移矩阵。

在此背景下出现了两个主要挑战：

参数异质性： 虽然客户端可能共享共同的动态机制，但它们的转移矩阵 $A_i$ 各不相同。标准的聚合（估计单个全局 $A$ ）会引入非消失的近似误差，而单独估计每个 $A_i$ 在局部时间序列相对于 $p^2$ 个参数较短时效率较低。
分布异质性： 客户端拥有不同的平稳协方差结构 ( $\Gamma_i$ ) 和创新协方差 ( $\Sigma_{\epsilon,i}$ )。这种异质性使得将个性化估计误差聚合为共享更新的过程变得复杂，可能会使全局模型产生偏差。

核心难点在于如何区分共享动态（在客户端间共同存在）与个性化动态（客户端特有），因为当参数异质性产生歧义时，如果某种特定的关系在多个客户端中频繁出现，它在没有进一步结构约束的情况下是无法与共享效应区分开来的。

2. 方法论：PerFeCT-VAR

作者提出了 PerFeCT-VAR（通过频率限制阈值实现的个性化联邦向量自回归），该方法基于转移矩阵 $A_i$ 的三部分分解：
$A_i = \underbrace{LR^\top}_{\text{共享低秩}} + \underbrace{S_0}_{\text{共享稀疏}} + \underbrace{S_i}_{\text{个性化稀疏}}$

$LR^\top$ ：通过一个共同的低维结构（秩 $r \ll p$ ）捕捉普遍的预测依赖关系。
$S_0$ ：捕捉在所有客户端中反复出现的稀疏联系。
$S_i$ ：捕捉客户端特有的稀疏偏离。

2.1 个性化多样性原则

为了解决共享组件与个性化组件之间的歧义，论文引入了个性化多样性原则。只有当某种关系不会在人群中广泛重复出现时，才被视为真正的个性化关系。这通过一个跨客户端频率上限 $m$ 来形式化：
$\max_{1 \le j,k \le p} \sum_{i=1}^N \mathbb{1}\{(S_i)_{jk} \neq 0\} \le m$
比率 $m/N$ 代表了个性化频率。论文证明，如果 $m < N/2$ ，则共享组件由客户端多数派唯一确定，从而确保了该分解的可识别性。

2.2 频率限制阈值化 (FCT)

估计算法采用了名为频率限制阈值化 (FCT) 的新型算子，以同时强制执行客户端稀疏性（每个 $S_i$ 具有有限的非零条目）和跨客户端频率上限。

机制： 给定提议矩阵，FCT 通过求解一个最大权重二部图 $b$ -匹配问题，在满足约束的同时，选择能使保留条目的总加权能量最大化的支撑集。
集成： FCT 被集成到联邦优化循环中：
1. 初始化： 使用局部“低秩加稀疏”拟合构建联邦初始化器。共享稀疏组件通过坐标级多数投票进行估计（利用 $m < N/2$ 条件），个性化残差则通过 FCT 进行处理。
2. 迭代更新：
  - 共享低秩： 通过缩放梯度下降 (ScaledGD) 进行更新，以处理非凸分解。
  - 共享稀疏： 通过容量感知硬阈值进行更新。
  - 个性化稀疏： 通过梯度下降以及在服务器端进行 FCT 支撑集选择进行更新。
3. 通信： 该协议设计高效，允许稀疏梯度压缩和选择性传输 FCT 分数。

2.3 处理分布异质性

理论分析引入了方向协方差差异度量 ( $\Lambda_{LR}, \Lambda_S$ )，以量化不同平稳协方差 ( $\Gamma_i$ ) 如何与个性化估计误差相互作用。论文施加了一个分布兼容性条件，将个性化频率、样本量不平衡和协方差差异联系起来，以确保个性化误差不会破坏共享更新。

3. 核心贡献

通过个性化多样性实现结构识别： 论文引入了个性化多样性作为一个结构化原则，并通过频率上限将其形式化。它证明了 $m < N/2$ 为三成分 VAR 模型中共享与个性化成分的唯一识别提供了锐利的阈值。
频率限制联邦估计： FCT 算子的开发实现了对客户端稀疏性和跨客户端频率约束的联合强制执行。它被集成到一个通信高效的联邦算法 (PerFeCT-VAR) 中，该算法在整个估计过程中保持了识别结构。
异质性下的理论保证： 作者建立了共享低秩、共享稀疏和个性化稀疏误差的联合收缩理论。
- 该理论明确表征了个性化误差向共享更新的传播。
- 它证明了在充分的个性化多样性和分布兼容性下，共享动态能够保留总样本量 ( $NT$ ) 的统计收益，而个性化成分则达到客户端水平的精度 ( $T$ )。
- 统计误差率显示为：
  $\|\hat{B} - B^*\|_F^2 \vee \|\hat{S}_0 - S_0^*\|_F^2 \lesssim \frac{D_G}{NT} + \frac{m}{N} \frac{D_P}{T}$
  $\frac{1}{N} \sum \|\hat{S}_i - S_i^*\|_F^2 \lesssim \frac{D_P}{T} + \frac{D_G}{NT}$
  其中 $D_G$ 和 $D_P$ 分别是共享和个性化成分的有效维度。

4. 结果

4.1 仿真研究

估计精度： 在转移矩阵的相对误差方面，PerFeCT-VAR 优于聚合方法 (Pooled LRS)、局部方法 (Local LRS) 以及现有的个性化联邦基准 (Ditto)。
速率分离： 仿真证实了理论上的速率分离：共享成分的误差随总样本量 ( $N$ ) 减少，而个性化成分的误差保持在客户端规模 ( $T$ )。
异质性影响： 实验验证了增加个性化频率 ( $m$ ) 或方向协方差差异 ( $\Lambda$ ) 会增加共享成分的误差，这与理论耦合项一致。
通信效率： 使用稀疏梯度压缩和选择性 FCT 分数传输的算法变体，在几乎不损失估计精度的前提下，减少了 86–92% 的上行通信量。

4.2 真实数据应用

该方法应用于 Dominick's Finer Foods 25 家门店在 17 个产品类别中的每周销售收入数据。

预测： 与聚合、局部及其他个性化基准相比，PerFeCT-VAR 实现了最低的样本外平均均方误差 (MSE) 和中位数 MSE。
可解释性： 该模型成功地将动态分解为：
- 共享低秩： 揭示了低维模式（例如，饼干相关类别同步波动）。
- 共享稀疏： 识别了共同的持续性和反转效应。
- 个性化稀疏： 捕捉了门店特有的调整（例如，特定价格层级对饼干销售的影响），表明在共享成分中较弱的关系对于某些门店可能是显著的。

5. 重要性与主张

论文声称个性化与联邦化并不是竞争目标。通过实施个性化多样性原则，所提出的框架允许共享动态即使在存在异质客户端分布的情况下，也能保留实质性的联邦收益（随 $NT$ 缩放）。

作者强调：

识别 vs. 效率： $m < N/2$ 的条件足以实现识别（分离共享与个性化效应），但共享模型的统计效率取决于 $m$ 的大小。当 $m$ 较小时（高多样性），共享模型能充分受益于联邦化；当 $m$ 较大（但仍 $< N/2$ ）时，共享模型会承担与个性化频率成比例的更高统计成本。
鲁棒性： 框架通过方向协方差差异考虑了分布异质性，证明只要协方差差异不会过于强烈地与个性化误差方向一致，联邦收益就能持续存在。

这项工作为在去中心化、异质环境下估计高维时间序列提供了严谨的理论基础和实用的算法，弥合了结构识别与统计效率之间的鸿沟。