Optimal Cox regression under federated differential privacy: coefficients and cumulative hazards

1. 研究背景与问题定义

背景：
随着医疗、生物医学和社会科学等领域对敏感个人数据的收集日益增多，数据隐私保护变得至关重要。传统的集中式数据分析面临隐私泄露风险，而联邦学习（Federated Learning）允许数据保留在本地服务器，仅交换模型更新。然而，在生存分析（Survival Analysis）领域，特别是针对广泛使用的 Cox 比例风险模型，如何在满足 联邦差分隐私（Federated Differential Privacy, FDP） 约束的前提下进行统计推断，目前尚缺乏系统的理论分析。

核心问题：
在联邦设置下，假设有 $S$ 个服务器，每个服务器 $s$ 拥有 $n_s$ 条右删失的生存数据（时间 $T$，删失指示 $\Delta$，协变量 $Z(t)$）。每个服务器有不同的隐私预算 $(\epsilon_s, \delta_s)$。研究旨在解决两个基础问题：

1. 回归系数估计：估计 Cox 模型中的未知回归系数向量 $\beta_0$。
2. 累积基线风险函数估计：估计非参数形式的累积基线风险函数 $\Lambda_0(t)$。

挑战：

• 数据异质性：各服务器的样本量 $n_s$ 和隐私预算 $\epsilon_s$ 可能不同。
• Cox 模型特性：Cox 模型的偏似然函数（Partial Likelihood）涉及“风险集”（At-risk sets）的归一化，导致梯度项依赖于整个数据集，增加了敏感度（Sensitivity）计算的复杂性。
• 隐私成本：需要量化隐私保护带来的统计精度损失（即隐私成本），并确定是否存在从非隐私到隐私的相变（Phase Transition）。

---

2. 方法论

作者提出了两种核心算法，分别针对回归系数和累积风险函数的估计，并建立了相应的理论界限。

2.1 回归系数估计 (FDP-Cox)

• 算法：提出了一种基于 私有随机梯度下降（Private SGD） 的算法（Algorithm 1）。
• 机制：
  • 在每个迭代步骤中，每个服务器计算局部梯度，并添加高斯噪声以满足 $(\epsilon_s, \delta_s)$-CDP（集中式差分隐私）。
  • 由于 Cox 偏似然梯度的敏感度依赖于风险集的大小（随时间变化且随机），作者证明了在协变量有界和系数有界的假设下，梯度的 $\ell_2$ 敏感度为 $O(\log(n)/n)$。
  • 采用加权平均策略，权重与各服务器的有效样本量（考虑隐私预算后的样本量）成正比，以优化异构环境下的收敛。
• 隐私保证：通过 $K$ 次迭代，利用高斯机制和隐私组合定理，确保整体满足联邦差分隐私约束。

2.2 累积基线风险函数估计 (FDP-Breslow)

• 算法：提出了一种基于 二叉树机制（Binary Tree Mechanism） 的私有 Breslow 估计器（Algorithm 2）。
• 机制：
  • 将时间区间 $[0, 1]$ 划分为 $2^h$ 个等长子区间。
  • 在每个子区间内计算私有的 Breslow 估计量（需先估计 $\beta_0$）。
  • 利用二叉树结构发布累积和。这种结构允许从任意时间点 $t$ 重构累积风险 $\hat{\Lambda}(t)$，而只需聚合对数数量级（$O(\log T)$）的私有区间估计量，从而将隐私预算的消耗控制在 $O(\log T)$ 级别，避免了线性累积噪声。
  • 引入了截断机制（Truncation）以处理风险集过小导致的数值不稳定问题，并证明在大概率下截断不会发生。

2.3 标签差分隐私 (Label DP)

• 文章还探讨了 标签差分隐私（Label DP） 场景，即协变量 $Z$ 是公开的，仅需对事件时间 $T$ 和删失指示 $\Delta$ 进行隐私保护。
• 分析了在此放松约束下的理论界限，发现对于 Cox 模型，标签 DP 的 minimax 速率与全量 DP 在某些条件下相似，但在理论上下界存在差异（取决于 $\delta$ 的假设）。

---

3. 主要理论贡献与结果

3.1 回归系数 $\beta_0$ 的 Minimax 速率

作者推导了估计误差的 Minimax 下界，并证明了所提算法的上界与之匹配（忽略多项式对数因子）。

• 速率公式：
  $$\mathbb{E}\|\hat{\beta} - \beta_0\|_2^2 \asymp \frac{d^2}{\sum_{s=1}^S \min(n_s, n_s^2 \epsilon_s^2 / d)}$$
  其中 $d$ 是协变量维度。
• 相变现象（Phase Transition）：
  • 分母中的 $\min(n_s, n_s^2 \epsilon_s^2 / d)$ 揭示了每个服务器在 非隐私区域（$n_s$ 主导）和 隐私区域（$n_s^2 \epsilon_s^2 / d$ 主导）之间的相变。
  • 当隐私预算 $\epsilon$ 较小时，隐私成本显著，有效样本量从 $n_s$ 降为 $n_s^2 \epsilon_s^2 / d$。
  • 这是首次针对联邦 DP 下的 Cox 回归建立系统的 Minimax 分析。

3.2 累积风险函数 $\Lambda_0(t)$ 的估计

• 提出了私有 Breslow 估计器，证明了其在 supremum 范数下的收敛速率。
• 速率：在忽略对数因子且 $d$ 视为常数时，达到了 Minimax 最优速率：
  $$\mathbb{E} \sup_{t} |\hat{\Lambda}(t) - \Lambda_0(t)| \asymp \frac{1}{\sqrt{\sum_{s=1}^S \min(n_s, n_s^2 \epsilon_s^2)}}$$
• 该结果利用了二叉树机制，使得累积噪声仅随时间分辨率对数增长，而非线性增长。

3.3 生存函数估计

• 基于 $\hat{\beta}$ 和 $\hat{\Lambda}$，构造了生存函数 $S(t; z)$ 的估计量。
• 证明了生存函数估计的 Minimax 速率与回归系数估计的速率在数量级上是一致的。

3.4 标签 DP 的界限

• 在标签联邦 DP 设置下，推导了新的上下界。结果显示，虽然协变量公开，但在某些参数设置下（特别是 $\delta$ 较小时），隐私成本并未完全消除维度的影响，这与线性回归中的某些结论不同，揭示了 Cox 模型特有的复杂性。

---

4. 数值实验与验证

• 仿真设置：
  • 在中心 DP（$S=1$）和联邦 DP（$S>1$）设置下进行了大量蒙特卡洛模拟。
  • 验证了估计误差随样本量 $n$ 增加而减小，随隐私预算 $\epsilon$ 增加而减小。
  • 验证了误差随维度 $d$ 的增加而增加，且符合理论预测的 $d^2$ 或 $d^3$ 依赖关系。
• 相变验证：实验清晰地展示了从非隐私主导到隐私主导的相变点，与理论公式 $\min(n, n^2\epsilon^2/d)$ 吻合。
• 真实数据应用：
  • 使用了 Rotterdam 乳腺癌数据集（2982 名患者，10 个协变量）。
  • 将数据人为分割到多个服务器，模拟联邦环境。
  • 结果表明，随着隐私预算 $\epsilon$ 的增加或服务器数量 $S$ 的增加，估计精度（相对于非隐私基准）显著提高，证明了算法在实际应用中的可行性。
• 软件实现：作者发布了 R 包 FDPCox，实现了上述所有算法。

---

5. 意义与未来展望

主要贡献总结：

1. 理论突破：首次系统性地建立了联邦差分隐私下 Cox 比例风险模型的 Minimax 理论界限，量化了隐私保护的“基本成本”。
2. 算法创新：设计了适应 Cox 模型特殊结构（风险集归一化）的私有 SGD 算法，以及基于二叉树的私有非参数累积风险估计器。
3. 异质性处理：理论框架允许各服务器拥有不同的样本量和隐私预算，更贴合现实世界的联邦学习场景。
4. 标签 DP 探索：首次研究了生存分析中标签 DP 的界限，揭示了其与全量 DP 的细微差别。

未来方向：

• 异质分布：当前理论假设各服务器数据同分布。未来需研究服务器间基线风险函数或回归系数存在异质性（Transfer Learning）的情况。
• 不确定性量化：在隐私约束下进行置信区间构建或假设检验（如 Bootstrap 方法）仍是一个挑战，因为私有估计器是通过迭代噪声优化生成的，而非简单的加性噪声。
• 完全交互式机制：目前主要关注非交互或有限交互机制，完全交互式机制的下界分析仍有待探索。

结论：
该论文为隐私保护下的生存分析奠定了坚实的理论基础，证明了在联邦差分隐私约束下，Cox 模型的系数和累积风险函数仍可实现接近最优的统计估计效率，为医疗等敏感领域的分布式数据分析提供了可靠的工具。