技术摘要：关于反向随机化（Antithetic Randomization）在交叉验证中最优性的研究

问题设定

本文探讨了在正态均值问题（Normal Means Problem）背景下估计预测误差（Prediction Error, PE）的问题，其中观测值为 $Y \sim N(\mu, \sigma^2 I_n)$。传统的交叉验证依赖于样本拆分，但在处理聚类、纵向或固定设计数据时，由于无法通过划分样本来生成独立的训练集-测试集折叠，这种方法往往难以实现。

为了解决这一问题，作者利用了一个框架，其中拟合估计量 $g(Y)$ 通过一个（渐近）正态的充分统计量来依赖于数据。该方法并非通过拆分样本，而是通过用正态随机变量扰动统计量来拆分数据中的“信息”。对于扰动水平 $\alpha > 0$，构建 $K$ 个训练集-测试集折叠的方式如下：
$$Y^k_{\text{train}} = Y + \sqrt{\alpha}\omega^k, \quad Y^k_{\text{test}} = Y - \frac{1}{\sqrt{\alpha}}\omega^k$$
其中 $\omega^k$ 是随机化向量。交叉验证估计量定义为：
$$CV_\alpha = \frac{1}{K} \sum_{k=1}^K \left( \|g(Y^k_{\text{train}}) - Y^k_{\text{test}}\|_2^2 - \frac{1}{\alpha}\|\omega^k\|_2^2 \right)$$
该估计量的偏差仅由 $\omega^k$ 的边缘分布决定（假设 $\omega^k \sim N(0, \sigma^2 I_n)$）。然而，估计量的方差取决于随机化变量 $(\omega^1, \dots, \omega^K)$ 的联合分布。核心问题在于：当扰动水平 $\alpha \to 0$（此时偏差趋于零）时，哪种联合律能最小化可约方差（Reducible Variance, R-VAR）？

方法论与框架

作者研究了可交换正态随机化（Exchangeable Normal Randomization）方案类（假设 2.1），其特征为：

1. 向量 $(\omega^1, \dots, \omega^K)$ 是可交换的。
2. 每个 $\omega^k \sim N(0, \sigma^2 I_n)$。
3. 两两相关性是常数：对于 $k \neq k'$，$\text{Cov}(\omega^k, \omega^{k'}) = \rho \sigma^2 I_n$，其中 $\rho \in [-1/(K-1), 1]$。

可约方差定义为 $E[\text{Var}(CV_\alpha | Y)]$。分析重点在于该方差在 $\alpha \downarrow 0$ 时的渐近行为。

核心贡献与结果

1. 平滑估计量对反向随机化的必要性

对于弱可微的估计量 $g$（假设 3.1），本文确立了相关系数参数 $\rho$ 的一个尖锐阈值。

• 定理 3.1： 当 $\alpha \downarrow 0$ 时，当且仅当采用反向随机化（即 $\rho = -1/(K-1)$）时，可约方差保持有界（$O(1)$）。
• 如果 $\rho > -1/(K-1)$，可约方差将以 $\Theta(1/\alpha)$ 的速率发散。
• 该结果无需假设 $\omega^k$ 的联合正态性，仅要求边缘正态性和特定的相关结构。

2. 联合正态方案的极小极大最优性（Minimax Optimality）

虽然任何满足 $\rho = -1/(K-1)$ 的方案都能确保方差有界，但本文进一步研究了此类构造中哪种特定的联合分布是最优的。

• 命题 4.1： 提供了一种使用基础正态向量 $Z$ 和满足共等距（Co-isometry）及和为零约束（$\sum M^k = 0$）的可交换随机矩阵 $M^k$ 构建反向方案的通用方法。
• 定理 4.1： 在此类构造类中，联合正态方案（即堆叠向量 $(\omega^1, \dots, \omega^K)$ 为多元正态）是唯一的极小极大最优构造。它最小化了平滑估计量类下的最坏情况可约方差。联合正态方案实现的下界为 $8\sigma^4/(K-1) \cdot E\|\nabla g(Y)\|_F^2$。

3. 向非平滑估计量的扩展

研究被扩展到了具有有限个跳跃间断点的估计量（例如硬阈值估计量），其模型为 $g(y) = f_0(y) + \sum a_\ell(y) \mathbb{1}\{h_\ell(y) > 0\}$。

• 定理 5.1： 对于非平滑估计量，反向随机化（$\rho = -1/(K-1)$）仍能改善可约方差的渐近增长速率。具体而言，对于反向方案，方差随 $O(\alpha^{-1/2})$ 增长，而对于非反向方案，方差随 $\Theta(\alpha^{-1})$ 增长。
• 定理 5.2： 如果间断边界已知，可以构造一个控制变量（Control Variate）来抵消来自跳跃的方差贡献。当该控制变量被添加到估计量中时，只要满足 $\rho = -1/(K-1)$，可约方差在 $\alpha \downarrow 0$ 时将变为有界（$O(1)$），从而恢复到平滑情况下的性能水平。

4. 数值验证

通过对岭回归（Ridge Regression）和硬阈值岭回归（Hard-thresholded Ridge Regression）的模拟验证了理论发现：

• 岭回归（平滑）： 联合正态反向方案（ACV Normal）产生的可约方差低于基于 Rademacher 的反向方案（ACV Rademacher），证实了其极小极大最优性。两种反向方案均保持有界，而独立方案（$\rho=0$）和正相关方案则会发散。
• 硬阈值岭回归（非平滑）： 未经调整的反向方案显示出较慢的方差发散速率（$O(\alpha^{-1/2})$），相比之下，非反向方案的发散速度更快。带有控制变量的方案（ACV Adjusted）保持了方差有界，证实了定理 5.2。

意义与主张

本文声称解决了正态均值设定下基于随机化的交叉验证的最优性问题。

• 它证明了反向相关性（$\rho = -1/(K-1)$）不仅是充分的，而且是必要的，以防止在偏差消失时对于平滑估计量而言可约方差发生爆炸。
• 它确定了联合正态反向方案是在所有有效的反向方案中唯一的极小极大最优构造。
• 它表明对于非平滑估计量，反向随机化提供了更优的方差减少渐近速率，并且当间断结构已知时，可以使用控制变量来完全恢复有界方差。

这项工作通过证明在不假设联合正态性的情况下反向条件的必要性，并提供严谨的极小极大最优性结果及向非平滑场景的扩展，推广了以往的研究成果（如 Liu et al., 2026）。