技术摘要：数据增强自助法 (Data Augmented Bootstrap, DAB)

问题陈述

构建有效的置信区间 (Confidence Intervals, CIs) 通常依赖于对数据的特定结构性假设。包括符合预测 (conformal prediction)、置换检验 (permutation tests) 以及某些自助法变体在内的显著一类方法，都依赖于精确群不变性 (exact group invariance)。这些方法通过利用统计量 $f(X)$ 在一组变换 $\Phi$ 下具有分布不变性（即 $f(X) \stackrel{d}{=} f(\Phi_b(X))$）这一事实，来保证有限样本下的无分布有效性。

然而，对精确不变性的要求在实际应用中往往过于苛刻。许多广泛使用的机器学习技术（例如数据增强，如随机旋转、洗牌或噪声注入）仅满足近似不变性 (approximate invariance)。此外，经典的自助法虽然在渐近意义上是有效的，但其依赖于数据集在索引重采样下随 $n \to \infty$ 时满足的近似不变性，而非有限样本下的精确对称性。目前缺乏一个统一的框架，能够既能严谨地处理精确的群对称性，又能处理来自数据增强的近似且非群性质的不变性，从而构建具有覆盖率保证的置信区间。

方法论：数据增强自助法 (DAB)

本文提出了数据增强自助法 (DAB)，这是一个通过利用近似不变性来统一置信区间构建的框架。

核心框架

给定数据集 $X = (X_{obs}, X_{unobs})$ 和统计量 $f: \mathcal{X}^n \to \mathcal{Y}$，DAB 通过将原始统计量与 $B$ 个变换版本进行排序，构建预测集 $C_\alpha$ 用于 $X_{unobs}$：
$$C_\alpha := \left\{ \tilde{x}_n \in \mathcal{X}^n_{unobs} \mid \frac{\text{Rank}_T(f(X_{obs}, \tilde{x}_n); (f(\Phi_b(X_{obs}, \tilde{x}_n)))_{b=1}^B)}{B+1} \in S_\alpha \right\}$$
其中 $\Phi_b$ 是随机变换（可能是非可逆且非群结构的），$\text{Rank}_T$ 是带有平局处理的排序函数。

DAB 的有效性建立在序列 $(f(X), f(\Phi_1(X)), \dots, f(\Phi_B(X)))$ 是近似可交换 (approximately exchangeable) 的假设之上。

理论支柱

本文通过一系列理论结果建立了覆盖率保证：

1. 近似可交换性 (定理 2)：
   覆盖误差由实际序列与精确可交换替代序列之间的秩分布的 Kolmogorov 距离 ($\Delta^r_{Kol}$) 所界定。如果变换满足精确群不变性，则 $\Delta^r_{Kol} = 0$，从而恢复已知的有限样本保证。如果它们仅满足近似不变性，则误差由可交换性违背的幅度来控制。

2. 近似不变性 (定理 3)：
   本文将可交换性误差归约为近似不变性的度量：
   $$\Delta_{inv}(X) := \sup_{t \in \mathbb{R}} |P(f(\Phi_1(X)) \le t \mid X) - P(f(X) \le t)|$$
   定理 3 提供了一个插值的覆盖率界限，该界限在有限样本保证（当 $\Delta_{inv}$ 很小时）和渐近保证（当 $\Delta_{inv} \to 0$ 且 $n \to \infty$ 时）之间进行切换。这甚至适用于 $\Phi_b$ 不属于任何群结构的场景。

3. 高斯普遍性与矩匹配 (定理 5)：
   为了使验证复杂非线性统计量（常见于高维统计和机器学习）的近似不变性变得可行，本文采用了高斯普遍性 (Gaussian universality)。

   • 核心见解： 如果统计量 $f$ 满足高斯普遍性，则分布近似 $f(X) \approx f(Z)$（其中 $Z$ 为高斯分布）成立。
   • 条件： 在此假设下，如果变换 $\Phi_1$ 匹配了原始数据的二阶矩（条件均值和方差），则近似不变性得到保证。具体而言，如果 $\| \text{Var}[\Phi_1(X) \mid X] - \text{Var}[X] \|_\infty$ 很小且条件均值相匹配，则覆盖误差在渐近意义下趋于零。
   • 这使得将标准的数据增强技术（如正交变换、随机旋转）纳入 DAB 成为可能，前提是这些变换近似保持了数据的均值和方差结构。

主要贡献

1. 方法的统一： DAB 提供了一个单一的理论框架，可以恢复：

   • 精确不变性方法： 符合预测、置换检验、SymmPI 以及针对 U-统计量的 Wild Bootstrap。
   • 渐近方法： 经典的 Bootstrap 以及针对退化 U-统计量的 Wild Bootstrap。
   • 新能力： 它允许使用数据增强（不具备群结构的近似不变性）来进行不确定性量化。

2. 近似不变性的理论保证：
   本文建立了依赖于不变性强度的严谨覆盖率界限。不同于以往要求精确可交换性或仅依赖渐近论证的工作，DAB 提供了基于不变性违背的 Kolmogorov 距离的有限样本误差界限，实现了在精确与渐近机制之间的插值。

3. 与高斯普遍性的联系：
   通过将近似不变性与高斯普遍性联系起来，本文简化了覆盖条件的验证。它证明了对于一大类估计量（包括高维统计中的估计量），确保变换匹配数据的条件均值和方差足以保证有效的置信区间。

4. 实证验证：
   作者通过将数据增强纳入以下过程，对 DAB 进行了实证测试：

   • Bootstrap： 在均值估计中加入正交变换。
   • Wild Bootstrap： 在用于两样本问题的最大均值差异 (MMD) 检验中加入变换。
   • 符合预测： 在回归和分子能量预测的拆分符合预测 (split-conformal prediction) 中加入增强。

   结果表明，与原生方法相比，DAB 通常能提高覆盖率（尤其是在小样本量时）和检验功效，同时保持效率。

意义与主张

本文声称 DAB 弥合了具有有限样本保证的群不变性方法与具有实用近似不变性的机器学习实践之间的鸿沟。

• 实际影响： 它允许从业者将标准的数据增强技术（如旋转、洗牌）整合到统计推断程序中，以改进置信区间的质量，特别是在不存在精确对称性或精确对称性在计算上难以处理的场景下。
• 理论范围： 该框架扩展了类似 Bootstrap 方法的应用范围，使其适用于不满足渐近正态性的估计量，只要这些估计量满足高斯普遍性。
• 局限性说明： 作者承认，虽然 DAB 在许多任务（如图像和科学数据）中提升了性能，但在对称性较少的场景下（如文本数据或 Higgs 玻色子数据集）收益有限。他们还指出，选择最优变换仍然是特定于领域的，且是一个开放性问题。

总之，DAB 提供了一种原则性的方式，将数据增强不仅仅视为改进点估计的启发式方法，而是将其作为一种在近似不变性下构建有效不确定性量化区间的有效机制。