技术摘要：具有有界经验敏感性的鲁棒统计估计量

问题陈述

本文解决了统计鲁棒性经典理论中的一个空白。传统的鲁棒性度量关注的是估计量在污染数据集 $Y$ 上的输出与真实潜在参数 $\theta^*$ 之间的距离（即 $\|\hat{\theta}(Y) - \theta^*\|$）。虽然这确保了在对抗性污染下的准确性，但它未能捕捉估计量本身的稳定性。具体而言，一个鲁棒的估计量可能会产生一个输出 $\hat{\theta}(Y)$，该输出与原始干净数据集 $X$ 上的输出 $\hat{\theta}(X)$ 相距甚远，即使两者都接近 $\theta^*$。

为了解决这一问题，作者引入了经验敏感性（Empirical Sensitivity），这是一个新定义的度量，指估计量在干净数据集 $X$ 上的输出与其在污染数据集 $Y$ 上的输出之间的距离（其中 $Y$ 与 $X$ 在最多 $\eta n$ 个点上不同）。形式上，对于估计量 $\hat{\theta}$，经验敏感性定义为：
$$S_{\hat{\theta}}^\eta(X) := \sup_{Y: d_H(X,Y) \le \lfloor \eta n \rfloor} \|\hat{\theta}(Y) - \hat{\theta}(X)\|$$
本文研究了分布经验敏感性，即该量在干净数据集 $X \sim D^{\otimes n}$ 的随机性下的期望值（或均方根）。

本文的主要焦点是高斯均值估计这一典型问题，其中数据 $X \sim N(\mu, I_d)^{\otimes n}$，目标是估计 $\mu$。作者旨在确定那些实现最优统计准确性的估计量（具体而言，即均匀均方误差 (MSE) 精度为 $O(d/n)$）在经验敏感性方面的基本极限。

方法论与技术

本文结合信息论论证、耦合技术和方差分析来建立下界。核心技术策略是将问题分解为两个不同的“障碍”，这些障碍阻止估计量同时具备高准确性和低经验敏感性。

1. 归约至标量估计量

为了处理高维高斯均值估计，作者利用了一个投影和条件论证（引理 D.1）。他们表明，$\mathbb{R}^d$ 中任何均匀 MSE 准确的估计量都可以投影到特定方向上，从而产生一个继承准确性保证的标量估计量。这使得他们能够证明标量情况下的下界，并将其提升到高维设置中。

2. 均值障碍

该障碍源于估计量跟踪潜在分布均值偏移的需求。作者分析了两种污染水平 ($\eta$) 的机制：

• 低污染机制 ($\eta \lesssim 1/\sqrt{n}$)：证明依赖于局部偏移（将 $k=\lfloor \eta n \rfloor$ 个随机点污染为常数 $\delta$）与全局偏移（将所有 $n$ 个点的均值偏移 $\eta \delta$）之间的统计不可区分性。通过界定这两种分布之间的 $\chi^2$ 散度，作者表明一个准确的估计量无法区分局部污染与真实的参数偏移。因此，为了保持准确性，估计量被迫将其输出偏移 $\Omega(\eta)$，尽管污染仅是局部的。
• 高污染机制 ($\eta \gtrsim \log n / n$)：证明使用了坐标-wise 最大耦合论证。作者耦合了来自两个均值相隔 $\eta$ 的高斯分布的样本。他们表明，以高概率，耦合样本在最多 $\lfloor \eta n \rfloor$ 个坐标上不同。由于估计量必须跟踪 $\eta$ 的均值偏移以保持准确性，且对手可以用 $\eta n$ 次更改桥接这两个数据集，因此经验敏感性必须至少为 $\Omega(\eta)$。

3. 方差障碍

该障碍由估计量在干净数据上的固有变异性驱动。作者证明，任何实现均匀 MSE 准确性的估计量必须在某个参数点表现出 $\Omega(d/n)$ 量级的输出方差。

• 机制：利用块重采样论证和向量 Efron-Stein 不等式，作者证明对手可以利用这种干净样本方差。通过将 $\eta$ 比例的样本替换为来自同一分布的新的独立抽取（即“重采样对手”），对手可以引起估计量输出的变化，该变化与方差乘以污染分数的平方根成正比。
• 结果：这导致经验敏感性的下界为 $\Omega(\sqrt{\eta d/n})$，即使对于最弱的对手模型（重采样）也成立。

4. 上界

为了证明这些下界是紧的，本文引用了 Chen 等人 [CDMM26] 关于鲁棒经验均值估计的最新结果。他们表明，一个特定的（计算上低效的）估计量实现了 $\tilde{O}(\eta + \sqrt{\eta d/n})$ 的经验敏感性，与下界在对数因子范围内相匹配。

主要结果

主要贡献是定理 1.1，该定理为任何对高斯均值估计具有均匀 MSE 准确性的估计量的经验敏感性建立了紧的下界。

定理 1.1：对于任何满足 $\sup_{\mu} \mathbb{E}[\|\hat{\mu}(X) - \mu\|_2^2] \lesssim d/n$ 的估计量 $\hat{\mu}$，以及对于每个 $\eta \in (0, 1)$：
$$\sup_{\mu} \left( \mathbb{E}_{X} \left[ \sup_{Y: d_H(X,Y) \le \lfloor \eta n \rfloor} \|\hat{\mu}(Y) - \hat{\mu}(X)\|_2^2 \right] \right)^{1/2} \ge \Omega\left( \eta + \sqrt{\frac{\eta d}{n}} \right)$$

该下界由两个相加项组成：

1. $\Omega(\eta)$：源于均值障碍。该项反映了在对抗性偏移下跟踪真实参数所需的敏感性。即使对于强对手，这也是必要的，仅具备准确性的估计量无法避免。
2. $\Omega(\sqrt{\eta d/n})$：源于方差障碍。该项反映了由估计量自身在干净数据上的方差引起的敏感性。即使在最弱的“重采样”对手下，它依然存在。

本文还提供了伯努利均值估计的类比（定理 4.1），表明在离散设置中，均值障碍具有类似的 $\Omega(\eta)$ 下界。

意义与主张

本文声称是首个在平均情况下明确研究统计效率与经验敏感性之间相互作用的工作。

• 细化鲁棒性概念：作者认为，传统的鲁棒性保证（界定 $\|\hat{\theta}(Y) - \theta^*\|$）不足以表征估计量的稳定性。一个估计量在传统意义上可以是鲁棒的（接近真实值），但极不稳定（远离其干净输出）。经验敏感性度量捕捉了由污染引起的这种“漂移”。
• 基本权衡：结果表明，对于高斯均值估计，存在固有的权衡：无法同时实现最优统计准确性 ($O(d/n)$) 和最优经验稳定性 ($O(\eta)$)。最优的经验敏感性严格更差，其缩放比例为 $\eta + \sqrt{\eta d/n}$。
• 对手模型：本文区分了不同的对手模型。$\Omega(\eta)$ 项需要更强的（自适应）对手，而 $\Omega(\sqrt{\eta d/n})$ 项即使在重采样对手下也会出现。这阐明了不稳定性既可能源于污染的性质，也可能源于估计量的内在方差。
• 与差分隐私的联系：该工作将经验敏感性与差分隐私中的概念（特别是局部敏感性）联系起来，指出虽然差分隐私关注单次污染的最坏情况敏感性，但本工作提供了一组污染的平均情况界限。

本文得出结论，如现有的鲁棒均值估计量所示，推导出的下界在对数因子范围内是紧的，从而根据经验稳定性刻画了鲁棒统计估计的基本极限。