技術的サマリー：有界な経験的感度を持つ頑健な統計推定量

問題定義

本論文は、統計的頑健性の古典的理論におけるギャップに対処する。従来の頑健性の尺度は、汚染データセット $Y$ 上の推定量の出力と真の基底パラメータ $\theta^*$ との距離（すなわち $\|\hat{\theta}(Y) - \theta^*\|$）に焦点を当てている。これは敵対的汚染下での精度を保証するが、推定量そのものの安定性を捉えることはできない。具体的には、頑健な推定量であっても、両方が $\theta^*$ に近い場合でも、元のクリーンなデータセット $X$ 上の出力 $\hat{\theta}(X)$ から遠い出力 $\hat{\theta}(Y)$ を生成する可能性がある。

これを解決するため、著者らは経験的感度（Empirical Sensitivity）という新しい尺度を導入する。これは、クリーンなデータセット $X$ 上の推定量の出力と、$X$ と高々 $\eta n$ 点で異なる汚染データセット $Y$ 上の出力との距離として定義される。形式的には、推定量 $\hat{\theta}$ に対して、経験的感度は以下の通りである：
$$S_{\hat{\theta}}^\eta(X) := \sup_{Y: d_H(X,Y) \le \lfloor \eta n \rfloor} \|\hat{\theta}(Y) - \hat{\theta}(X)\|$$
本論文は、クリーンなデータセット $X \sim D^{\otimes n}$ のランダム性に対するこの量の期待値（または二乗平均平方根）である分布的経験的感度（distributional empirical sensitivity）を調査する。

主な焦点は、データ $X \sim N(\mu, I_d)^{\otimes n}$ であり $\mu$ を推定することを目的とするガウス平均推定という典型的な問題である。著者らは、最適な統計的精度（具体的には、一様平均二乗誤差（MSE）精度 $O(d/n)$）を達成する推定量に対する経験的感度の根本的な限界を決定しようとする。

手法と技術

本論文は、情報理論的議論、結合（coupling）技術、および分散分析を組み合わせて、下限を確立する。核心的な技術的戦略は、推定量が高精度かつ低経験的感度を持つことを妨げる 2 つの異なる「障害」に問題を分解することである。

1. スカラー推定量への還元

高次元ガウス平均推定を処理するために、著者らは射影と条件付けの議論（補題 D.1）を利用する。彼らは、$\mathbb{R}^d$ における任意の一様 MSE 精度推定量を特定の方向に射影することで、精度保証を継承するスカラー推定量を導出できることを示す。これにより、スカラーケースに対する下限を証明し、それを高次元設定に持ち上げることが可能になる。

2. 平均障害（The Mean Obstruction）

この障害は、推定量が基底分布の平均のシフトを追跡する必要性から生じる。著者らは汚染レベル（$\eta$）の 2 つの領域を分析する：

• 低汚染領域（$\eta \lesssim 1/\sqrt{n}$）： 証明は、局所シフト（$k=\lfloor \eta n \rfloor$ 個のランダムな点を定数 $\delta$ で汚染）と大域シフト（$n$ 個のすべての点の平均を $\eta \delta$ だけシフト）との間の統計的識別不可能性に依存する。これら 2 つの分布間の $\chi^2$ 発散を有界化することで、著者らは正確な推定量が局所的な汚染を真のパラメータシフトと区別できないことを示す。その結果、推定量は汚染が局所的であったにもかかわらず、精度を維持するために $\Omega(\eta)$ の出力シフトを強いられる。
• 高汚染領域（$\eta \gtrsim \log n / n$）： 証明は座標ごとの最大結合（coordinate-wise maximal coupling）の議論を用いる。著者らは、平均が $\eta$ だけ離れている 2 つのガウス分布からのサンプルを結合する。彼らは、高い確率で、結合されたサンプルは高々 $\lfloor \eta n \rfloor$ 個の座標で異なると示す。推定量は精度を維持するために $\eta$ の平均シフトを追跡しなければならないが、敵対者は $\eta n$ 個の変更で 2 つのデータセットを橋渡しできるため、経験的感度は少なくとも $\Omega(\eta)$ でなければならない。

3. 分散障害（The Variance Obstruction）

この障害は、クリーンなデータ上での推定量の固有の変動性によって駆動される。著者らは、一様 MSE 精度を達成する任意の推定量が、あるパラメータ点において $\Omega(d/n)$ のオーダーの出力分散を示さなければならないことを証明する。

• メカニズム： ブロック再サンプリング（block-resampling）の議論とベクトル Efron-Stein 不等式を用いて、著者らは敵対者がこのクリーンなサンプルの分散を悪用できることを示す。サンプルの割合 $\eta$ を同じ分布からの新しい独立な引き抜き（「再サンプリング敵対者」）に置き換えることで、敵対者は分散の平方根を汚染割合でスケーリングしたものに比例する推定量の出力変化を引き起こす。
• 結果： これにより、最も弱い敵対者モデル（再サンプリング）であっても成り立つ、経験的感度に対する $\Omega(\sqrt{\eta d/n})$ の下限が導かれる。

4. 上限

これらの下限がtightであることを示すために、本論文は頑健な経験的平均推定に関する Chen ら [CDMM26] の最近の結果を参照する。彼らは、特定の（計算的に非効率的な）推定量が、対数因子を除いて下限と一致する $\tilde{O}(\eta + \sqrt{\eta d/n})$ の経験的感度を達成することを示している。

主要な結果

主な貢献は定理 1.1であり、これはガウス平均推定に対して一様 MSE 精度を持つ任意の推定量の経験的感度に対する tight な下限を確立する。

定理 1.1： 任意の推定量 $\hat{\mu}$ が $\sup_{\mu} \mathbb{E}[\|\hat{\mu}(X) - \mu\|_2^2] \lesssim d/n$ を満たし、かつすべての $\eta \in (0, 1)$ に対して：
$$\sup_{\mu} \left( \mathbb{E}_{X} \left[ \sup_{Y: d_H(X,Y) \le \lfloor \eta n \rfloor} \|\hat{\mu}(Y) - \hat{\mu}(X)\|_2^2 \right] \right)^{1/2} \ge \Omega\left( \eta + \sqrt{\frac{\eta d}{n}} \right)$$

この下限は 2 つの加算項から構成される：

1. $\Omega(\eta)$： 平均障害に起因する。この項は、敵対的シフト下で真のパラメータを追跡するために必要な感度を反映する。これは強力な敵対者であっても必要であり、単に正確な推定量では回避できない。
2. $\Omega(\sqrt{\eta d/n})$： 分散障害に起因する。この項は、クリーンなデータ上での推定量自身の分散によって引き起こされる感度を反映する。これは最も弱い「再サンプリング」敵対者下であっても存続する。

本論文はまた、離散設定における平均障害に対する同様の $\Omega(\eta)$ 下限を示すベルヌーイ平均推定の類似物（定理 4.1）も提供している。

意義と主張

本論文は、平均ケース設定において統計的効率と経験的感度の相互作用を明示的に研究した最初の作業であると主張する。

• 頑健性の概念の洗練： 著者らは、従来の頑健性の保証（$\|\hat{\theta}(Y) - \theta^*\|$ の有界化）は推定量の安定性を特徴付けるには不十分であると論じる。推定量は従来の意味で頑健（真実に近い）であっても、非常に不安定（クリーンな出力から遠い）であり得る。経験的感度の尺度は、汚染によって引き起こされるこの「ドリフト」を捉える。
• 根本的なトレードオフ： 結果は、ガウス平均推定においては、最適な統計的精度（$O(d/n)$）と最適な経験的安定性（$O(\eta)$）を同時に達成することはできないという根本的なトレードオフを示している。最適な経験的感度は厳密に劣り、$\eta + \sqrt{\eta d/n}$ としてスケーリングする。
• 敵対者モデル： 本論文は、異なる敵対者モデルを区別する。$\Omega(\eta)$ の項はより強力な（適応的な）敵対者を必要とするが、$\Omega(\sqrt{\eta d/n})$ の項は再サンプリング敵対者下であっても生じる。これは、不安定性が汚染の性質と推定量の固有の分散の両方に起因し得ることを明確にする。
• 差分プライバシーとの関連： この作業は、経験的感度を差分プライバシーの概念（特に局所感度）に関連付けており、DP が単一の汚染に対する最悪ケース感度に焦点を当てるのに対し、この作業は汚染のバッチに対する平均ケースの限界を提供することを指摘する。

本論文は、既存の頑健な平均推定量によって実証されているように、導出された下限が対数因子を除いて tight であると結論付け、経験的安定性の観点から頑健な統計推定の根本的な限界を特徴づける。