技術要約：データ拡張ブートストラップ (Data Augmented Bootstrap: DAB)

問題提起

有効な信頼区間（CI）の構築は、データの特定の構造的仮定に依存することが多い。コンフォーマル予測、置換検定、および特定のブートストラップ変種を含む著名な手法のクラスは、**厳密な群不変性（exact group invariance）**に依存している。これらの手法は、テスト統計量 $f(X)$ が群 $\Phi$ の変換の下で分布的に不変である（すなわち、$f(X) \stackrel{d}{=} f(\Phi_b(X))$）という性質を利用することで、有限標本における分布フリーな妥当性を保証する。

しかし、厳密な不変性の要件は、実用的なアプリケーションにおいては制約が強すぎる場合が多い。機械学習で広く用いられている多くの手法（例：ランダムな回転、シャッフル、またはノイズ注入などのデータ拡張）は、**近似的な不変性（approximate invariance）**しか満たさない。さらに、古典的なブートストラップ法は漸近的には妥当であるが、これは $n \to \infty$ におけるインデックスのリサンプリングによるデータの近似的な不変性に依存しており、有限標本の厳密な対称性に依存しているわけではない。厳密な群対称性と、データ拡張（のような近似的かつ非群的な不変性）の両方を厳密に扱うことができる統一されたフレームワークが欠如している。

手法：データ拡張ブートストラップ (DAB)

本論文は、近似的な不変性を活用することで信頼区間の構築を統一するフレームワークであるデータ拡張ブートストラップ (DAB) を提案する。

コアフレームワーク

データセット $X = (X_{obs}, X_{unobs})$ と統計量 $f: \mathcal{X}^n \to \mathcal{Y}$ が与えられたとき、DABは元の統計量を $B$ 個の変換されたバージョンに対してランク付けすることで、 $X_{unobs}$ に対する予測集合 $C_\alpha$ を構築する：
$$C_\alpha := \left\{ \tilde{x}_n \in \mathcal{X}^n_{unobs} \mid \frac{\text{Rank}_T(f(X_{obs}, \tilde{x}_n); (f(\Phi_b(X_{obs}, \tilde{x}_n)))_{b=1}^B)}{B+1} \in S_\alpha \right\}$$
ここで、$\Phi_b$ は（非可逆または非群である可能性のある）ランダムな変換であり、$\text{Rank}_T$ はタイブレーク（同順位処理）を伴うランキング関数である。

DABの妥当性は、数列 $(f(X), f(\Phi_1(X)), \dots, f(\Phi_B(X)))$ が**近似的に交換可能（approximately exchangeable）**であるという仮定に基づいている。

理論的柱

DABは、以下の理論的結果の階層を通じて被覆保証を確立する：

1. 近似的交換可能性 (定理 2):
   被覆誤差は、実際の数列のランク分布と、厳密に交換可能なサロゲート数列との間のコルモゴロフ距離 ($\Delta^r_{Kol}$) によって抑えられる。変換が厳密な群不変性を満たす場合、$\Delta^r_{Kol} = 0$ となり、既知の有限標本保証が回収される。変換が近似的な不変性しか満たさない場合、誤差は交換可能性の違反の大きさによって制御される。

2. 近似的不変性 (定理 3):
   本論文は、交換可能性の誤差を近似的な不変性の尺度へと還元する：
   $$\Delta_{inv}(X) := \sup_{t \in \mathbb{R}} |P(f(\Phi_1(X)) \le t \mid X) - P(f(X) \le t)|$$
   定理 3 は、有限標本の保証（$\Delta_{inv}$ が小さい場合）と漸近的な保証（$\Delta_{inv} \to 0$ として $n \to \infty$ の場合）を補間する被覆界を提供する。これは、$\Phi_b$ が群構造から生成されていない場合でも適用可能である。

3. ガウス普遍性とモーメント・マッチング (定理 5):
   複雑で非線形な統計量（高次元統計学や機械学習において一般的）に対して近似的な不変性の検証を扱いやすくするため、本論文は**ガウス普遍性（Gaussian universality）**を採用している。

   • 重要な洞察: 統計量 $f$ がガウス普遍性を満たす場合、分布近似 $f(X) \approx f(Z)$ （ここで $Z$ はガウス分布）が成立する。
   • 条件: この仮定の下では、変換 $\Phi_1$ が元のデータの第1および第2モーメント（条件付き平均と分散）を一致させている場合、近似的な不変性が保証される。具体的には、$\| \text{Var}[\Phi_1(X) \mid X] - \text{Var}[X] \|_\infty$ が小さく、条件付き平均が一致していれば、被覆誤差は漸近的に消失する。
   • これにより、標準的なデータ拡張技術（例：直交変換、ランダム回転）を、それらがデータの平均および分散構造を近似的に保持している限り、DABに組み込むことが可能になる。

主な貢献

1. 手法の統一: DABは、以下の手法を回収する単一の理論的フレームワークを提供する：

   • 厳密な不変性手法: コンフォーマル予測、置換検定、SymmPI、およびU統計量のワイルド・ブートストラップ。
   • 漸近的手法: 古典的なブートストラップ、および退化型U統計量のワイルド・ブートストラップ。
   • 新しい能力: データ拡張（群構造を持たない近似的な不変性）を不確実性定量化に利用することを可能にする。

2. 近似的不変性のための理論的保証:
   本論文は、不変性の強さに依存する厳格な被覆界を確立している。厳密な交換可能性を要求したり、漸近的な議論のみに依存したりした先行研究とは異なり、DABは、コルモゴロフ距離に基づいて、厳密なレジームと漸近的なレジームの間を補間する有限標本誤差界を提供する。

3. ガウス普遍性への接続:
   近似的な不変性をガウス普遍性に結びつけることで、本論文は被覆条件の検証を簡素化している。高次元統計学における広範な推定量のクラスにおいて、変換がデータの条件付き平均と分散に一致することを保証することが、有効な信頼区間を保証するのに十分であることを示している。

4. 実証的検証:
   著者らは、以下の項目にデータ拡張を組み込むことでDABを実証的にテストしている：

   • ブートストラップ: 平均推定への直交変換の追加。
   • ワイルド・ブートストラップ: 二標本問題のための最大平均偏差（MMD）検定への変換の追加。
   • コンフォーマル予測: 回帰および分子エネルギー予測のための分割コンフォーマル予測への拡張の追加。

   結果として、DABは、バニラな手法と比較して、効率性を維持しつつ、多くの場合で被覆率（特に小標本時）および検定力を向上させることが示されている。

意義と主張

本論文は、DABが、厳密な群不変性手法の持つ厳格な有限標本保証と、機械学習で見られる近似的な不変性の実用的な有用性の間の溝を埋めるものであると主張している。

• 実用的影響: 実務者が、厳密な対称性が存在しない、あるいは計算的に困難な設定においても、信頼区間の質を向上させるために、標準的なデータ拡張技術（例：回転、シャッフル）を推論手順に組み込むことを可能にする。
• 理論的範囲: 本フレームワークは、ガウス普遍性を満たす推定量に対して、ブートストラップ的な手法の適用範囲を拡張する。
• 謙虚な姿勢: 著者らは、DABが多くのタスク（画像や科学データなど）で性能を向上させる一方で、利用可能な対称性が少ない場合（テキストデータやHiggs bosonのデータセットなど）にはその利点が限定的であることを認めている。また、最適な変換の選択はドメイン固有であり、未解決の課題であることも述べている。

要約すると、DABは、データ拡張を単なる点推定を改善するためのヒューリスティックとしてではなく、近似的な不変性の下での有効な不確実性定量化メカニズムとして扱うことで、信頼区間の構築を「統一」するための原理的な方法を提供している。