技術要約：データ拡張：フーリエ解析の観点から

1. 問題提起

データ拡張は、学習問題における既知の対称性（不変性）を利用するために、サンプルの変換コピーで訓練セットを増強する、モデルに依存しない標準的な手法である。完全なデータ拡張（対称群 $G$ 全体での平均化）は、統計的な最適性と厳密な不変性を保証するが、$G$ が大きい場合や無限である場合（例：置換群、回転群）、計算量的に実行不可能になることが多い。

実際には、実務家は群の要素の部分集合 $S \subset G$ のみを使用する部分的データ拡張に頼っている。しかし、この実践に関する理論的な理解は限られている。本論文は、以下の3つの根本的な問いに取り組んでいる：

1. 統計的効率性： 小さな部分集合 $S$ を用いた部分的拡張は、完全な拡張と同じミニマックス最適なサンプル複雑性を達成できるか？
2. 再利用性： 任意に選択された単一の部分集合 $S$ を、複数のタスクや推定器に対して再利用しても、一様な汎化保証を維持できるか？
3. 厳密性： 部分的拡張を通じて「厳密な」$G$-不変性を強制することは可能なのか、それとも完全な群の平均化が根本的に必要なのか？

著者らは、有限次元の射影推定器を用いた古典的な密度推定および教師あり回帰の文脈において、これらの問いを調査している。

2. 手法

本論文は、群上のフーリエ解析と有限群の表現論を組み合わせた一般的な理論的枠組みを構築している。

• 設定: 入力空間 $\mathcal{X}$ は群 $G$ によって作用を受ける。仮説空間 $\mathcal{F} \subset L^2(\mathcal{X}, \mu)$ は、$G$ の作用の下で閉じている有限次元部分空間である。
• 推定器: 解析は、経験的モーメントを $\mathcal{F}$ 上に射影することによってターゲット関数を推定する射影推定器に焦点を当てている。これらの推定器は線形であり、有限次元クラスに対してミニマックス最適である。
• 平均化としての拡張: 著者らは、データセットを部分集合 $S$ によって拡張することは、未拡張の推定器に対して、$\mathcal{F}$ 上の群作用を表すユニタリ演算子 $T_g$ を用いた部分集合平均化演算子 $\Pi_S = \frac{1}{|S|} \sum_{g \in S} T_g$ を適用することと等価であるという双対性を確立している。
• 表現論: 空間 $\mathcal{F}$ は、$G$ の既約表現（irreps）へと分解される。完全な群の平均 $\Pi_G$ は、自明な表現（不変部分空間 $\mathcal{F}_G$）に対して恒等写像として作用し、非自明な既約表現を消滅させる。部分的平均 $\Pi_S$ は、この振る舞いを近似する。

3. 主要な貢献と結果

A. 部分的拡張の統計的最適性

本論文は、部分集合のサイズ $|S|$ が全特徴次元と不変次元の比率に応じてスケールする場合、部分的拡張が完全な拡張と同じ統計的性能を達成することを証明している。

• 定理 4.1: 密度推定および回帰における射影推定器について、不変部分空間 $\mathcal{F}_G$ 上の期待超過リスクは以下で抑えられる：
  $$\mathbb{E}[\|\hat{f}_S - \Pi_{\mathcal{F}_G} f^\star\|^2] \lesssim \frac{r_{\text{inv}}}{n} + \frac{r}{n|S|}$$
  ここで $r = \dim(\mathcal{F})$ および $r_{\text{inv}} = \dim(\mathcal{F}_G)$ である。
• 含意: 項 $r_{\text{inv}}/n$ は、完全な拡張によって達成可能な最適レートを表す。項 $r/(n|S|)$ は、部分的拡張による誤差である。この誤差は $|S| \gtrsim r/r_{\text{inv}}$ のとき無視可能になる。決定的なのは、この閾値が群のサイズ $|G|$ ではなく、空間の次元のみに依存することである。したがって、指数関数的に大きい、あるいは無限の群であっても、小さなランダムな部分集合で統計的最適性が得られる。

B. 一様な再利用性

著者らは、単一のランダムな部分集合 $S$ が、高い確率で全ての関数 $\mathcal{F}$ に対して再利用可能かどうかを調査している。

• 定理 4.3: 高い確率で、単一のランダムな部分集合 $S$ は、完全な拡張に対する一様な近似を提供する。必要なサイズは以下の通りである：
  $$|S| \gtrsim \frac{r}{r_{\text{inv}}} \log(\min\{r, |G|\})$$
• 含意: 単一の拡張セットを再利用する場合のコストは、緩やかな対数的なオーバーヘッドのみである。これは、固定された拡張セットが複数のモデルやタスクにわたって適用される実用的なパイプラインを正当化するものである。

C. 部分的拡張による厳密な不変性の不可能性

部分的拡張は統計的には十分であるが、本論文は「厳密な」不変性に関して鋭い分離を確立している。

• 定理 4.5 (不可能性の結果): 仮説空間 $\mathcal{F}$ が「表現完全（representation-complete）」（$G$ のすべての既約モードを含む）である場合、データ拡張を通じて厳密な $G$-不変性を強制するには、群全体での平均化が必要となる。いかなる真の部分集合 $S \subsetneq G$ も、厳密に不変な推定器をもたらすことはできない。
• 含意: 根本的な計算上の障壁が存在する：統計的最適性は小さな部分集合で達成できるが、完全な群の平均化なしには、厳密な対称性の強制は達成できない（特定の対称モードを避けるように仮説空間を制限しない限り）。

4. レジームの解釈

本論文は、$|S|$ のサイズに基づいた3つの異なるレジームを定義している：

1. 統計的最適性 ($|S| \gtrsim r/r_{\text{inv}}$): 推定器はミニマックス最適なレートを達成する。リスクは完全な拡張と区別がつかない。
2. 一様な再利用性 ($|S| \gtrsim \frac{r}{r_{\text{inv}}} \log(\min\{r, |G|\})$): 単一のセット $S$ は、高い確率で $\mathcal{F}$ 内の全ての関数に対して一様な近似を提供する。
3. 厳密な不変性 ($|S| = |G|$): 仮説空間がすべての対称モードを捉えるのに十分な表現力を持っている場合、完全な群の平均化のみが厳密な不変性を保証する。

5. 意義と主張

本論文は、完全なデータ拡張と部分的データ拡張の間の緊張関係を解決し、両者を統一的な視点から捉えることを主張している。

• 理論的正当化: なぜ部分的拡張が経験的に機能するのかを説明している。ランダムに選ばれた群の要素の部分集合は、非不変なノイズモードを十分に抑制し、最適レートを回復させるための効果的な「近似的な射影」として機能するためである。
• 計算量と統計量のトレードオフ: 結果は明確な分離を示している：統計的最適性は計算量的に安価である（$O(r/r_{\text{inv}})$ のサンプルを必要とする）一方、厳密な不変性は計算量的に高価である（$O(|G|)$ を必要とする）。
• 近年の研究との関連性: 本研究の結果は、一般的な群の不変性下での統計的に最適な学習が、計算量的にスケーラブルな手法によって達成可能かという、Díaz et al. (2025) が提起した疑問に応えるものである。本論文は、統計的最適性については肯定的に、厳密な不変性については否定的に回答している。
• 範囲: 解析は射影推定器および有限次元の仮説クラスに特化している。著者らは、OLS（最小二乗法）や無限次元クラスへの拡張が可能であることを認めつつも、射影推定器が共分散推定や近似バイアスの問題から拡張の効果を分離して検証するためのクリーンなテストベッドとして機能すると述べている。

要約すると、本論文は、部分的データ拡張による近似的な対称性の強制が、計算コストの高い完全な群の平均化を回避しつつ、対称性の全統計的利益を保持できるため、しば理的な計算目標として適切であることを論じている。