論文「Approximation Rates for Group Equivariant Learning」の技術的サマリー

1. 研究の背景と問題設定

深層学習における「普遍近似定理」は、ニューラルネットワークがコンパクト集合上の任意の連続関数を近似できることを保証していますが、必要なネットワークのサイズ（パラメータ数）に関する定量的な情報（近似レート）は提供していません。既存の研究では、ReLU ネットワークが $\alpha$-Hölder 連続関数を近似する際のレートが、次元 $N$ と精度 $\epsilon$ の関数として $(1/\epsilon)^{N/2\alpha}$ 程度であることが示されています。

近年、対称性（群 $G$）を考慮した群等変（Group Equivariant）学習や不変（Invariant）学習が注目されています。画像分類（並進不変）、グラフ学習（置換不変）、3D 点群（剛体運動不変）など、タスクの対称性をアーキテクチャに組み込むことで、サンプル効率や汎化性能の向上が期待されます。

しかし、既存の理論研究は主に「普遍性（Universal Approximation）」、すなわち「任意の等変/不変関数を近似できるか」という存在論的な保証に焦点を当てており、「等変/不変制約を課したモデルが、どの程度の精度をどの程度のサイズで達成できるか」という定量的な近似レートに関する研究は極めて不足していました。

本研究の核心的な問いは以下の 2 点です：

1. 関数が等変/不変であるという追加仮定により、非等変な ReLU ネットワークの近似レートは改善されるか？（次元の減少による恩恵）
2. 対称性をハードコーディングした専用アーキテクチャ（Deep Sets, Transformer, Frame Averaging など）は、その改善された理論的限界（レート）を達成できるか？

2. 主要な手法と理論的枠組み

本研究は、群 $G$ が作用する空間 $V$ 上の関数 $f$ を、商空間（Quotient Space） $V/G$ 上の関数として捉えるアプローチを取っています。

2.1 商空間と内次元

群 $G$ が自由かつ固有に作用する場合、商空間 $V/G$ の次元は $\dim(V) - \dim(G)$ となります。関数が $G$-不変である場合、その関数は実質的に商空間上で定義されているとみなせます。
著者らは、コンパクト集合 $K$ の商空間 $K/G$ における被覆数（Covering Number） $N_r(K/G)$ を解析し、これが $r^{-(\dim(V) - \dim(G))}$ のように振る舞うことを示唆しています。これにより、近似に必要なパラメータ数は、元の空間の次元ではなく、商空間の「内次元（intrinsic dimension）」に依存すると予測されます。

2.2 解析対象とした 3 つのシナリオ

論文は以下の 3 つの主要な設定において、定量的な近似レートを導出しました。

シナリオ 1: 置換不変・等変モデル（Point Sets）

• 対象: 点集合 $X = (x_1, \dots, x_n) \in \mathbb{R}^{d \times n}$ に対する置換群 $S_n$ の作用。
• モデル:
  • Deep Sets: 各点に共通の MLP $\Phi$ を適用し、和をとってから出力層 $\rho$ を通す構造。
  • Sumformer / Transformer: 置換等変な関数を近似するモデル。
• 結果: 置換群は有限群であるため、商空間の次元は元の次元と等しくなります（$N_G = N$）。しかし、Deep Sets や Sumformer が、$\alpha$-Hölder 不変関数に対して、非等変な ReLU ネットワークと同様の最適レート $\sim (1/\epsilon)^{N/2\alpha}$ を達成することを証明しました。
• 副次的発見: 非不変関数であっても、定義域 $K$ の内次元 $d_{\text{intrinsic}}$ が低ければ、近似レートは $(1/\epsilon)^{d_{\text{intrinsic}}/2\alpha}$ となり、既存の結果（Nakada & Imaizumi, 2020）の指数部分を 2 倍改善（$\epsilon^{-d_{\text{intrinsic}}/2\alpha}$）しました。

シナリオ 2: 置換および剛体運動（Rigid Motions）不変モデル

• 対象: 3D 点群などに対する、剛体運動群 $E(d)$ と置換群 $S_n$ の直積 $E(d) \times S_n$。
• 課題: 剛体運動（回転・並進）により商空間の次元が減少します（$N_G = nd - \dim(E(d))$）。
• 手法:
  1. 非等変 ReLU ネットワークの解析: Gram-Schmidt 正交化の安定性を利用し、点群から局所的な座標系（フレーム）を構成することで、関数を低次元部分空間への近似問題に帰着させました。これにより、非等変ネットワークでも商空間の次元に応じたレート $(1/\epsilon)^{(nd-\dim(E(d)))/2\alpha}$ が達成可能であることを示しました。
  2. フレーム平均（Frame Averaging）: 回転不変なフレーム（座標系の選択）を用いて Deep Sets などのバックボーンを平均化する手法（例：Puny et al. の SVD ベース、Pozdnyakov & Ceriotti の重み付き平均）を分析。これらが上記の最適レートを達成することを証明しました。

シナリオ 3: 双リプシッツ（Bi-Lipschitz）不変モデル

• 対象: 一般の等距離群 $G$ に対する、双リプシッツな不変埋め込み $E: V \to \mathbb{R}^m$。
• 手法: 商空間 $V/G$ への双リプシッツ埋め込みが存在する場合、不変関数 $f$ は $f = \tilde{f} \circ E$ と分解できます。$\tilde{f}$ は商空間上の関数であり、その内次元に基づいた近似レートが得られます。
• 結果: Max Filter やソートに基づく埋め込みなど、双リプシッツ性を満たすモデルは、内次元 $d_{\text{intrinsic}}$ に依存するレート $(1/\epsilon)^{d_{\text{intrinsic}}/2\alpha}$ を達成することを一般論として示しました。

3. 主要な結果と貢献

3.1 定量的近似レートの導出

表 1 にまとめられるように、本研究は以下のモデル群に対して、$\epsilon$-近似に必要なパラメータ数の漸近的な上限を初めて導出しました（対数因子を除く）：

• Deep Sets, Sumformer, Transformer: $(1/\epsilon)^{nd/2\alpha}$
• 剛体運動不変フレーム + ReLU: $(1/\epsilon)^{(nd-\dim(E(d)))/2\alpha}$
• 一般の双リプシッツ不変モデル: $(1/\epsilon)^{d_{\text{intrinsic}}/2\alpha}$

ここで、$d_{\text{intrinsic}}$ は商空間 $K/G$ の内次元です。

3.2 表現力（Expressivity）に関する結論

最も重要な結論は、**「対称性をハードコーディングした専用アーキテクチャは、不変関数に対する表現力において、同等サイズの一般的な ReLU MLP と同等である」**という点です。

• 非等変な ReLU ネットワークも、対称性を暗黙的に学習することで、商空間の次元に応じた最適近似レートに到達可能です。
• 逆に、等変モデルが「より効率的」であるという事実は、近似能力（表現力）の向上によるものではなく、サンプル効率（学習に必要なデータ量）や最適化のしやすさに起因すると結論付けました。

3.3 既存研究の改善

• 非不変関数に対する内次元依存の近似レートにおいて、指数部分を $d_{\text{intrinsic}}/\alpha$ から $d_{\text{intrinsic}}/2\alpha$ に改善しました（Nakada & Imaizumi, 2020 の結果の 2 倍の効率化）。

4. 意義と今後の展望

4.1 理論的意義

• 群等変学習の「普遍性」から「定量的近似理論」への飛躍を達成しました。
• 対称性を明示的に組み込むことが、理論的な近似能力の限界（表現力）を低下させないことを数学的に証明しました。これは、対称性に基づくアーキテクチャ設計が「表現力の犠牲」を伴うという懸念を払拭するものです。

4.2 実用的意義

• 実務において等変モデルが優れている理由が、「表現力の差」ではなく「データ効率と最適化の容易さ」にあることを示唆しました。
• 特定のモデル（EGNN, Dimenet, Vector Neurons など）の近似レートは未解決のまま残っていますが、本研究の枠組みは将来の比較評価の基盤となります。

4.3 今後の課題

• 現在、EGNN や Dimenet などの人気のある回転等変モデルの具体的な近似レートは未証明です。これらを解析し、モデル間の性能差を定量化することが今後の課題です。
• 現実的なスケールでのモデル比較には、漸近的なレートだけでなく定数項の分析も必要であり、より精緻な分析が求められます。

まとめ

本論文は、群等変・不変学習における近似レートを定量的に解析した先駆的な研究です。対称性を制約として組み込んだモデルが、理論的な近似能力において非対称モデルと同等であることを示し、その実用的な優位性は表現力ではなく学習効率にあることを明らかにしました。これは、対称性を活用した深層学習の理論的基盤を強化する重要な一歩です。