技術要約：十分な調和表現の幾何学的因子分解

問題提起

機械学習におけるアンラーニング（機械学習の忘却）および表現学習は、しばしば性能指標に基づいて評価されるが、モデルの幾何学的構造については十分に検証されていない。本稿が取り組む核心的な問題は、学習された表現が、データのタスクに関連する構造を「正確に」含み、それ以上のものを含んでいない状態をどのように定義するかである。具体的には、群構造の対称性を持つデータに対して、「最小十分表現学習（minimal sufficient representation learning）」をどのように定式化するかを調査する。

古典統計学において、統計量は、パラメータを推定するために関連するすべての情報を保持していれば**十分（sufficient）であり、かつそのような統計量の中で最も粗いものであれば最小十分（minimally sufficient）**である。対称性を持つ表現学習の文脈では、群 $G$ が標本空間 $X$ に作用し、タスクがこの作用に対して不変であるとき、不要な変動（群の軌道）を破棄しつつ、タスクに関連する情報を保持する最小の表現とは何か、という問いが生じる。

手法

本稿は、幾何学的商（quotient）と統計的十分性の間の溝を埋めるために、古典統計理論、群論、および調和解析の統合を採用している。

1. 商による幾何学的因子分解: 著者らは、可測な作用を持つコンパクト群 $G$ の下での標本空間 $X$ を定式化する。彼らは、商写像 $\pi: X \to X/G$ を、最小十分表現の候補として提案する。この写像は、各群の軌道を単一の同値類へと崩壊させる。
2. 統計的十分性の証明: フィッシャー・ネイマンの分解定理および尤度比による最小十分性の特徴付けを用いて、尤度（または条件付きターゲット分布）が群の軌道に沿って不変である場合、軌道の商が十分であることを証明する。さらに、「軌道分離（orbit-separation）」条件（異なる軌道が非定数な尤度比を生じさせること）の下で、その商が最小十分であることが証明される。
3. コンパクト群上の調和解析: 手法をコンパクト・リー群および同次空間へと特化させる。**ピーター・ウェイルの定理（Peter-Weyl theorem）**を活用し、平方可積分関数を既約ユニタリ表現の行列係数へと分解する。
4. 有限バンド調和指数型分布族: 対数密度が行列係数の有限線形結合（「有限バンド」近似）である特定のモデルクラスを定義する。ここでは、これら指数型分布族の経験的一般化フーリエ係数を分析する。
5. 代数的正規化: これらの指数型分布族における分配関数（正規化定数）の計算に伴う困難に対処するため、**クレブシュ・ゴルダン分解（Clebsch-Gordan decomposition）**を利用する。この代数的ツールは、既約表現のテンソル積を分解するものであり、これにより分配関数を自明な表現の係数の級数として表現することが可能になる。

主要な貢献

本稿は、主に以下の3つの理論的貢献を行う。

1. 最小十分表現を商問題として定式化: 尤度族が群の作用に対して不変である場合、軌道の商 $X/G$ は単なる不変な表現ではなく、十分な表現であることを確立した。軌道分離条件を伴うことで、それは最小十分となる。これにより、統計的十分性を幾何学的因子分解に直接結びつけた。
2. 調和的十分統計量との接続: コンパクト群および同次空間において、軌道の商構造が調和解析による標準的な座標を持つことを示す。具体的には、有限バンド調和指数型分布族において、経験的一般化フーリエ係数（既 फ्रैक्शंसの行列係数）は、標準的なフルランク条件が満たされる限り、モデルパラメータに対する最小十分統計量として機能する。
3. 分配関数の代数的表現: 有限バンド調和指数型分布族の分配関数に対する厳密な代数的表現を提供する。エネルギー関数の指数を展開し、クレブシュ・ゴルダン分解を適用することで、正規化定数が、指数テンソル代数の自明な表現成分への射影として表されることを示す。これにより、群上の連続積分が、不変成分の代数的抽出へと置き換わる。

主要な結果

• 定理 3.1 (軌道商の十分性): すべての $g \in G$ に対して $p_\theta(gx) = p_\theta(x)$ であるならば、軌道写像 $\pi(X)$ は $\theta$ に対して十分であることを証明する。この証明は、密度がデータに対してのみ軌道を通じて依存するというフィッシャー・ネイマンの分解に基づいている。
• 定理 3.2 (最小十分軌道商): 異なる軌道が統計的に区別可能である（尤度比が $\theta$ に関して定数ではない）場合、$\pi(X)$ は最小十分であることを証明する。これにより、軌道空間が、関連する情報を保持する最も粗い表現であることを確立する。
• 定理 3.3 (調和統計量の最小十分性): フルランクの有限バンド調和指数型分布族において、経験的一般化フーリエ係数の和からなる統計量 $T_N$ は、自然パラメータに対して最小十分である。この証明は、尤度比の特徴付けを利用し、比が $\theta$ に関して定数であることは統計量が等しいことと同値であることを示している。
• 定理 3.4 (クレブシュ・ゴルダン正規化): 分配関数 $e^{A(\theta)}$ を以下の級数として表現する：
  $$e^{A(\theta)} = \sum_{k=0}^{\infty} \frac{1}{k!} \text{Coeff}_1(E_\theta^k)$$
  ここで $\text{Coeff}_1$ は、クレブシュ・ゴルダン規則を用いて、$k$ 次のエネルギー関数の自明な表現の係数を抽出する。
• 定理 3.5 (調和的回復): 行列係数の代数的スパンが $L^2(G)$ において稠密であることを確認し、無限バンド極限において情報が失われないことを保証する。ただし、十分性の結果は具体的に有限バンドの分布族に対して枠付けられている。

意義と主張

本稿は、不変性、圧縮、および統計的十分性の関係を明確にすることを目的としている。その意義は以下の点にある：

• 十分性の幾何学的解釈: 最小の表現学習を、予測に必要な情報を破壊することなく、不要な対称性（軌道）を特定し崩壊させる問題として再定義した。
• タスク依存の最小性: 不変タスクと等変タスクを区別し、最小性は表現の統計的タスクに対する性質であることを指摘している。既約表現は基礎的な調和モードを特定するが、それらが最小十分となるのは、自明な表現または特定の軌道構造に対応する場合に限られる。
• 代数的扱いやすさ: クレブシュ・ゴルダン分解を通じて分配関数を表現することで、特に有限バンドの調和モデルにおいて、扱いにくい積分を行う代わりに、代数的に正規化定数を計算する手法を提供している。

本研究は、新しい機械学習アーキテクチャや実験的ベンチマークを提案するものではない。むしろ、表現学習、群論、および古典統計学を結びつける理論的基礎を提供し、幾何学的な商操作が不変構造の下で統計的十分性を誘導することを示唆している。