技术摘要：充分调和表示的几何分解

问题陈述

机器学习中的遗忘（unlearning）与表示学习通常基于性能指标进行评估，但其几何结构往往未得到充分研究。本文旨在解决的核心问题是：如何定义一个学习到的表示在何时包含了数据中恰好的任务相关结构且不多不少。具体而言，本文研究了对于具有群结构对称性的数据，如何形式化“最小充分表示学习”（minimal sufficient representation learning）。

在经典统计学中，一个统计量是充分的（sufficient），如果它保留了估计参数所需的所有信息；而如果是最小充分的（minimally sufficient），则指它是此类统计量中最粗粒度的。在具有对称性的表示学习语境下，问题在于：当一个群 $G$ 作用于样本空间 $X$，且任务对该作用是不变的（invariant）时，什么样的最小表示能在丢弃冗余变化（即群轨道/group orbits）的同时，保留任务相关的有效信息？

方法论

本文综合运用经典统计理论、群论和调和分析，架起了几何商空间（geometric quotients）与统计充分性之间的桥梁。

1. 通过商空间的几何分解： 作者将样本空间 $X$ 形式化为在紧致群 $G$ 下的可测作用。他们提出将商映射 $\pi: X \to X/G$ 作为最小充分表示的候选方案。该映射将每个群轨道合并为一个等价类。
2. 统计充分性证明： 利用 Fisher-Neyman 分解定理和最小充分性的似然比特征，本文证明了如果似然函数（或条件目标分布）沿群轨道是不变的，则轨道商空间是充分的。在引入额外的“轨道分离”（orbit-separation）条件（即不同的轨道产生非恒定的似然比）后，该商空间被证明是最小充分的。
3. 紧致群上的调和分析： 本文的方法论专门应用于紧致李群（compact Lie groups）和齐次空间（homogeneous spaces）。利用 Peter-Weyl 定理，本文利用平方可积函数可以分解为不可约酉表示矩阵系数的特性。
4. 有限带通调和指数族（Finite-Band Harmonic Exponential Families）： 本文定义了一类特定的模型，其对数密度是矩阵系数的有限线性组合（即“有限带通”近似）。本文分析了这些族的经验广义傅里叶系数。
5. 代数归一化： 为了解决这些指数族中配分函数（partition function，即归一化常数）的计算困难，本文利用了 Clebsch-Gordan 分解。这一代数工具可以将张量积的不可约表示进行分解，从而允许将配分函数表示为平凡表示（trivial representation）系数的级数。

核心贡献

本文做出了三个主要的理论贡献：

1. 将最小充分表示形式化为商问题： 本文确立了对于在群作用下具有不变性的似然族，轨道商 $X/G$ 不仅仅是一个不变表示，而且是一个充分表示。在引入轨道分离条件后，它又是最小充分的。这直接将统计充分性与几何分解联系起来。
2. 建立与调和充分统计量的联系： 对于紧致群和齐次空间，本文展示了其轨道商结构可以通过调和分析获得规范坐标。具体而言，对于有限带通调和指数族，经验广义傅里叶系数（即不可约表示的矩阵系数）构成了模型参数的最小充分统计量，前提是满足标准的满秩条件。
3. 配分函数的代数表示： 本文为有限带通调和指数族提供了一种精确的代数表示方法。通过展开能量函数的指数并应用 Clebsch-Gordan 分解，证明了归一化常数可以表示为指数张量代数在平凡表示分量上的投影。这用代数提取不变分量的方法取代了对群的连续积分。

关键结果

• 定理 3.1（轨道商的充分性）： 证明如果对于所有 $g \in G$，都有 $p_\theta(gx) = p_\theta(x)$，则轨道映射 $\pi(X)$ 对 $\theta$ 是充分的。该证明依赖于 Fisher-Neyman 分解，其中密度仅通过轨道依赖于数据。
• 定理 3.2（最小充分轨道商）： 证明如果不同的轨道在统计上是可区分的（即似然比在 $\theta$ 方面不是常数），则 $\pi(X)$ 是最小充分的。这确立了轨道空间是保留任务相关信息的最粗粒度表示。
• 定理 3.3（调和统计量的最小充分性）： 对于满秩有限带通调和指数族，由经验广义傅里叶系数之和构成的统计量 $T_N$ 对自然参数是最小充分的。证明利用了似然比特征，即当且仅当统计量相等时，似然比在 $\theta$ 方面为常数。
• 定理 3.4 (Clebsch-Gordan 归一化)： 将配分函数 $e^{A(\theta)}$ 表示为如下级数：
  $$e^{A(\theta)} = \sum_{k=0}^{\infty} \frac{1}{k!} \text{Coeff}_1(E_\theta^k)$$
  其中 $\text{Coeff}_1$ 通过 Clebsch-Gordan 规则从能量函数的 $k$ 次幂中提取平凡表示的系数。
• 定理 3.5 (调和恢复)： 确认了矩阵系数的代数扩张在 $L^2(G)$ 中是稠密的，这确保了在无限带通极限下不会丢失信息，尽管充分性结果是专门针对有限带通族进行阐述的。

意义与主张

本文声称澄清了不变性（invariance）、压缩（compression）与统计充分性之间的关系。其意义在于：

• 充分性的几何解释： 它将最小表示学习重新定义为识别并塌缩冗余对称性（轨道）而不破坏预测所需信息的过程。
• 任务相关的最小性： 它区分了不变任务与等变任务，指出最小性是相对于统计任务而言的属性。虽然不可约表示识别了基本的调和模态，但它们仅在对应于平凡表示或特定轨道结构时，对于不变任务才是最小充分的。
• 代数可计算性： 通过利用 Clebsch-Gordan 分解来表达配分函数，本文提供了一种通过代数提取不变分量而非进行难以处理的积分来计算归一化常数的方法，特别适用于有限带通调和模型。

本研究并未提出新的机器学习架构或实验基准。相反，它提供了一个连接表示学习、群论和经典统计学的理论基础，表明在具有不变结构的条件下，几何商运算会诱导出统计充分性。