🤖 machine learning

bispectrum: Selective $G$ -Bispectra Made Practical

本文介绍了**bispectrum**，这是一个开源的 PyTorch 库，它针对七种群作用实现了高效的、选择性的 $G$ -双谱，以在降低计算成本的同时实现近精确不变性，并在低数据量、中等容量的深度学习场景中展现出相较于现有池化方法一致的性能提升。

原作者： Johan Mathe, Adele Myers, Simon Mataigne, Nina Miolane

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Johan Mathe, Adele Myers, Simon Mataigne, Nina Miolane

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在拥挤的房间里辨认一位朋友。如果他们转过身、走到另一边，或者歪了歪头，他们依然是同一个人。而在机器学习的世界里，计算机往往难以做到这一点。如果你给计算机看一张猫的照片，然后给它看同一只猫旋转 90 度后的照片，一台标准的计算机可能会认为这是一个完全不同的物体。

为了解决这个问题，科学家们使用了“对称性”。他们教导计算机，旋转只是一种变换，而非新物体。但这里有个陷阱：当你试图将复杂图像概括为一个忽略这些旋转的简单“指纹”时，你往往会丢失重要细节。这就像试图通过仅列出每个音符的音量来描述一首歌，却忘记了它们演奏的顺序。你丢失了旋律。

本文介绍了一种名为双谱（specifically, a "selective G-bispectrum"，即“选择性 G-双谱”）的新工具，它解决了这一问题。以下是其工作原理，辅以简单的类比：

1. 问题：“不完整的指纹”

想象你有一片独特而精致的雪花。你想要创建一个无论怎么旋转都保持不变的描述。

旧方法（范数池化）：这就像给雪花拍张照片，测量图片中有多少“白色”，而忽略形状。如果你有两片白色总量相同但形状不同的雪花，计算机会认为它们是完全相同的。它丢弃了“形状”细节（即相位）。
新方法（双谱）：这就像进行一次 3D 扫描，捕捉每一个微小的脊和谷。关键在于，它记录了脊与脊之间的关系。即使你旋转雪花，脊与脊之间的关系依然保持不变。这就创建了一个“完整指纹”，保留了原始形状的每一个细节，只是发生了旋转。

2. 创新：“选择性”与“实用性”

支撑这种“完整指纹”（G-双谱）的数学原理已经存在了几十年，但它过于沉重，难以使用。

旧方式：计算完整指纹就像试图数清海滩上的每一粒沙来描述这片海滩。这对计算机来说太慢且成本太高。
“选择性”突破：作者意识到，你不需要数每一粒沙子。你只需要特定且巧妙挑选的一把沙子，就能完美重建整片海滩。他们称之为选择性。
- 对于简单群（如 2D 图像的旋转），这将工作量从巨大的平方级减少到了可管理的线性级。
- 对于复杂的 3D 旋转（如旋转地球仪），他们发明了一种挑选“一把沙子”的新方法，将工作量从立方级爆炸减少到了可管理的平方级。

3. 工具：一个“即插即用”的库

作者不仅完成了数学推导，还构建了一个名为bispectrum的软件库。

把这个库想象成一个通用适配器。过去，如果你想将这种数学应用于 2D 图像，你需要一种代码；用于 3D 医学扫描，需要另一种；用于球面数据，又需要另一种。那是各种工具的“拼凑”。
这个库是一个单一的、干净的“插件”，适用于七种不同类型的对称性（如 2D 旋转、3D 旋转和平移）。你可以将其嵌入任何现代 AI 系统，它立即开始工作。
它的速度极快。在现代计算机芯片（GPU）上，它在不到一毫秒的时间内就能计算出这些复杂指纹——比你眨眼的速度还快。

4. 结果：用更少的数据获得更好的效果

作者在三个不同的挑战中测试了这一新工具：

医学病理学（2D）：识别组织样本中的癌症。
3D 器官分类：识别 CT 扫描中的器官。
球面数字：识别绘制在球体（如地球仪）上的数字。

发现：
当计算机拥有大量数据时，新工具的表现与旧的、更简单的方法大致相当。
然而，当计算机拥有极少数据（即“低数据 regime"）时，新工具大放异彩。因为它保留了所有信息（它是“完整”的），所以它比那些丢弃细节的旧方法学习得更快、更准确。这就像一个背诵了整本教科书的学生，与一个只背诵章节摘要的学生相比；当考试变得棘手时，拥有完整知识的那位会获胜。

总结

本文提出了一种实用、快速且开源的软件库，使 AI 能够完美地理解形状和模式，无论它们如何旋转或移动。通过使用一种“选择性”的数学技巧，他们使一种原本过于复杂的计算变得足够快，足以应用于现实世界的深度学习，证明了它在数据稀缺时能帮助 AI 更好地学习。

哪里可以找到它：代码免费且开源，可在 GitHub 上以 bispectrum 的名称获取。

技术摘要：bispectrum：使选择性 G-双谱实用化

问题陈述

许多机器学习任务需要针对特定群作用（如平移、2D/3D 旋转）的不变性。虽然等变神经网络通过维持等变特征图来强制实现这一点，但最后一步需要将特征映射到不变表示以进行预测。现有的不变池化方法（范数池化、门控池化、最大池化）计算高效，但不完整：它们丢弃了相位信息，这意味着共享相同功率谱但相对相位不同的不同信号会被映射到相同的描述符。

G-双谱提供了一种原则性的、完整的不变量，保留了群作用下的所有信号信息。然而，其在深度学习中的采用受到以下阻碍：

高计算成本：对于有限群，完整双谱的规模呈二次方增长（ $O(|G|^2)$ ）；对于球面旋转，呈三次方增长（ $O(L^3)$ ）。
实现碎片化：现有的构建分散在理论论文中，缺乏统一、可微且支持 GPU 的库。
缺乏实证评估：没有统一的基准将双谱池化与现代深度学习流程中的标准替代方案进行比较。

方法论

作者提出了 bispectrum，这是一个开源的 PyTorch 库，将选择性 G-双谱实现为可微的 nn.Module 层。核心方法论包含三个技术支柱：

1. 选择性双谱构建

与其计算包含冗余信息的完整双谱，该库计算一个选择性系数子集，该子集对通用信号保持完整性。

有限群：利用不可约表示（irreps）克罗内克积表的广度优先搜索，库选择了 $O(|G|)$ 个系数，而非 $O(|G|^2)$ 。
平面旋转（圆盘）：实现了选择性圆盘双谱，在保持通用性条件下完整性的同时，将系数从 $O(m^3)$ 减少到 $O(m)$ 。
球面旋转（ $S^2$ 上的 SO(3)）：作者引入了一种新颖的增强选择性双谱。
- 他们构建了一个大小为 $\Theta(L^2)$ 的不变量 $\Phi_{sel}$ （从完整的 $\Theta(L^3)$ 减少而来）。
- 该构建使用低阶的“种子”块和高阶的“自举”块。
- 为了确保实信号上的完整性（标准标量双谱可能因奇偶性约束而秩亏），他们用CG-幂标量（投影张量积的平方范数）增强了双谱条目。
- 这产生了一个大小为 $\Theta(L^2)$ 的不变量，并在经验上被证明是完整的。

2. 库设计与实现

该库为七个群/域对（例如 $C_n$ 上的 $C_n$ 、 $S^2$ 上的 $SO(3)$、八面体群）提供了统一的 API。

可微性：所有模块完全可微，支持端到端训练。
效率：克莱布什 - 高登矩阵和核的预计算确保了 GPU 上亚毫秒级的前向传播。
反演：该库支持从双谱重建信号（至群作用），作为完整性的证明。

3. 实验评估

作者在三个基准测试中评估了该库，将双谱池化与范数池化、门控池化、Fourier-ELU 池化、最大池化以及数据增强的非等变基线进行了比较：

PatchCamelyon (PCam)： $C_8$ 对称性下的 2D 组织病理学分类。
OrganMNIST3D：手性八面体群 $O$ 下的 3D 器官分类。
Spherical MNIST：球面上 $SO(3)$ 旋转下的数字分类。

关键结果

计算性能

速度：在 NVIDIA H100 GPU 上，选择性前向传播为亚毫秒级（例如，$SO(3) $在带宽限制$ L=16$ 时为 0.48 毫秒）。
缩减：选择性将系数数量减少了高达 $512\times$ （例如，对于 $|G|=1024$ ），并将球面复杂度从 $O(L^3)$ 降低到 $\Theta(L^2)$ 。

实证完整性（Spherical MNIST）

重建：增强选择性不变量 $\Phi_{sel}$ 成功重建了旋转下的信号，残差较低（ $\sim 10^{-3}$ ），提供了完整性的实证证据。
不变性：该模型实现了近乎精确的 $SO(3) $不变性（$ \sigma_{rot} \sim 10^{-4}$），而标准 CNN 在未见过的旋转下会失效。
完整性与容量：功率谱（不完整不变量）即使扩展到与双谱模型（95%）相匹配的参数数量，其准确率也稳定在 $\sim 78\%$ ，证实性能差距是由于不完整性而非模型容量造成的。

数据效率

低数据机制：在所有三个基准测试中，当训练数据稀缺时（例如，数据集的 1%），双谱池化层始终优于其他替代方案。
- 在 PCam（1% 数据）上，双谱实现了 0.912 的 AUC，而 NormReLU 为 0.873。
- 在 OrganMNIST3D（5% 数据）上，双谱达到了 33.2% 的准确率，而最大池化为 18.9%。
高容量机制：随着模型容量和数据量的增加，完整不变量的优势缩小，不完整的方法（如最大池化）可以匹配甚至超越双谱性能。

意义与主张

本文声称缩小了 G-双谱的理论吸引力与其在现代深度学习中的实际效用之间的差距。

实际部署：通过提供一个统一、可微且高效的库，作者使选择性 G-双谱可作为“即插即用”层用于任何等变架构。
理论贡献：在球面上引入增强选择性 SO(3) 不变量是一个重要的理论步骤，将球面双谱的复杂度降低到 $\Theta(L^2)$ ，同时在经验上证明了其完整性。
归纳偏置：结果表明，完整不变量比不完整不变量提供了更强的归纳偏置，特别是在低数据、中等容量机制下，有效地替代了缺失的训练样本。

作者对球面构建的理论地位保持谦逊，指出虽然实证重建表明了完整性，但形式化证明仍有待解决。他们还承认，在高容量下，与更简单的不完整池化策略相比，完整不变量的计算开销可能无法得到合理的解释。