🤖 AI

Separation Power of Equivariant Neural Networks

本文对等变神经网络的区分能力进行了全面的表征，揭示了非多项式激活函数能够实现最大表达能力、深度仅在特定阈值内提供提升，以及块分解为比较模型能力构建了一个层级框架。

原作者： Marco Pacini, Xiaowen Dong, Bruno Lepri, Gabriele Santin

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Marco Pacini, Xiaowen Dong, Bruno Lepri, Gabriele Santin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支侦探团队（神经网络），他们正试图破解一个谜团。他们的任务是观察一堆线索（输入数据）并做出判断：“这两条线索实际上是同一个东西，还是不同的东西？”

有时，线索会被伪装。也许一条线索只是另一条线索经过旋转、翻转或重新排列后的样子。一个优秀的侦探团队需要知道何时该说：“嘿，这些其实是同一个东西！”（因为存在伪装），以及何时该说：“不，它们完全不同。”

这篇论文旨在测量这些侦探团队的**“分离能力”（Separation Power）**。简单来说，它在问：这种特定类型的 AI 在尊重规则（如对称性或旋转）的同时，分辨不同事物的能力有多强？

以下是作者发现的详细内容，使用了日常类比：

1. 核心问题：“双胞胎”诡计

为了确定侦探团队能否分辨两个事物，作者发明了一个聪明的诡计。他们不是问“你能分辨线索 A 和线索 B 吗？”，而是问：“如果你同时观察线索 A 和线索 B，你能证明它们是完全相同的吗？”

他们创建了一个“孪生网络”（Twin Network），该网络接收两个输入并对它们进行相减。如果结果为零，则网络认为它们是相同的。该论文精确地绘制了无论如何调整网络，哪些输入对的结果始终为零。这张图谱告诉了我们网络视觉能力的极限。

2. “激活”的魔力（大脑的火花）

神经网络有一个特殊的成分叫做“激活函数”（如 ReLU 或 Sigmoid），它决定了神经元如何放电。这就像是让大脑思考的火花。

发现： 只要这个火花不是一个简单的直线（多项式），那么使用哪种“火花”并不重要。
类比： 想象你在烤蛋糕。无论你使用的是香草精、草莓精还是巧克力精（只要不是纯水），蛋糕都会长到同样的高度。论文证明，任何复杂的非线性激活函数都能赋予网络区分输入的最高能力。你不需要去寻找某种“超级火花”；标准的激活函数已经处于顶尖水平了。

3. 深度：多少层才会有区别？

你可能会认为增加层数（使网络更深）总会让它变得更聪明。

发现： 增加层数在达到一定程度后会有帮助，但随后会遇到瓶颈。
类比： 想象一个“传声筒”游戏。如果你通过 2 个人传递信息，信息可能会变得更清晰；如果你通过 10 个人传递，它可能会变得更清晰。但如果你通过 100 个人传递，它并不会比通过 10 个人时变得更清晰。网络的辨别能力会趋于稳定。一旦你达到了特定的深度，增加更多的层仅仅是额外的劳动，却无法带来额外的视觉提升。

4. “宽度”陷阱：更多的神经元并不意味着更好的视觉

在许多 AI 模型中，人们通过增加层的“宽度”（添加更多神经元）来期望它能更好地理解事物。

发现： 对于这类特定类型的网络，增加隐藏层（添加更多不变特征）并不能帮助它们区分不同的输入。
类比： 想象一名守门员。如果你雇佣了 100 名保安而不是 1 名，而且他们都拥有完全相同的指令和视力，那么门并不会变得更安全。网络区分输入的能力取决于它看到了什么，而不是有多少只眼睛在看。增加那些以相同方式观察的“眼睛”并不会提高分离能力。

5. “模块”的层级结构

这些网络是由不同的“模块”或构建块组成的，这些模块对应于不同类型的对称性（例如旋转一个形状与洗一副扑克牌）。

发现： 某些模块比其他模块更能分离输入。这里存在一个严格的层级结构。
类比： 想象一套钥匙。一把万能钥匙（“正则表示”）可以打开每一扇门（分离几乎所有的东西）。一把简单的钥匙（“不变表示”）只能打开一扇特定的门。论文表明，如果你在网络中使用“万能钥匙”模块，你会获得最佳的分离效果。如果你使用“简单钥匙”模块，你的网络就会受到限制。这是一个阶梯：你在复杂性的阶梯上爬得越高，就能分辨出越多的东西。

6. 现实世界案例

作者在两种常见的 AI 类型上测试了这些规则：

不变图网络 (IGNs)： 用于分析社交网络或分子。他们发现，这些网络在分辨图方面与著名的“Weisfeiler-Leman”测试（数学上的金标准）一样出色，并且不需要庞大且昂贵的网络即可实现。
循环卷积神经网络 (Circular CNNs)： 用于分析循环数据（如时钟面或传感器环）。他们发现，“滤波器”（网络一次观察多少圆周范围）的大小会改变其分辨模式的能力。一个观察整个圆周的滤波器比只观察一小块区域的滤波器效果更好。

总结

这篇论文为构建这类特定 AI 提供了规则手册：

不必担心激活函数： 只需选择一种标准的非线性函数；它们的力量是等同的。
不要做得太深： 一旦达到稳定点，就停止增加层数；额外的深度对于分离能力是徒劳的。
不要只顾着变宽： 增加神经元并不能帮助你区分事物。
明智地选择你的模块： 如果你想让网络看到更多的差异，请使用最复杂的“模块”。

本质上，论文告诉我们，对于这些网络而言，结构的质量比层数或神经元的数量更重要。

技术摘要：等变神经网络的辨别能力

问题陈述

机器学习模型的表达能力通常通过其通用性（universality）来量化——即近似特定类中任何函数的能力。然而，对于等变神经网络（即遵循置换或旋转等对称性的网络），其通用性受限于网络固有的一种无法区分在对称群下等价输入的限制。这种局限性在网络区分不同输入的能力与其必须保持的不变/等变结构之间，创造了一种复杂的相互作用。

虽然图学习领域已广泛研究了图神经网络（GNN）的辨别能力（separation power），并使用了 Weisfeiler-Leman (WL) 测试和同态计数，但这些组合工具在应用于更广泛的等变模型类别时存在严重的局限性，特别是处理几何数据或利用正则卷积的模型。目前缺乏精细的分析工具来刻画具有非多项式激活函数、有限维表示以及置换等变性的通用等变神经网络的不可区分输入集合（识别关系）。

方法论

本文引入了一个理论框架，用于刻画一族等变神经网络 $\mathcal{N}$ 的辨别能力 $\rho(\mathcal{N})$ 。辨别能力被定义为识别输入对 $(\alpha, \beta)$ 的等价关系，其中满足对于所有 $f \in \mathcal{N}$ ，都有 $f(\alpha) = f(\beta)$ 。

核心方法论贡献是**“孪生网络技巧”（Twin Network Trick），它将识别不可区分输入的问题转化为一个零点集问题（zero locus problem）**。通过构建一个孪生网络 $\hat{\eta}(\alpha, \beta) = \eta(\alpha) - \eta(\beta)$ ，作者将识别关系重新表述为寻找被孪生网络空间映射到零点的点集。

这种归约允许作者应用源自泛函方程理论的递归技术。具体而言，他们利用了涉及非多项式连续函数（如 ReLU、sigmoid）的线性泛函方程的相关结果，推导出零点集的显式递归公式。该公式将深度为 $d$ 的网络的零点集与深度为 $d-1$ 的网络的零点集联系起来，涉及由网络架构和偏置项定义的特定子空间的并集与交集。

分析假设：

置换表示： 网络作用于有限集上实值函数的空间，且在作为置换的有限群下是等变的。
非多项式激活： 激活函数是连续且非多项式的。
完全偏置： 仿射层包含属于表示空间轨道划分的偏置项。

核心贡献与结果

1. 不可区分输入的完整刻画

本文提供了对由固定架构网络所识别的输入对的完整刻画。

定理 1（刻画定理）： 建立了神经空间零点集的递归公式。该公式根据网络的深度、激活属性以及由偏置项诱导的表示空间划分来分解识别关系。

2. 非多项式激活的等效性

定理 2： 证明了对于固定架构，任何连续、实值、逐元素、非多项式的激活函数都具有相同的辨别能力。因此，常见的激活函数（如 ReLU、sigmoid 和 tanh）在区分输入的能力上是等效的，并且都能实现该架构下的最大可能辨别能力。多项式激活函数被排除在此等效性之外。

3. 深度的作用

定理 3： 表明增加网络深度仅在达到特定的**重复阈值（repetition threshold）**之前会增强辨别能力。超过该阈值后，添加更多相同类型的层不会提高区分输入的能力；辨别能力会趋于稳定。
- 对于 $k$ -不变图网络（ $k$ -IGNs），该阈值与 $k$ -WL 测试的阈值成比例。
- 对于具有正则隐藏表示的网络，稳定发生在仅一次层重复之后。

4. 与隐藏特征宽度及不变特征的独立性

定理 4 与备注 1： 表明辨别能力独立于隐藏表示中块的重数（multiplicity）。具体而言，增加不变隐藏特征的宽度（例如， $k$ -IGNs 中特征空间的维度）并不会提高网络区分输入的能力。具有隐藏表示 $V \otimes \mathbb{R}^f$ 的网络的辨别能力与具有隐藏表示 $V$ 的网络的辨别能力相同。

5. 表示类型的层级结构

定理 5： 建立了基于层中所用表示类型的辨别能力层级结构。辨别能力对应于对称群的子群偏序关系。
- 由较小子群（例如平凡子群 $\{e\}$ ，对应于正则表示）诱导的表示产生最大辨别能力。
- 由较大子群（例如群 $G$ 本身，对应于不变向量）诱导的表示产生最小辨别能力。
- 这意味着在隐藏层中使用正则表示 ( $\mathbb{R}^G$ ) 足以实现架构允许的最大辨别能力。

对实际模型的意义

作者将这些通用结果应用于特定的实际模型：

不变图网络 (IGNs)： 研究结果强化了先前的发现，即证明了无论隐藏特征维度如何， $k$ -IGNs 都能达到 $k$ -WL 测试的辨别能力。这解决了此前需要“大”隐藏特征宽度才能实现通用性的问题。
循环卷积神经网络 (Circular CNNs)： 循环卷积神经网络的辨别能力被证明取决于滤波器尺寸。具体而言，具有更大滤波器支撑（接近全群大小）的网络比具有较小支撑的网络具有更精细的辨别能力，形成了一个严格的层级结构。

重要性与主张

本文声称提供了一个理解等变神经网络通用性的必要条件。通过精确刻画识别关系 $\rho(\mathcal{N})$ ，作者能够将超参数和架构选择分类为两类：

决定辨别能力的因素（Separation-Determining）： 直接影响可区分输入集合的选择（例如，激活类型、达到阈值前的深度、表示类型）。这些选择显著影响近似能力和计算成本。
与辨别能力无关的因素（Separation-Independent）： 不影响可区分输入集合的选择（例如，隐藏特征宽度、块的重数）。这些选择可能会影响在辨别能力约束下的近似能力，但不会扩展可区分输入的类别。

作者强调，其框架限于置换表示和非多项式激活。他们承认目前的方法尚未扩展到使用 Clebsch-Gordan 系数或多项式方法的情况，也未能完全解决偏置项缺失的情况（尽管在这些情况下可以提供界限）。这项工作为分析超越图特定组合约束的等变模型的表达能力提供了一个基础性的理论工具。