Measuring the Symmetry--Data Exchange Rate

问题陈述

等变性理论预测，引入架构对称性先验（在群 $G$ 下的不变性或等变性）可以将样本复杂度降低一个因子 $|G|$。尽管这一预测被广泛引用，但很少有研究将其作为一种带有控制变量的标度律进行测量，以隔离结构先验与诸如有效容量降低、隐式数据增强或正则化等混淆因素。大多数实证研究仅报告固定样本量下的准确率差距或单一操作点下的效率比，未能追踪样本复杂度的标度律，也未能区分“对齐”（正确的对称性）与“约束”（任何同等强度的约束）。本文旨在解决这一方法论空白：如何将“结构有助于学习”这一定性主张，转化为对称性与数据之间经过校准且可证伪的交换率。

方法论

作者构建了一个受控的合成二维任务，其中对称群是精确已知的，其阶数 $n$ 是一个自由参数。

• 任务： 输入样本取自环形区域，并基于交替的角度模式 $1[\cos(n\theta) > 0]$ 进行标注。对称群为循环群 $C_n$（阶数为 $n$），其中 $n \in \{1, 2, 3, 4, 6, 8, 12\}$。该任务经过设计，具有非平凡性，不存在基于坐标的捷径。
• 模型族： 五个模型族共享完全相同的全连接架构（1,185 个参数），以确保容量匹配：
  1. 等变模型（处理组）： 使用轨道池化（对 $n$ 个旋转副本的输出求平均）来通过构造强制执行 $C_n$ 不变性。
  2. 错误群组模型（对照组）： 使用相同的轨道池化架构，但旋转角度与正确周期错位（偏差为正确周期的 $0.7\times$）。这通过保持轨道大小和计算量一致，但破坏对称性匹配，从而隔离了“对齐”与“约束”的概念。
  3. 增强模型： 一个非约束网络，在训练时使用所有 $n$ 个旋转副本（在损失函数中对 logits 求平均），但在测试时仅使用单输入前向传播。
  4. Vanilla 模型： 标准的非约束网络。
  5. 正则化模型： 一个带有 L2 权重衰减的 Vanilla 网络，其衰减程度与轨道池化所移除的自由度相匹配。
• 指标： 研究测量 $N_{target}$，即 5 个种子中至少有 3 个达到 80% 验证准确率所需的最小样本量。
• 估计器： 为了解决任务难度随 $n$ 增加而上升（导致所有模型的绝对斜率均为正）这一混淆因素，作者引入了一个相对交换率 $\beta_{diff}$。这是 $\log_2(N_{vanilla}^{target} / N_{treatment}^{target})$ 对 $\log_2(n)$ 的斜率。从理论上讲，如果对称性使样本复杂度降低 $|G|$ 倍，则该斜率应为 $+1$。
• 推断： 研究采用了非参数配对自助法（10,000 次重采样）以及用于处理处理组与对照组比较的联合配对自助法。一个预设的失败分类法用于对结果进行归类（例如：无优势、正则化崩溃、增强解释或真实信号）。

核心贡献

1. 无混淆测量方法论： 引入了相对交换率估计器，该估计器抵消了共同的任务难度缩放，从而能够测试理论上的 $|G|$ 预测。同时配合“错误群组”对照组，以区分对齐与通用约束，并使用联合配对自助法来处理重叠的置信区间。
2. 估计速率： 在受控任务上，等变模型给出的点估计值为 $\beta_{diff} = 1.28$。这在符号和数量级上与 $1.0$ 的理论预测一致。然而，作者强调该精确数值具有探索性；定性的方向才是稳健的发现。
3. 隔离对齐与约束： 研究发现，“错误群组”对照组（具有相同大小但错位的轨道）的效果甚至比无约束还要差（$\beta_{diff} \approx -0.77$），这证明了错位的结构先验是有害的，而不仅仅是无用的。
4. 架构与增强： 研究发现，仅在训练阶段进行的增强（未进行测试时的轨道平均）无法达到等变模型所能达到的目标准确率。然而，通过 CPU 复现显示，若为增强模型添加测试时轨道平均，其结果将与等变模型位一致（bit-identical）。因此，这种差距取决于不对称的测试时计算，而非架构本身的无条件优越性。
5. 可复现性： 完整的实验（5,600 次运行）随代码、配置哈希及所有单次运行记录一同发布，在单块 GPU 上运行约需 90 分钟。

结果

• 交换率： 主要估计器得出 $\beta_{diff} = 1.28$。
  • 单层百分位数自助法置信区间（CI）为 $[+0.92, +2.05]$（不包含零）。
  • 更保守的两层自助法（对种子和群规模进行重采样）得出的 CI 为 $[-0.63, +1.72]$，包含了零。
  • 在 $\sqrt{2}$ 间隔网格上的精细化 $N$ 复现产生了不确定的结果（$\beta_{diff} = -0.82$，置信区间较宽），凸显了对网格离散化的敏感性。
• 对照组：
  • 在联合配对比较中，错误群组对照组明显差于 Vanilla 基准线（差异的 CI 为 $[+0.79, +3.26]$），证实了收益来自于正确的对齐，而非仅仅是存在约束。
  • 正则化基准线相对于 Vanilla 并没有优势（\beta_{diff} \approx -0.04}），排除了有效自由度减少是主要机制的可能性。
  • 增强模型（仅限训练时）在 $n \ge 3$ 时无法达到目标准确率，而等变模型可以。
• 鲁棒性： 当高达 30% 的训练标签被注入非对称噪声时，相对速率保持稳定（保留了 88–97% 的原始值）。

意义与主张

本文明确将自身定位为一项探索性研究，而非证实性测量。作者对其主张持谨慎态度：

• 非普适常数： 报告的速率是基于特定任务、目标准确率和标度模型的运算估计值，而非普适的信息论常数。
• 定性方向： 主要贡献在于定性方向（正向，且在数量级上与理论一致）以及错误群组的发现（错位的约束是有害的）。由于估计器的采用具有事后性（post-hoc）以及保守置信区间包含零，因此并未将精确数值（$1.28$）视为确定性的测量结果。
• 方法论迁移： 该框架（相对速率估计器、错误群组对照、联合配对自助法、失败分类法）被呈现为一个可迁移的工具，用于测量任何可参数化归纳偏置（不仅限于对称性）的强度。
• 局限性： 研究承认任务是合成的且为二维，对称性是精确的（而非近似或潜在的），且与理论的比较涉及核函数/随机特征理论与有限宽度 ReLU MLP 之间的不匹配。此外，“FLOP 中性”的说法也是有细微差别的：虽然总训练 FLOPs 大致匹配，但等变模型在单样本计算和内存开销上更高。

作者总结道，“错误群组”的结果是最清晰且最令人信服的发现，而标题中的数字则需要未来在新的种子集上进行外部注册的复现，才能被视为具有证实意义。