Task-Restricted Symmetries in Recurrent Weight Space

技术摘要：循环权重空间中的任务限制对称性

问题陈述
循环神经网络（RNN）在其权重空间中表现出显著的功能冗余。在特定的任务分布上，改变循环矩阵而不改变输入-输出展开（rollout）是可能的；然而，在其他方向上进行类似量级的改变则可能破坏原有行为。虽然精确的权重空间对称性（保持函数完全不变的变换）已被广泛研究，但本文研究的是近似功能不变性：即仅在特定任务分布上近似保持任务行为的有结构变化。作者认为，原始的循环坐标使得比较不同训练运行之间非正规（nonnormal）结构的难度增加，从而阻碍了对这些近似对称性的识别。

方法论
本研究聚焦于由以下方程定义的单层 tanh RNN：
$$h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1}), \quad \hat{y}_t = W_{hy}h_t$$
其中偏置项设为零。其核心方法论贡献是使用**有序实舒尔坐标（Ordered Real Schur Coordinates）**来分析循环矩阵 $W = W_{hh}$。

1. 舒尔分解（Schur Decomposition）： 将矩阵 $W$ 分解为 $W = QTQ^\top$，其中 $Q$ 是正交矩阵，$T$ 是实拟上三角矩阵（quasi-upper-triangular）。
2. 分块分离（Block Separation）： 将 $T$ 分解为 $B$（谱块对角块）和 $N$（严格块上三角非正规耦合）。
3. 有序划分（Ordered Partitioning）： 按照特征值模长非增顺序对分块进行排序。阈值 $\alpha$（设为 0.9）将领先谱块（$R$）与补集（$C$）区分开来。这进而将非正规耦合矩阵 $N$ 划分为：
   • $T_{RR}$：领先扇区内的耦合。
   • $T_{C \to R}$：从补集扇区向领先扇区的耦合。
   • $T_{CC}$：补集扇区内的耦合。
4. 结构化消融（Structured Ablation）： 作者执行了“固定编码器/固定解码器”的干预。他们将特定的 $N$ 块清零（例如，令 $T_{CC} = 0$），重建矩阵 $\tilde{W}_{hh}(S) = Q \tilde{T}(S) Q^\top$，并在不重新拟合输入或读出权重的情况下评估网络性能。
5. 指标：
   • $\Delta FVU$： 未解释方差比例（Fraction of Variance Unexplained，留出误差）的变化，用于衡量原始性能退化。
   • $S_{\Delta T}$： 标准化敏感度，衡量单位移除的舒尔质量（Frobenius 范数）所导致的误差增加。

核心贡献

• 诊断基础： 本文确立了有序舒尔坐标作为一个可复现、正交的基底，用于比较和扰动循环动力学，克服了直接使用特征坐标在处理非正规矩阵时存在的病态问题。
• 任务限制的不变性： 研究表明，近似功能不变性并非循环权重空间的普遍对称性，而是“任务限制”的。可移除耦合的集合高度依赖于特定任务和特定的训练解。
• 机制消融： 该框架允许进行因果测试，以确定哪些非正规耦合对于特定计算（如自主重放 vs. 集成）是必要的，哪些是冗余的。

结果
研究通过以下任务评估了该方法：

1. 固定长度复制任务（Fixed-Length Copy Task）：

   • 在“稠密正交”训练解（$N_h=72$）中，移除 $T_{CC}$ 块（补集扇区内的耦合）后，其自主重放准确率（1.00）与全模型几乎一致。
   • 然而，移除 $T_{C \to R}$ 或 $T_{RR}$ 会导致显著的性能下降，使模型进入较低准确度的功能类别。
   • 在“Cayley-变换”解中，补集块可以忽略不计，消融几乎没有影响。
   • 结论： 在稠密正交解中，$T_{CC}$ 起到了近似稳定器的作用，但它不是一种通用的不变性。

2. 神经科学风格任务（Flip-flop, 正弦生成, 上下文相关集成）：

   • Flip-flop： 清零 $T_{C \to R}$ 导致最大的误差增加（$\sim 0.09$），而 $T_{RR}$ 几乎没有影响。
   • 正弦生成（Sine Generation）： 移除 $T_{CC}$ 和 $T_{C \to R}$ 都会导致巨大误差，其中 $T_{C \to R}$ 显示出最高的标准化敏感度。
   • 上下文相关集成（Context-Dependent Integration）： $T_{CC}$ 的移除主导了误差增加，这与需要补集内部循环进行缓慢累积的需求一致。
   • 结论： “保损失消融剖面（loss-preserving ablation profile）”随任务而异。没有任何单一的舒尔耦合是统一安全的移除对象。

意义与主张
本文声称，舒尔坐标消融提供了一种实用的诊断工具，用于识别哪些结构化扰动能保持已训练的循环解，以及哪些会破坏其计算。

• 并非普遍对称性： 作者明确指出，所识别的近似不变性并非“循环权重空间的普遍对称性”。相反，它们是针对给定任务和解的特定展开分布的候选不变性。
• 上下文必要性： 结果反驳了非正规分量通常可以被忽略的观点。相反，它们识别了特定的解可以在保留其输入-输出映射的同时可以失去哪些耦合，以及哪些耦合承载了任务特定的功能。
• 局限性： 作者对研究范围持谨慎态度，指出实验仅限于 vanilla 单层 tanh RNN、低维任务和窄宽度范围。他们并不声称这些发现能推广到 LSTM、GRU 或大规模序列模型。他们也承认，性能的保持有时可能是由于消融避开了与读出层对齐的特定隐藏状态子空间，而非被移除的耦合确实没有计算作用。