🤖 machine learning

What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility

本文认为，反馈对齐（Feedback Alignment）的标准评估指标（准确率和梯度余弦相似度）由于存在诸如参考梯度坍缩（reference gradient collapse）和聚合掩盖（aggregation masking）等隐性失效模式而不充分，并提出了一种基于尺度稳定性（scale stability）、参考有效性（reference validity）和深度效用（depth utility）的新型诊断协议，以可靠地识别深层网络中非功能的信用分配问题。

原作者： Yuren Hao, Xiang Wan, ChengXiang Zhai

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuren Hao, Xiang Wan, ChengXiang Zhai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一群工人（一个深度神经网络）如何解开一个谜题。教导他们的标准方法是反向传播（Backpropagation, BP）。在这种方法中，老板（输出端）会向整个链条中的每一位工人发送一份完美且详尽的备忘录，准确说明他们哪里做错了以及该如何修正。这种方法效果极佳，但它需要一种非常特定且僵化的通信系统，而这种系统在自然界中并不存在（例如人类大脑），且难以在高效的计算机芯片上实现。

为了解决这个问题，科学家们发明了反馈对齐（Feedback Alignment, FA）。与其发送完美的备 memo，不如让老板使用一套固定的、随机的指令来发送一个“粗略的猜测”。其核心思想是：工人们最终会学会忽略噪声，并自行摸索出正确的方向。

在过去十年里，研究人员通过检查两点来验证这些“粗略猜测”方法是否奏效：

团队在谜题上的得分如何？（准确率/Accuracy）
“粗略的猜测”所指的方向是否与“完美的备忘录”大致相同？（余弦相似度/Cosine Similarity）

问题所在：
本文指出，这两项检查就像是一个失灵的烟雾报警器。即使房子着火了，它们也可能欢快地鸣叫。作者发现，这些标准检查可能会给那些实际上并未成功教导网络深层结构的算法发出“绿灯”。他们识别出了标准检查会漏掉的两种“沉默失败”：

1. “隐形地板”失败（测量退化 / Measurement Degeneracy）

类比： 想象你正试图用一把巨大且笨重的尺子去测量一只微小蚂蚁的移动方向。如果蚂蚁如此之小，甚至小于尺子上最小的刻度，那么你的尺子只会显示“零”或“噪声”。你无法判断蚂蚁是指向北还是指向南；你测量的只是尺子本身的局限性。

论文中的实际情况：
在某些现代网络设计中，“完美的备忘录”（参考梯度）会被压缩得极其微小，以至于触及了计算机的“数值地板”（计算机能处理的最小数值）。当这种情况发生时，“粗略的猜测”对比的不再是一个真实的物理方向，而是在与计算机噪声进行对比。标准检查会说：“嘿，这个角度看起来是正向的！”但实际上它测量的只是静电噪声。这就像是因为指南针的指针在震动，就断定指南针工作正常，而不是因为它真的指向北方。

2. “单人英雄”失败（聚合崩溃 / Aggregation Collapse）

类比： 想象一场有 10 名跑者的接力赛。你想知道整个团队的表现如何。你没有为每个人计时，而是将所有人的速度相加并取平均值。

场景 A： 第一名跑者是超级明星（速度极快），但其他 9 名选手都在睡觉。平均速度看起来还不错。
场景 B： 最后一名跑者是超级明星，但前 9 名选手都在睡觉。平均速度看起来和场景 A 一样。

论文中的实际情况：
标准检查会对整个网络中的信用信号（credit signal）对齐程度进行“平均”。但在这些方法中，信号往往只在网络的一端（要么是极前端，要么是极后端）起作用，而中间层却毫无反应。这种“平均值”看起来是正向的，却掩盖了深层结构（即团队的中坚力量）完全迷失方向且没有任何学习能力的真相。

解决方案：一种新的“健康检查”协议

作者提出了一个新的三步检查清单，以确保网络是真的在学习，而不是在伪装：

检查“稳定性”（规模稳定性 / Scale Stability）： 网络内部的数值是否正在爆炸式增长？如果数值变得过大，说明系统不稳定，且“完美的备忘录”即将被压碎（导致失败 #1）。
检查“参考值”（参考有效性 / Reference Validity）： “完美的备忘录”是否足够大到可以被测量？如果它太小（低于计算机的噪声水平），那么方向检查就是毫无意义的。
检查“团队协作”（深度效用 / Depth Utility）： 这是最重要的一点。作者提出：“冻结中间的工人。”训练网络，但保持深层结构处于随机的初始状态。如果网络在深层结构被冻结的情况下，表现得与训练后的网络一样好，那么深层结构并没有发挥任何作用。这意味着“粗略猜测”方法未能教会它们。

结果

当他们将这套新清单应用于反馈对齐方法时：

标准检查说：“一切看起来都很好！角度是正向的，得分也不错！”
新的检查清单说：“停下！深层结构并没有在学习。参考值太小无法测量，或者中间的工人正在“睡觉”。

事实上，在某些情况下，“粗略猜测”方法的表现甚至不如直接让深层结构保持冻结和随机状态。它们实际上是在损害网络，而旧的检查手段却看不出来。

总结

你不能仅仅通过查看最终得分或单一的“方向”数值来判断一种新的学习方法是否有效。你必须挖掘得更深。你需要确保信号不会小到无法测量，并且你需要证明深层结构确实在为解决方案做出贡献，而不仅仅是随行凑数。如果没有这些额外的检查，研究人员可能会在并不真正起作用的方法之上构建未来的 AI。

技术摘要：准确率与梯度余弦相似度所忽略的问题

问题陈述

尽管深度学习取得了成功，但通过具有生物合理性且硬件高效的机制来训练深层网络仍然是一个开放性挑战。反馈对齐（Feedback Alignment, FA）方法旨在解决反向传播（BP）的约束——特别是权重对称性和顺序更新问题——通过使用固定的随机矩阵来替代反向权重。虽然 FA 及其变体直接反馈对齐（Direct Feedback Alignment, DFA）在训练现代架构（如 Transformer）方面展现出了潜力，但它们的评估依赖于一组标准的报告对：任务准确率和该方法产生的信用信号与 BP 梯度之间的聚合余弦相似度。

本文认为，这种标准的报告对是不充分的，它可能会让那些实际上并未真正训练深层网络的模型“蒙混过关”。作者识别了两种独立的失效模式，在这些模式下，尽管网络未能学习到有效的深层信用分配，标准指标仍会提供误导性的积极信号。

方法论与诊断协议

为了诊断这些失效情况，作者在残差架构（ResMLP、ViT-Mini、StudentNet）上进行了一项受控审计，对比了三种方法（BP、FA 和 DFA），这些架构具有相同的训练方案，仅在信用传播规则上有所不同。作者观察到，标准指标无法检测出深层模块实际上处于未使用或有害状态的情况。

基于这些观察，作者提出了一个三项检查诊断评估协议，用以取代或补充标准的报告对：

规模稳定性（诊断 1）： 测量训练结束时每个残差块的最大增长率（ $\rho = \max_l \|h_{l+1}\|/\|h_l\|$ $ρ = max_{l} ∥ h_{l + 1} ∥/∥ h_{l} ∥$ ）。
- 阈值： 若 $\rho > 50$ ，则标记为异常。
- 目的： 检测“残差流爆炸”，这是参考梯度崩溃的前兆。
参考有效性（诊断 2）： 测量最深层 BP 参考梯度的范数（ $\|g_L\|$ $∥ g_{L} ∥$ ）。
- 阈值： 若 $\|g_L\| < 10 \cdot \epsilon$ （其中 $\epsilon$ 是余弦实现的分母底数，在 fp32 中通常为 $10^{-8}$ ），则标记为异常。
- 目的： 检测测量退化（Measurement Degeneracy）。在末端带有 LayerNorm 的架构中，残差爆炸会导致 BP 梯度被压缩至数值底限。当这种情况发生时，余弦相似度是针对浮点噪声而非有意义的方向进行计算的，从而导致该指标变得不可解释。
深度效用（诊断 3）： 计算训练后的模型测试准确率与架构匹配的冻结块基准线（即保持残差块处于随机初始化状态，仅训练嵌入层、LayerNorm 和输出头）之间的差距。
- 阈值： 若差距低于 2 个百分点，则标记为异常。
- 目的： 检测训练后的深度是否真正对预测做出贡献。这一检查是必要的，因为即使余弦测量是有效的，也无法保证在信用方向上的更新能够有效地组合成有用的深度训练。

该协议还要求进行逐层余弦报告，而非聚合报告，以避免掩盖层级间的异质性。

关键发现与失效模式

论文识别了标准指标所忽略的两种因果独立的失效模式：

模式 1：测量退化（参考崩溃）。
- 机制： 在末端带有 LayerNorm 的残差架构中，由局部损失形式驱动的残差流无界增长，导致 BP 参考梯度反向缩小。最终，梯度范数会跌落至余弦实现的数值底限之下。
- 结果： 报告的余弦相似度是针对归一化的浮点残差（噪声）而非真实的 BP 方向进行计算的。这种模式在带有末端 LayerNorm 的架构（如 ResMLP、ViT-Mini）中普遍存在，但在不带此类结构的架构（如 StudentNet）中不存在。
模式 2：聚合崩溃（层级异质性）。
- 机制： 聚合余弦是对分布在网络两端的各层余弦值的平均。例如，FA 通常仅在最深层对齐，而 DFA 则通常仅在最浅层（嵌入层）对齐。
- 结果： 聚合余弦呈现正值，暗示存在对齐，但实际上深层（或浅层，取决于具体方法）对有效信用分配的贡献为零。
余弦相似度不能预测深度效用。
- 即使缓解了模式 1（通过规模惩罚）并使余弦测量变得有效，高余弦对齐也不一定能预示深层性能的提升。作者通过“状态桥接（State Bridge）”和“信用桥接（Credit Bridge）”探测实验证明，余弦对齐较低的方法可能比对齐度较高的模型获得更高的准确率。

实验结果

作者在多种架构和设置下验证了该协议：

标准指标失效： 在代表性设置中（例如 CIFAR-10 上的 ResMLP），FA 和 DFA 报告了非平凡的准确率和正向的聚合余弦值。然而，标准指标对无法提供任何信号来表明这些方法未能超过冻结块基准线。
协议成功： 所提出的协议正确识别了所有失效情况。
- DFA 在具有末端 LayerNorm 的架构中，一致触发了模式 1（规模爆炸和参考崩溃）以及深度效用失效。
- FA 通常能通过模式 1 检查（参考梯度依然有效），但无法通过深度效用检查，这表明虽然参考梯度是可测量的，但信用信号并未有效地训练深层网络。
因果独立性： 通过干预手段（在局部损失中加入规模惩罚）可以缓解模式 1（恢复参考有效性），但无法立即修复模式 2（深层对齐依然较差）。这证实了两种失效模式是截然不同的，需要分别进行诊断。
泛化性： 失败模式在 CIFAR-10 和 CIFAR-100 以及 ResMLP 和 ViT-Mini 架构中均保持一致。

重要性与主张

本文声称，对于深层残差架构，反馈对齐的标准评估协议存在根本性缺陷。如果仅仅依赖准确率和聚合余弦值，研究人员可能会误将研究重点建立在那些深层功能失效甚至对性能产生负面影响的方法之上。

这项工作的意义在于：

识别沉默失效： 它揭示了使标准指标失效的两种独立机制（测量退化和聚合崩溃）。
提供诊断协议： 它提供了一套具体的、可操作的检查项（规模稳定性、参考有效性、深度效用），从业者可以用这些检查来验证 FA 方法是否真正训练了深层网络，然后再进行扩展或部署。
澄清余弦的角色： 它确立了即便是在测量有效的条件下，余弦对齐也并非衡量深度训练功能效用的充分代理指标。

作者强调，通过协议并不意味着该方法已被认证为反向传播的通用替代方案，但未能通过协议则表明该方法未能成功训练特定架构的深层网络。这项工作旨在防止领域内过度扩展那些功能性失效的信用分配机制。