💻 computer science

Are You Measuring the Failure Subspace, or Its Ceiling?

本文表明，广泛引用的测试时自适应中失效子空间的低维特性，是受限于分类器行空间的特定梯度定义的代数伪影，而非内在属性，因为替代性的无约束需求揭示了高维且对宽度敏感的结构，其中大部分能量仍局限于分类器的行空间之中。

原作者： Sungmin Ryu

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Sungmin Ryu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过观察机器人想要移动的方向来修理一个坏掉的机器人。在人工智能领域，研究人员一直在讲述一个非常特定的故事：“看！机器人进行自我修正所需的方向出奇地简单。它们都契合进一个微小的、低维度的房间。”他们称之为“低秩”（low-rank）结构，并构建了精巧的工具，试图将他们的修复方案挤进这个小房间，认为他们发现了一个关于 AI 如何学习的隐藏秘密。

但这篇论文提出了一个非常俏皮的问题：我们究竟是在发现一个秘密，还是仅仅在盯着房间的天花板并称其为一项发现？

天花板诡计

由 Sungmin Ryu 领导的作者指出，许多用于这些研究的“修正方向”（称为需求/demands）在数学上被强制限制在一个特定的框内。这个框是由 AI 试图识别的类别数量所定义的。

这就像是一个拥有 100 种不同指令的“西蒙说”（Simon Says）游戏。如果游戏的规则规定：“你的双手只能以平衡为零的方式移动”，那么无论你多么努力，你永远无法在超过 99 个独立方向上进行移动。数学强制这种移动留在 99 维的空间内。

论文证明，对于常见的测量这些修正的方法（如交叉熵梯度或平均梯度外积），它们所占据的“房间”都有一个硬性的天花板。如果 AI 正在学习 100 个类别，数学就意味着修正方向不可能拥有超过 100（或 99）个维度。

转折点在于： 当研究人员观察数据时，他们看到这些修正填满了这个微小房间的 55% 到 65%。他们感到兴奋并说：“哇！它是如此低秩！它只使用了空间的一小部分！”

论文认为这是一种视角上的错觉。如果你的房间只有 100 英寸高，而你身高 60 英寸，你并不是“矮小”或“紧凑”的。你只是占据了你被允许使用的全部空间的很大一部分。作者表明，这些“低秩”发现实际上是代数恒等式——是始终成立的数学事实，而不是关于数据本身的惊人发现。

“自由”实验

为了看看在幕后是否存在一个隐藏的低维结构，作者构建了一种新的测量工具。这种新工具被称为“自由需求”（free demand），它没有天花板。它不会被困在那个小房间里；它可以延伸到 AI 完整记忆的广阔开放领域（这个领域可能拥有 256 或 512 维的宽度）。

当他们使用这个“自由”工具时，魔力消失了。

天花板房间： 旧的工具仍然受困于其极限。随着他们增加类别，其“秩”（使用的方向数量）就会撞向天花板并停在那里。
自由领域： 新工具并没有在天花板处停止。它继续增长！当他们将 AI 的记忆规模从 256 增加到 512 维时，“自由需求”的秩从 111 跳到了 191。

这证明了所谓的“低秩”结构并不是数据背后一个隐藏且稳定的秘密。相反，它是由于测量工具太小，以至于看不全全貌而产生的一种幻觉。真实的修正方向实际上是两者的结合：

天花板部分 (74%)： 一个符合分类器行空间（row space）内数学预测的部分。
尾部 (26%)： 一个宽广、杂乱、结构微弱的尾部，它扩散到剩余的空间中。这个尾部没有整齐的“拐点”或剧烈的跌落；它只是缓慢地消散。

这对未来意味着什么

论文指出，该领域一直在误读自身的测量结果。当像 GOLD 这样的方法（旨在通过留在那个小的“行空间”内来进行 AI 修复）表现良好时，并不是因为它发现了一个神奇的、微小的子空间。它仅仅是因为捕捉到了恰好存在于分类器行空间中的那 74% 的能量。

作者提出了一种报告结果的新方式。研究人员不应仅仅说“秩很低”，而应该报告有多少比例的总能量实际上位于那个小房间内（即“行空间能量占比”）。这个数字是稳定且诚实的。它准确地告诉我们，一种方法实际能“看到”多少修正能量。

底线结论：
这篇论文并不是说低秩自适应是无用的。它是在说，我们不要再假装发现了一个微小的、隐藏的房间，而其实我们只是在盯着天花板看。失败子空间（failure subspace）并不是一个紧凑的、秘密的宝石；它是一个可预测的、受数学约束的部分与一个宽广、杂乱的尾部的混合体，而这个尾部会随着 AI 的规模而增长。在我们能够证明这个杂乱的尾部是有用（或无用）的之前，我们不能声称已经找到了一个解决 AI 适应新情况问题的简单、低维度的方案。所谓的“低秩”主张从来不是一项发现；它仅仅是我们起始数学逻辑的一种反映。

技术摘要：“你测量的是失效子空间，还是它的天花板？”

问题陈述
在测试时自适应（TTA）和低秩自适应（LRA）文献中，存在一个普遍的经验性主张：即与模型自适应相关的子空间（由单样本梯度、Fisher 方向或“失效方向”的张成空间定义）具有令人惊讶的低维特性。诸如 GOLD [7] 以及各种 LRA 技术等方法都依赖于这样一个观察：少量的特征向量就能捕捉到这些类梯度向量（即“需求/demands”）中的绝大部分能量。

然而，本文认为，对于目前常用的需求定义（交叉熵梯度、熵梯度以及平均梯度外积 AGOP），这种“低秩”观察并非关于数据或失效模式的经验性发现，而是一个代数恒等式。这些需求在数学上被限制在最终分类器权重矩阵 $W$ 的行空间内。因此，它们的协方差秩不能超过类别数 $C$ （或者对于零和需求而言，为 $C-1$ ）。本文指出，所报告的低秩结构可能仅仅是对这一代数天花板的重新发现，而非证据表明存在紧凑的、内在的失效维度。

方法论
为了区分代数天花板与真正的低维结构，作者采用了受控实验设计：

代数证明： 论文建立了三个命题，证明了常见需求的秩上限：
- 交叉熵（CE）与熵梯度： 由于 Logit 空间的零和特性，被限制在维度至多为 $C-1$ 的超平面内。
- AGOP： 被限制在 $W$ 的行空间内，其秩上限至多为 $C$ 。
无天花板的需求： 为了测量这些天花板之外的内容，作者构建了一个“自由”需求（ $d_{act}$ ），该需求基于激活空间份额（ $A \odot -\nabla_A L$ ）。这种需求不是 $W^\top$ 的像，理论上可以占据完整的环境特征维度 $D$ 。
受控扫描： 在 CIFAR-100 的嵌套子集上进行实验，在保持架构、特征宽度（ $D$ ）、每类样本数和优化协议不变的情况下，将类别数 $C$ 从 2 变化到 100。
宽度敏感性测试： 在固定的 $C=100$ 时，作者将最终表示层的宽度（ $D$ 从 256 增加到 512）翻倍，以测试所测得的秩是任务的属性还是测量装置的属性。
分解： 将自由需求向量投影到 $W$ 的行空间（ $P_{row(W)}d$ ）及其正交补空间，以分析能量在“天花板”成分与“尾部”之间的分布。

关键结果

受限需求被锁定在其天花板上： 对于 CE、熵和 AGOP 需求，有效秩（ $r_{90}$ ）紧密追踪代数天花板。在 $C=100$ 时，这些需求占据了其最大可能秩（ $C$ 或 $C-1$ ）的 55–65%。随着 $C$ 的增加，占据天花板的比例实际上在下降，这表明在大 $C$ 情况下表现出的低秩结构是由于天花板“变空”导致的，而非出现了新的结构。
自由需求超过了天花板且具有宽度敏感性： 自由需求的有效秩超过了 $C$ （例如在 $C=20$ 时为 41.7），并以大约两倍于受限需求的速率随 $C$ 增长。至关重要的是，当特征宽度 $D$ 倍增时，自由需求的有效秩显著增加（从 111 增加到 191），而受限需求的有效秩保持相对稳定。这表明自由需求的秩是环境空间大小的函数，而非仅取决于任务难度。
分解揭示了一个宽阔的尾部： 将自由需求投影到 $row(W) $上显示，约 74% 的能量存在于分类器诱导的子空间内，重现了受限需求在索引$ C$ 处看到的精确谱陡降。剩余的约 26% 能量形成了一个“宽阔、弱结构化、无拐点的尾部”，该尾部跨越了数百个维度。该尾部的秩追踪的是环境空间的大小，而非紧凑的内在维度。
对 GOLD 的重新评估： 论文重新分析了 GOLD 方法，指出其关于“强低秩集中性”（在 CIFAR-100-C 上前 64–128 个特征向量捕捉了 >99% 的能量）的主张，在给定 $C=100$ 的代数天花板前提下是同义反复的。所报告的数字反映的是分类器诱导子空间的占用情况，而非在完整特征空间中发现了隐藏的低维流形。

意义与主张
本文得出结论，称“自适应子空间具有惊人的低秩性”这一说法混淆了两个不同的对象：

一个代数事实： 由 Logit 衍生的需求被限制在 $row(W) $内，且其秩不能超过$ C$。这是一个定理，而非发现。
一个假设的数据属性： 一个内在的、紧凑的失效维度。作者在实验中没有发现此类维度的证据；相反，移除代数天花板后，会显现出一个宽阔的、对宽度敏感的尾部。

建议的报告转变：
作者认为，仅报告“有效秩”是不充分且具有误导性的，尤其是对于受天花板限制的需求。他们建议，该领域未来的工作应报告：

天花板归一化有效秩 ( $\rho_{ceil}$ )： 有效秩与代数天花板的比率，旨在分离经验谱衰减与代数约束。
行空间能量占比 ( $\rho$ )： 存在于 $row(W)$ 内的需求能量比例。该指标对宽度保持稳定，并能直接量化任何受限于分类器行空间的算法（包括目前大多数 TTA/LRA 方法）所能触及的最大能量。

本文并不主张低秩方法是无效的，而是认为其成功不应归功于数据中存在的“隐藏低维结构”，而应归功于它们运行在分类器的代数约束之内。至于“尾部”（$row(W)$ 之外的能量）的效用，仍是一个开放性问题。

天花板诡计

“自由”实验

这对未来意味着什么

技术摘要：“你测量的是失效子空间，还是它的天花板？”

类似论文