🤖 machine learning

Uncovering the Latent Potential of Deep Intermediate Representations

本文介绍了逐层最优嵌入选择（LOES）和几何正则化损失（GeoReg），以证明深度基础模型中与任务相关的信息在各层间呈非单调分布，并表明显式识别并几何对齐任务判别性中间表示显著优于标准迁移学习方法。

原作者： Arnesh Batra, Arush Gumber, Aniket Khandelwal, Jashn Khemani, Anubha Gupta

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Arnesh Batra, Arush Gumber, Aniket Khandelwal, Jashn Khemani, Anubha Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一座巨大的、多层的图书馆（即“基础模型”），它几乎阅读了世界上所有的内容。当你向它提问时，它不会只给你一个答案；而是通过其大脑中许多不同的楼层，或者说“层”，来处理你的请求。

长期以来，科学家们一直认为顶层（即最后一层）是唯一存放聪明且有用答案的地方。他们假设信息在向上攀爬的过程中会变得越来越好，因此他们只关注最顶层。

本文认为这种假设是错误的。这就像假设你只需要从顶层公寓的视野来理解一座城市，而忽略了底层的喧闹市场或中间楼层的安静图书馆。有时，针对特定任务最有用的信息隐藏在中间，或者分散在不同的几层楼中。

以下是作者如何利用简单的类比来解决这个问题：

1. 问题：“顶层公寓”陷阱

作者发现，如果只使用最后一层，你往往会错过关键细节。

类比：想象试图识别一种特定类型的鸟。图书馆的顶层可能只知道“它是一只鸟”。但第 5 层可能知道“它有红色的喙”，而第 3 层可能知道“它在黎明时鸣叫”。如果你只看顶层，你就会错过那些真正帮助你识别鸟类的线索。
现实：在许多人工智能模型中，最后一层变得过于专注于其原始训练任务（例如预测句子中的下一个词），从而忘记了新任务所需的具体细节。

2. 解决方案：LOES（智能图书管理员）

作者创造了一种名为LOES（逐层最优嵌入选择）的新方法。将 LOES 想象成一位超级聪明的图书管理员，她不会只去顶层。相反，她会走遍整座建筑，寻找恰好包含你所需要线索的楼层组合。

工作原理：
- 搜索：图书管理员查看每一层楼。她不只是挑选“最好”的一层；而是挑选一组能够协同工作且不重复相同信息的楼层组合。
- 几何检查：她会检查某一层的信息是否“组织良好”。她会避开那些信息杂乱无章或挤在狭小角落的楼层（她称之为“各向异性”）。她更喜欢信息均匀分布的楼层（她称之为“各向同性”），就像整齐排列的书架，而不是一堆乱书。
- 结果：她将选定的这些楼层融合在一起，为你的特定任务创建一个定制的“超级层”。

3. 安全网：GeoReg（稳定器）

一旦图书管理员选定了正确的楼层，就存在一种风险：当你开始在 AI 上训练新任务时，整座建筑可能会受到震动，信息可能会重新坍塌成一团乱麻。

类比：想象你用来自不同楼层的最佳积木搭建了一座塔。如果你开始摇晃桌子（即训练模型），塔可能会倒塌。
修正：作者添加了第二个工具，称为GeoReg。它就像胶水或稳定器。它温和地将积木固定在原位，确保在你构建新结构的过程中，塔保持高耸且有序。它防止“聪明”的信息坍塌成无用的混乱。

4. 他们的发现

该论文在多种不同类型的人工智能（用于图像识别、文本阅读和语音听写）上测试了这种方法，发现：

深度很重要：图书馆越深（模型的层数越多），使用这种“多层”方法就越重要。随着模型变得更大，收益也会增加。
训练风格改变地图：
- 如果模型是在巨大且多样化的数据混合上训练的（例如 CLIP，它看到了数百万张图像和文本），有用的线索会均匀地分布在中间楼层。
- 如果模型是在狭窄的数据集上训练的（例如仅包含猫和狗的图片），有用的线索大多集中在最顶层。
语言很重要：对于在训练数据中罕见或代表性不足的语言，这种方法帮助最大。这就像给翻译提供一本词典，其中不仅包含最终的翻译，还包含来自中间楼层的语法规则和文化背景，而这些内容往往在最终输出中丢失。

总结

该论文声称，人工智能模型就像深邃的图书馆，其中最好的答案往往分散在许多楼层，而不仅仅是在顶层。

通过使用LOES，我们可以自动找到正确的楼层组合，为特定任务构建更好、更准确的人工智能。通过使用GeoReg，我们确保这种新构建的定制人工智能保持稳定，不会在我们教它新事物时分崩离析。这使得人工智能更聪明、更高效，也更容易理解，而无需从头重建整座图书馆。

技术摘要：揭示深度中间表示的潜在能力

问题陈述

在大规模数据集上预训练的基础模型会学习到随网络深度演变的分层表示。迁移学习中的普遍假设是语义效用随深度单调递增，从而导致仅利用最终层输出进行下游任务的标准做法。然而，最近的实证分析挑战了这一观点，证明中间层在下游任务中的表现往往优于最终表示，提升幅度可达 10%。这种现象产生的原因是最终层可能过度特化于预训练目标（例如下一词元预测），或遭受表示崩溃。此外，任务相关信息在各层之间呈非单调分布，这意味着对层进行朴素聚合或简单加权无法恢复最优的任务特定子空间。核心问题在于如何系统地识别并融合编码任务判别结构的具体中间层子集，同时不产生过高的计算成本。

方法论

作者提出了一个包含两个耦合组件的统一框架：逐层最优嵌入选择（LOES）和几何正则化（GeoReg）。

1. 逐层最优嵌入选择（LOES）

LOES 是一种构建性谱框架，旨在通过迭代选择非冗余层来逼近任务最优子空间。它将层选择表述为受正交性和各向同性约束的岭残差优化问题。该算法分为两个阶段：

初始化：通过拟合针对原始目标的岭探针并最小化结合拟合损失与各向同性项的得分，来选择第一层。
迭代选择：给定当前已选层集合 $S$ ，将候选层相对于 $S$ 的张成空间进行正交化，以隔离边际解释力。每个候选层使用复合目标函数（公式 7）进行评分：
$\text{Score}(\ell) = \text{Loss}_\ell + \alpha(1 - \text{Iso}(X_\ell)) + \gamma \text{Red}_\ell - \eta \text{Tri}(\tilde{X}_\ell)$
其中：
- $\text{Loss}_\ell$ ：岭探针在正交化残差上的均方误差。
- $\text{Iso}(X_\ell)$ ：源自经验协方差特征值的各向同性得分，旨在促进条件良好的嵌入。
- $\text{Red}_\ell$ ：冗余项，衡量候选层与已选层之间的全局对齐程度。
- $\text{Tri}(\tilde{X}_\ell)$ ：用于分类的可选项，通过估计类别质心的平均三角形面积来鼓励高体积单纯形结构。
选择得分最小的层，针对原始目标重新拟合，并加入集成中。此过程重复直至达到预算 $K$ 。

2. 几何正则化（GeoReg）

为了防止在微调过程中有利几何属性（如各向同性和类间分离）的退化，作者引入了 GeoReg。该辅助损失应用于下游对融合多层嵌入的适应过程中。它对嵌入协方差中的谱不平衡进行惩罚（鼓励特征值均匀分布），并对类质心张成低体积的配置（表明发生崩溃）进行惩罚。与预训练正则化器（如 VICReg）不同，GeoReg 专门在迁移阶段运行，以保护由 LOES 识别的几何结构免受竞争性任务梯度的影响。

主要贡献

实证证明：论文证明下游任务的最优表示很少仅仅是最终层，而是由中间层子集形成的任务特定子空间。
LOES 算法：一种谱算法，通过在几何约束（各向同性和正交性）下最小化残差误差来识别最优层组合。它通过显式构建具有高有效秩和低各向异性的子空间，性能优于可学习的加权基线。
可解释性视角：通过分析层选择偏好，该方法揭示了不同基础模型在何处编码特定的语义或结构属性，表明预训练范式（例如对比学习与掩码重建）系统地影响了信息分布。
GeoReg：一种损失函数，提高了微调设置中的稳定性，缓解了大规模模型中常见的特征崩溃现象。
可扩展性：该方法显示出的性能提升随模型深度增加而扩展，且与模态无关，适用于视觉、语言、语音及多模态架构。

结果

作者在多样化的架构（DINOv2、CLIP、BERT、ModernBERT、Wav2Vec 2.0）和数据集（ImageNet、MTEB 基准、ASVspoof 等）上评估了 LOES。

性能提升：LOES 始终优于标准的最后层迁移和可学习加权基线。在更深的模型和多样化的预训练机制中，提升尤为显著。例如，在 ModernBERT 上，LOES 将 MTOP 任务的准确率从 78.07% 提升至 94.48%，而 BERT-large 仅从 95.32% modestly 提升至 97.81%。
预训练影响：在大型多样化语料库上预训练的模型（如 CLIP、DINOv2）倾向于在早期至中期层分布任务相关信息，而在较窄分布上训练的模型（如 MAE、在 ImageNet 上训练的 ViT）则将判别特征集中在较深层。
跨语言与跨模态：LOES 为代表性不足的语言提供了显著收益（例如乌尔都语提升 +10.9%），并能有效适应语音任务（例如，欺骗检测与情感识别需要不同的层深度）。
效率：该方法引入的计算开销极小（通常墙钟时间增加<1%），参数量增加也极小（<1%），因为它依赖于在小规模校准集上进行闭式岭回归。
对比：LOES 优于对层子集的穷举搜索（以部分成本恢复近优解）和贪婪选择基线。

意义与主张

论文主张，逐层嵌入几何并非偶然，而是深度模型表示和迁移知识的核心。通过超越语义效用单调递增的假设，该工作提供了有力证据，表明有效的迁移取决于识别哪些层编码了任务判别结构，以及它们的嵌入在几何上是如何组织的。

作者将 LOES 定位为不仅仅是性能提升工具，更是可解释性工具，提供了关于语义因素如何在各层分布的结构化视图。他们声称，随着基础模型的规模扩大和多样化，原则性的层选择变得日益重要，特别是在最终层单独无法充分捕获任务相关信息的低资源和代表性不足的领域。该工作表明，中间表示的几何结构是高效、透明模型适应的关键但未被充分利用的资源。