🤖 machine learning

Scaling Pretrained Representations Enables Label-Free Out-of-Distribution Detection Without Fine-Tuning

本文表明，通过揭示冻结模型内在编码了足够的几何结构，使得随着表征质量的提升，局部检测器与全局检测器之间的性能差距逐渐消失，从而证明扩展预训练表征能够在无需微调的情况下实现准确且无标签的分布外检测。

原作者： Brett Barkley, Preston Culbertson, David Fridovich-Keil

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Brett Barkley, Preston Culbertson, David Fridovich-Keil

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心难题：“过度自信的专家”

想象你有一位才华横溢的专家，他研究过成千上万张猫和狗的照片。如果你给他看一张猫的照片，他会以 100% 的自信说：“那是猫！”但如果你给他看一张烤面包机的照片，他可能依然会以同样的自信说：“那是一只非常奇怪的猫！”

在人工智能领域，这被称为分布外（OOD）问题。深度学习模型非常擅长识别它们以前见过的东西，但极不擅长意识到某些事物是完全陌生或怪异的。它们没有“停下来思考”的按钮；它们只是猜测，而且往往猜错。

旧方法：聘请新专家

过去，为了解决这个问题，研究人员认为需要做两件事：

给模型打标签：确切地告诉它每张图片是什么（例如，“这是猫”，“这是狗”）。
微调它：专门训练模型来识别怪异的东西，本质上是为每一项新工作聘请一位新专家。

这种方法既缓慢又昂贵，而且需要大量往往不存在的数据（例如带有标签的“怪异”输入示例）。

新发现：“冻结”的模型已经足够聪明

这篇论文提出了一个简单的问题：我们真的需要重新训练模型吗？

作者测试了现代预训练 AI 模型（如用于图像的 DINO 和用于文本的 Qwen），这些模型是“冻结”的。这意味着它们已经训练完毕，我们不允许改变其内部“大脑”。他们只是利用模型在查看数据时生成的“思想”（表征）。

他们发现，这些冻结的模型内部已经拥有一个隐藏的“几何地图”。即使没有被告知什么是“怪异”，模型组织其思想的方式也会自然地将正常事物与怪异事物区分开来。

两种检测器：“全局地图”与“局部侦察兵”

为了验证这一点，作者使用了两种不同的工具来观察模型的“思想”：

全局地图（Mahalanobis）：想象从无人机上俯瞰人群。你围绕“正常”人群画一个大圈。如果某人远远在这个圈外，他就是怪异的。这种方法着眼于大局和数据整体的形状。
局部侦察兵（ReSCOPED）：想象一名侦察兵穿过人群，检查地面的纹理和每个人面部的具体细节。这种方法使用“扩散”过程（将其想象成慢慢擦拭一扇脏窗户）来观察细节看起来是“典型”还是“非典型”。

主要发现：越大越好，越简单越够用

作者在 59 种不同的任务组合（视觉和语言）及模型规模上测试了这些工具。他们的发现如下：

小模型很挑剔：当 AI 模型较小或不够聪明时，“全局地图”和“局部侦察兵”会意见不一。有时地图是对的；有时侦察兵是对的。你必须猜测针对特定工作该使用哪种工具。
大模型很一致：随着模型变得更大、更聪明（规模扩大），两种工具在识别怪异事物方面都变得极其出色。
差距消失：在最大、最先进的模型中，使用哪种工具并不重要。“全局地图”和“局部侦察兵”的表现几乎完美。模型“思想”中的“怪异”如此清晰可见，以至于最简单的工具也能发现它。

“甜蜜点”类比

论文还发现了“局部侦察兵”（ReSCOPED）工作方式中的一个“甜蜜点”。
想象你正试图在嘈杂的房间里听清特定的声音。

如果你把音量调得太高（噪音太多），你会听到一切，却分不清什么重要。
如果你把音量调得太低（噪音太少），你会错过细节。
作者发现，存在一个完美的中等音量，此时“怪异”信号变得清晰。令人惊讶的是，无论你是在看图片还是阅读文本，这个“完美音量”都是一样的。这是现代 AI 的通用设置。

实际应用：“守门人”

由于这些模型已经足够聪明，可以在不重新训练的情况下识别怪异事物，作者展示了如何将其用作守门人。

想象一个聊天机器人。在聊天机器人开始撰写长篇回答之前，这个“守门人”会检查用户的问题。

如果问题看起来正常，守门人说：“继续。”
如果问题看起来怪异或危险，守门人说：“停止！不要回答这个问题。”

最酷的是，这个守门人速度极快。它仅增加约 5 毫秒（0.005 秒）的延迟。它不需要重新训练聊天机器人或请求标签；它只是利用聊天机器人自己的“思想”来做决定。

总结

旧观念：你需要重新训练模型并使用复杂的工具来捕捉怪异输入。
新发现：现代、大型、冻结的模型在其结构中已经内置了“怪异”检测能力。
结果：你可以使用简单工具检测怪异输入，而无需任何额外训练。随着模型变大，工具的选择变得不再重要，因为信号变得如此清晰。
优势：这使得 AI 模型能够开箱即用，进行快速、高效的安全检查。

技术摘要：扩展预训练表示可实现无需微调的无标签分布外检测

问题陈述

深度学习模型经常无法在输入超出其训练数据流形时发出信号，导致在分布偏移下产生不可靠的预测。虽然无监督分布外（OOD）检测因其任务无关性而具有价值，但传统方法面临重大障碍：基于似然的估计器通常给 OOD 样本分配的比分布内（ID）数据更高的概率，而基于重构的方法对瓶颈调参非常敏感。

该领域的一个普遍假设是，有效的 OOD 检测需要条件类建模（依赖带标签的 ID 数据）或对表示进行监督微调以暴露与 OOD 相关的结构。此外，先前的工作表明，检测器的排名在不同数据集间不一致，没有单一方法能普遍优于其他方法。本文挑战了标签和微调的必要性，提出疑问：现代冻结的预训练表示是否本身已编码了足够的几何结构，以实现准确、无标签的 OOD 检测。

方法论

作者在涵盖视觉（DINO、DINOv3）和语言（BERT、Qwen3）模态的 59 个骨干网络 - 任务配对中评估了这一假设。他们比较了两种在冻结潜在表示上运行的互补性无标签检测器：

全局马氏估计器：经典马氏距离的无标签变体。该方法不拟合条件类高斯分布（这需要标签），而是将单个全局高斯模型拟合到无标签的分布内潜在表示上。它计算测试点与全局均值的距离，并由全局协方差矩阵进行归一化。
ReSCOPED（局部得分 - 曲率估计器）：一种在局部层面运行的轻量级、基于扩散的典型性估计器。ReSCOPED 在 SCOPED 的基础上，在冻结表示上训练了一个小型扩散观测器（约 800 万参数）。它利用得分 - 曲率比率（ $T(z) = \|s_\theta(z, \sigma)\|^2 / \kappa(z)$ ）评估局部几何结构，其中 $s_\theta$ 是扩散得分， $\kappa$ 是得分雅可比矩阵的迹（曲率）。这作为一个多尺度滤波器，暴露那些可能无法通过全局访问的 OOD 信号。

这两种方法均直接应用于冻结的骨干网络，无需微调，仅使用无标签的分布内数据进行拟合。

主要结果

1. 无需微调的高性能

现代冻结表示实现了强大的无标签 OOD 检测。在视觉基准测试中（例如 CIFAR-10 与 CIFAR-100），使用冻结 DINOv3-L 骨干网络的 ReSCOPED 达到了 94.3% 的 AUROC，与需要全参数监督微调的模型性能非常接近。同样，在语言任务中，扩展模型（Qwen3）在无标签的情况下于 CLINC150 和 SST 基准测试中实现了高 AUROC。

2. “扩展机制”效应

论文识别出关于检测器选择的机制依赖模式：

弱/小表示：在较小或结构较少的骨干网络中（例如 BERT、DINOv3-S），检测器性能依赖于数据集。例如，ReSCOPED 在 CLINC150 上优于马氏估计器，而马氏估计器在 SST 上优于 ReSCOPED。没有单一方法在所有情况下都是最佳选择。
强/扩展表示：随着骨干网络规模的增加（例如 DINOv3-L、Qwen3-4B），简单的全局马氏检测器与复杂的局部 ReSCOPED 检测器之间的性能差距变得微不足道。两种方法都收敛到高性能，这表明扩展使得 OOD 相关的几何结构对全局和局部探针均可访问。

3. 去噪尺度上的经验规律

在视觉和语言的 59 种配置中，作者观察到 ReSCOPED 在特定的中间去噪噪声水平（ $t \approx 5$ ）下存在一致的“性能平台”。这表明预训练 Transformer 表示中与 OOD 相关的结构在稳定且共享的尺度上被暴露出来，无论具体的模态或训练目标如何。

4. 实际效率

所提出的方法实现了高效的部署。ReSCOPED 仅增加极低的延迟（Qwen3-4B 在 NVIDIA 4090 上约为 5.4 毫秒），因为它只需要一次通过冻结编码器的前向传播、一次通过轻量级观测器的前向传播以及一次雅可比 - 向量乘积。这使得在大型语言模型（LLM）推理的预填充（prefill）阶段进行实时“门控”成为可能，在自回归解码开始之前拒绝分布外提示。

主要贡献

无标签可行性：证明了现代预训练的视觉和语言表示能够实现强大的无标签 OOD 检测，无需微调或类别标签，利用了局部（ReSCOPED）和全局（马氏）几何视角。
依赖规模的检测器选择：表明骨干网络的家族和规模决定了检测器的有效性。在较弱的骨干网络中，检测器的选择至关重要且依赖于数据集；而在扩展的骨干网络（DINOv3、Qwen3）中，简单的全局方法与富有表现力的局部方法之间的差距消失。
共享粒度机制：识别出跨模态一致的去噪尺度平台，表明与 OOD 相关的结构在 Transformer 表示中的共享尺度上变得可访问。
部署路径：展示了在冻结模型上部署 OOD 检测的实用、低延迟路径，包括针对 LLM 的实时预填充阶段门控。

意义与主张

本文认为，冻结预训练骨干网络所暴露的几何结构是 OOD 检测性能的主要驱动因素，而非检测器的具体选择或监督适应的需求。随着基础模型的扩展，它们自然地以简单全局统计量和复杂局部曲率度量均可访问的形式暴露与 OOD 相关的偏差。

因此，作者主张，对于扩展的基础模型，选择特定检测器的重要性降低。重点从设计复杂的检测器转向理解冻结表示何时已经暴露了必要的几何结构。这一发现减少了 OOD 检测的计算和数据负担，使得能够直接在冻结模型上进行高效部署，而无需特定任务的微调或带标签的异常数据。

局限性：作者指出，虽然该研究涵盖了广泛的骨干网络和数据集，但并未穷尽所有基础模型或部署机制。比较仅限于两种互补的无标签方法，未来的工作需要验证这种收敛性是否适用于其他检测器家族，或在当前表示尚未达到性能饱和的更困难分布偏移情况下是否成立。