🤖 machine learning

A Comparative Study of Label-free Representation Quality Metrics in Deep Learning

本文对 260 个视觉模型的无标签表示质量指标进行了全面的对比研究，确定了本征维度是最可靠的预测因子，同时证明了所有指标的有效性都受到架构类别和训练目标的显著调节。

原作者： Daniel Richards Arputharaj, Daniel Jönsson, Gabriel Eilertsen

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Richards Arputharaj, Daniel Jönsson, Gabriel Eilertsen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的广袤版图中，一场静悄悄的革命已经发生。多年来，最强大的计算机视觉系统都是通过喂给它们数百万张带标签的图像来构建的，通过向它们展示一千张写有“猫”字下方的猫的照片，来教会它们识别猫。但一种更新、更高效的方法已经出现，在这种方法中，模型通过观察没有任何标签的图像来学习理解世界。这些通常被称为自监督（self-supervised）的系统，通过发现数据本身的模式、相似性和差异来进行自我教学。其结果是产生了一个拥有数千个预训练模型的库，随时可以被下载并作为新应用的“眼睛”。然而，这种丰富性也创造了一个新问题：开发者如何选择合适的模型？在没有标签进行测试，也没有时间对每个候选模型进行昂贵的训练实验的情况下，迫切需要一种快速、可靠的方法，仅通过观察其输出就能判断模型内部理解质量的方法。

这就是瑞典林雪平大学（Linköping University）的一个研究团队所应对的挑战，他们致力于测试一系列旨在衡量这些无标签模型质量的工具。他们检查了二百六十个不同的视觉模型，涵盖了从标准的图像分类器到使用先进自监督技术训练的模型，并在六个不同的数据集上进行了测试，这些数据集涵盖了从通用物体（如汽车和动物）到细粒度细节（如特定花卉品种和卫星图像场景）的所有内容。研究人员想要知道，现有的用于评判这些模型的数学捷径是否真的有效，还是仅仅在提供虚假的信心。他们将现有的工具分为三类：观察数据整体分布的工具、检查点与点之间关系的工具，以及测量数据所形成的形状复杂度的工具。通过运行受控实验并将其结果与实际任务性能进行对比，他们发现，虽然某些工具在特定情况下很有用，但有一种特定的度量标准脱颖而出，成为了面向公众最值得信赖的指南。

研究人员首先对衡量模型内部状态的各种无标签方法进行了分类。一些方法（他们称之为谱度量，spectral metrics）分析能量或方差在模型内部维度上的分布，本质上是在检查模型是否充分利用了其容量，或者是否坍缩到了几个狭窄的方向。另一些被称为关系度量（relational metrics）的方法，通过观察不同数据点之间的距离，来查看模型是否将其组织成了有用的结构。第三组是基于流形的度量（manifold-based metrics），旨在估算数据所占据形状的真实复杂度或维度。团队首先在实验室生成的合成数据上测试了这些工具，通过仔细控制数据的形状来观察每种工具的反应。他们发现，谱度量工具对数据的特定形状高度敏感；当数据完全均匀时，某些工具会跳向高值，而当数据集中时，另一些则会激增。这表明，没有任何一种单一的谱度量工具可以被信任为能在所有可能场景下提供一致的读数，因为它们测量的往往是完全不同的东西。

当研究人员转向现实世界的模型时，情况变得更加微妙。他们根据模型在应用到新任务时的实际准确率来评估这些工具。结果显示，这些工具的可靠性并非固定属性，而是很大程度上取决于模型的类型及其训练方式。例如，旨在衡量数据分布均匀程度的工具对于使用自监督方法训练的模型效果很好，因为这类方法明确要求模型扩展其表示以避免坍缩。然而，当应用于使用传统有标签数据训练的模型时，这些相同的工具就完全失效了，因为传统训练的目标通常是将相似项紧密聚类在一起。同样，衡量模型背后数学系统稳定性的工具也被发现具有误导性，因为它们的得分往往只是对数学求解器（solver）的反映，而非模型本身的质量。

在这些变数之中，一个指标脱颖而出，成为清晰且一致的领导者：内在维度（intrinsic dimensionality）。这一度量估算了描述数据所需的最小参数数量，本质上是在询问数据实际存在需要多少个“方向”。研究人员发现，这个工具是几乎所有场景下预测成功的最可靠指标。当内在维度较低时，模型在下游任务中的表现往往更好。无论该模型是标准的卷积网络还是现代的 Transformer，也无论它是用标签还是无标签训练的，这一规律都成立。唯一的例外是当任务偏离了识别特定物体（如识别特定场景或遥感图像）时，此时数据形状与任务之间的关系变得不再那么直接。

这项研究还为任何试图选择模型的人提供了一个关键教训：语境至关重要。对于某一类模型而言完美的工具，对另一类模型可能毫无用处。例如，如果一个指标暗示由于具有较高的“有效秩”（effective rank）而具有高质量，但如果模型的架构不同，这个结论可能完全错误。研究人员证明，按架构类别或训练目标对模型进行分组对于获得清晰信号至关重要。如果没有这种仔细的分类，结果往往是矛盾的，不同的工具可能会指向相反的方向。团队总结道，虽然无标签评估领域前景广阔，但它需要一种比单纯挑选最高数值更成熟的方法。最稳健的前进路径是依赖于内在维度这一度量，因为它能持续追踪表示的质量，同时对其他指标保持谨慎，并理解它们究竟是为哪些特定条件设计的。

最终，这项工作为在日益增长的预训练模型森林中导航提供了一张更清晰的地图。它表明，寻找单一、通用的模型质量“评分”可能非常复杂，因为不同的模型以根本不同的方式组织其知识。相反，衡量模型潜力的最可靠指标是其将信息压缩进低维、高效结构的能力。对于开发者和研究人员而言，这意味着当无法享受在最终任务上进行测试的便利时，观察内在维度是做出正确选择的最佳机会。这项研究并不声称已经解决了模型选择的问题，但它提供了一个急需的过滤器，将那些提供真正洞察的工具与那些仅仅反映模型训练或架构特性的工具区分开来。

技术摘要：深度学习中无标签表示质量指标的比较研究

问题陈述

预训练深度神经网络（特别是通过自监督学习 (SSL) 和 HuggingFace 等公共仓库提供的模型）的激增，为在无需高昂计算开销的情况下，为下游任务选择最优特征提取器带来了挑战。传统上，模型的适用性是通过依赖标签的方法进行评估的，例如线性探测（linear probing）、K-最近邻（KNN）或全量微调。然而，随着可用模型数量的增长，穷举搜索变得在计算上难以承受。

这促使了**无标签指标（label-free metrics）**的发展，这类指标仅基于特征空间的几何结构（如协方差结构、成对关系或流形几何）来评估表示质量，而无需访问目标标签。虽然已有多种指标被提出（例如 RankMe、 $\alpha$ -ReQ、固有维度 (Intrinsic Dimension)），但现有的评估往往仅针对特定的架构或训练配置进行验证。因此，目前尚不清楚哪些指标在不同架构、训练目标（监督学习 vs. 自监督学习）及数据集之间具有可靠性，或者这些指标在对谱形状（spectral shapes）和表示维度（representation dimensions）的敏感度方面有何差异。

研究方法

作者对涉及 260 个视觉模型和 6 个数据集（涵盖通用物体分类、细粒度分类、场景识别和地理空间任务）进行了全面的比较研究。该研究方法分为三个主要阶段：

分类与统一：
论文将现有的无标签指标根据其构建方式分为三类：
- 谱指标（Spectral Metrics）： 基于表示协方差矩阵的特征值或表示矩阵的奇异值（例如 $\alpha$ -ReQ、RankMe、NE Sum、条件数 $\kappa$ ）。
- 关系指标（Relational Metrics）： 基于样本间的成对关系（例如 Self-Cluster、扩散谱熵 (DSE)）。
- 基于流形的指标（Manifold-based Metrics）： 基于表示流形的局部几何结构和维度（例如固有维度 (ID)）。
  作者在可能的情况下对这些指标进行了重新表述，以强调其理论联系并统一其框架。
合成敏感性分析：
为了将架构和数据集的影响与谱属性解耦，作者生成了遵循幂律衰减（ $\lambda_i \propto i^{-\alpha}$ ）的合成特征谱。他们系统地改变衰减指数 $\alpha$ 和维度 $d$ ，以表征谱指标如何响应谱形状和表示维度的变化。
经验相关性研究：
作者评估了各指标与下游任务准确率之间的相关性。
- 下游代理（Downstream Proxies）： 他们使用闭式解普通最小二乘法（OLS）线性探测和 KNN 分类器（ $k=1$ ）作为性能迁移的代理。
- 分层分析： 结果按架构类别（ViT、ResNet、ConvNeXT、RegNet）和训练目标（监督学习 vs. 自监督学习）进行分层。
- 统计严谨性： 使用聚类稳健自助法（cluster-robust bootstrap procedure）计算 Spearman 秩相关系数，以处理模型族内部的依赖关系，并使用 Benjamini–Hochberg 方法进行多重比较校正。

核心贡献

统一的分类法： 论文建立了一个将无标签指标分为谱、关系和基于流形家族的分类法，提供了重新表述的定义，以阐明其相似点与差异（例如，展示了 Self-Cluster 与 DSE 之间的解析联系）。
敏感性表征： 通过受控的合成实验，作者证明了谱指标对谱形状 ( $\alpha$ ) 和维度 ( $d$ ) 表现出截然不同的敏感性。例如，RankMe 和 NE Sum 在均匀谱 ( $\alpha=0$ ) 时达到最大值，而条件数 $\kappa$ 在谱极端情况下最为敏感。
系统性的可靠性评估： 该研究通过对 260 个模型的大规模经验评估，揭示了无标签指标的可靠性深受架构类别和训练目标的影响，而这些因素在聚合分析中往往被掩盖。

核心结果

固有维度 (ID) 是最可靠的预测指标： 在所有考虑的指标中，ID（特别是 TwoNN 估计量）在不同架构和训练目标下，与测试准确率表现出最一致的负相关性。较低的固有维度通常与更好的泛化能力相关。然而，对于缺乏清晰粗粒度物体类别结构的任务（如场景识别和遥感任务），其可靠性会下降。
架构与目标的依赖性：
- 谱指标： 像 RankMe 和 NE Sum 这样的指标并不具备统一的可靠性。RankMe 在按架构分组时显示出强相关性，但在整体聚合时相关性较弱。NE Sum 是 SSL 模型（与特征白化相关）的可靠预测器，但对于监督学习模型表现较差。
- 关系指标： Self-Cluster 和 DSE 高度相关（呈负相关），并且是 SSL 模型的可靠预测器，这反映了 SSL 目标所促进的表示均匀分布。然而，它们对于监督学习模型以及特定架构（如 ViT，其数值常坍缩至极端值）而言基本没有信息量。
- 条件数 ( $\kappa$ )： 其与 OLS 准确率的相关性很大程度上是线性求解器数值调节（numerical conditioning）的产物，而非真正的表示质量度量，因为当使用 KNN 探测器时，该相关性会消失。
指标不稳定性： 研究发现 $\alpha$ -ReQ 是不稳定的，其结果高度依赖于特征谱的拟合范围，这反驳了“ $\alpha \approx 1$ 普遍代表高质量表示”的假设。

意义与主张

本文声称提供了一个更清晰的理解，即无标签指标测量了什么、何时可靠以及如何在实践中解释它们。其主要意义在于发现：没有任何单一的无标签指标可以作为所有配置下下游性能的通用代理。

作者得出结论：

上下文至关重要： 指标的可靠性受模型架构和训练目标的强烈影响。在没有谨慎处理的情况下，不应将不同架构类别和训练范式的指标用于联合排名。
ID 作为鲁棒基准： 固有维度（ID）成为最广泛可靠的指标，尤其是在物体分类任务中，尽管它并非对所有任务类型都完美。
现有指标的局限性： 谱指标和关系指标捕捉了特定的几何属性（如方差分布或均匀性），这些属性仅在特定的训练机制（如 SSL 诱导的白化）下才具有指示意义。
未来方向： 作者建议结合互补的指标（如 CLID 中的做法）可能是一个有前景的方向，但强调必须谨慎使用当前的无标签指标，并理解其适用的特定范畴。

本研究并非提出一种新指标，而是提供了一个解释现有指标的框架，并警告不要在不考虑底层模型配置的情况下，盲目将这些指标作为衡量模型质量的独立指标。