🤖 machine learning

Vendi Novelty Scores for Out-of-Distribution Detection

本文介绍了 Vendi 新颖性得分（VNS），这是一种线性时间、非参数的分布外检测器，它利用多样性指标在各种基准测试中实现了最先进的性能，同时即使在训练数据极少的情况下仍保持有效。

原作者： Amey P. Pasarkar, Adji Bousso Dieng

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Amey P. Pasarkar, Adji Bousso Dieng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你在一座博物馆的入口处安排了一位非常聪明、训练有素的保安。这位保安花了数年时间研究过成千上万幅文艺复兴时期的画作。他们能立刻告诉你，一幅新出现的画作是伦勃朗的真迹还是赝品。但如果有人拿着一张烤面包机、卡通猫或现代抽象雕塑的图片走过来，会发生什么呢？

这位保安可能仍然会说：“我有 99% 的把握这是一幅画！”因为他们对自己的训练过于自信，尽管他们完全错了。在人工智能领域，这被称为分布外（OOD）问题。人工智能看到了它从未见过的东西，但它并不知道自已感到困惑。

这篇论文介绍了一种名为**文迪新颖度分数（Vendi Novelty Score, VNS）**的新工具，旨在帮助人工智能系统意识到自己正在面对完全陌生的事物。以下是通过简单类比对其工作原理的解释。

旧方法：猜测置信度

大多数现有方法试图通过询问人工智能“你有多自信？”来检测这些“陌生人”。

缺陷：如果人工智能是在猫和狗的数据上训练的，而你给它看一个烤面包机，它可能仍然感到非常自信，因为烤面包机与猫的耳朵共享一些视觉特征（如边缘或颜色）。这就像一位保安习惯了看到红色外套，以至于认为红色的消防栓也是人。

新方法：衡量“群体多样性”

这篇论文的作者决定不再问“你有多自信？”，而是开始问：“这个新来的人对群体有多大改变？”

他们使用了一个名为文迪分数（Vendi Score）的概念，这本质上是一种衡量多样性的复杂方式。

类比：派对宾客名单

想象人工智能拥有一份它见过所有人的记忆（即训练数据）。

分布内（ID）群体：这些是人工智能非常熟悉的人。他们被分成了“小团体”（例如，全是红发人的群体、全是高个子人的群体等）。
测试样本：一个新来的人走了进来。

VNS 的工作原理：

局部检查（小团体）：人工智能查看新来的人可能属于的特定小团体（例如：“这个人是个红发人吗？”）。它会问：“如果我们把这个新人加入红发人群体，这个群体是变得更多样化，还是更重复了？”
- 如果这个新人是一个有着独特发型的红发人，群体就会变得更加多样化。
- 如果这个新人是一个看起来和所有人一模一样的红发人，群体就不会有多大变化。
- 转折：如果这个新人实际上是一个烤面包机（或卡通猫），将他们加入“红发人”群体就会产生一种奇怪、刺耳的混合。由于烤面包机完全不符合模式，“多样性分数”会飙升。
全局检查（整个派对）：人工智能还会观察整个派对。“如果我们把这个烤面包机加入整个房间，房间会显得混乱吗？”
- VNS 计算新样本在多大程度上破坏了数据的整体和谐。
最终分数：人工智能结合这两项检查。如果新样本让局部群体变得奇怪，并且让整个派对变得混乱，那么文迪新颖度分数就会上升。高分意味着：“嘿，这不属于这里！我们应该小心。”

为什么这很重要

该论文声称，这种方法之所以具有变革性，主要有三个原因：

1. 快速且轻量
计算多样性通常需要繁重的数学运算，耗时很长（就像检查体育场里的每一个人是否与其他每个人都不同）。

论文的窍门：他们找到了一个捷径。与其观察整个群体，他们只观察群体中“最重要”的那个人（即小团体的“主要领导者”的数学等价物）。
结果：速度极快。论文显示，其运行速度几乎与最简单的方法一样快，使其适用于实时场景（如自动驾驶汽车）。

2. 不需要完整记忆
通常，要检查某物是否为新事物，你需要记住你见过的每一个例子。这会占用大量计算机内存。

论文的主张：即使你只向 VNS 展示**1%*的训练数据，它也能发挥惊人的作用。这就像一位保安，即使只记得见过的人中的 1%，也能认出陌生人，因为他们理解的是群体的结构*，而不仅仅是面孔。

3. 普适性强
作者在许多不同类型的 AI“大脑”（架构）和许多不同类型的“博物馆”（数据集，如 CIFAR-10、CIFAR-100 和 ImageNet）上测试了这种方法。

结果：VNS 始终优于或匹配现有的最佳方法。它在识别“近 OOD"物品方面特别出色——那些看起来几乎像人工智能所知道的东西，但又不完全正确的事物（例如，一张看起来有点像狼的狗的图片）。

总结

文迪新颖度分数是一种新方法，用于告知人工智能何时超出了其能力范围。它不再仅仅询问“你确定吗？”，而是问：“这个新事物符合群体的模式吗？”

通过衡量新样本在多大程度上破坏了人工智能记忆的多样性，它可以用极少的内存和极快的速度，高精度地识别出陌生人（如在猫博物馆里的烤面包机）。这有助于通过让 AI 系统在说“我不知道这是什么，让人类来处理吧”时保持安全，从而保障 AI 系统的安全。

技术摘要：用于分布外检测的 Vendi 新颖性分数

问题陈述

现代机器学习系统在遇到分布外（OOD）输入时，往往表现出不可预测的行为，经常产生高置信度但错误的预测。这在自动驾驶、医学影像和科学发现等高 stakes 领域构成了重大风险。虽然 OOD 检测对安全性至关重要，但现有的事后方法面临局限性：

基于 Logit 的方法（例如最大 Softmax 概率、Energy 分数）忽略了分布内特征统计，降低了可靠性。
特征空间密度方法（例如马氏距离）通常依赖于对表示几何结构的限制性假设（例如高斯性、神经坍缩），而这些假设在多样化的架构中可能并不成立。
基于相似度的方法（例如 k 近邻）在推理时会产生显著的计算开销。
基于梯度的方法通常需要多次前向和反向传播，使其在延迟敏感的应用中不切实际。

因此，需要一种计算高效的事后 OOD 检测器，它不依赖于限制性分布假设，并且即使在训练数据访问有限的情况下也能有效运行。

方法论：Vendi 新颖性分数（VNS）

作者提出了Vendi 新颖性分数（VNS），这是一种基于多样性而非密度估计的事后 OOD 检测器。VNS 利用Vendi 分数（VS）——一类基于相似度的多样性度量——来量化测试样本增加了多少分布内（ID）特征集的多样性。

核心算法

类条件新颖性：
- 对于一个具有 $C$ 个类别的训练有素的分类器 $f_\theta$ ，该方法从倒数第二层提取嵌入 $h(x)$ 。
- 对于每个类别 $c$ ，根据该类别的训练嵌入计算类条件密度矩阵 $\rho_c$ 。
- 测试样本 $x$ 相对于类别 $c$ 的新颖性定义为：当 $x$ 被添加到类别集合时，2 阶 Vendi 分数（ $VS_2$ ）的对数比率增加量：
  $\Delta_c(x) = \log VS_2(\rho'_c) - \log VS_2(\rho_c)$
- 为了确保效率，作者采用了秩 1 近似。他们不使用 $\rho_c$ 的完整特征谱，而是仅利用最大特征值 $\lambda_c$ 及其对应的特征向量 $u_c$ 来近似 $VS_2$ 的变化。这将计算类条件分数的复杂度降低为每个类别 $O(D)$ 。
概率加权聚合：
- VNS 不依赖单一预测类别，而是利用模型预测的类别概率 $p(x)$ 聚合类条件新颖性分数。
- 局部 OOD 分数计算如下：
  $S_{\text{LOCAL-OOD}}(x) = \sum_{c \in T_K(x)} N_c p_c(x)^\gamma \Delta_c(x)$
  其中 $T_K(x)$ 代表前 $K$ 个预测类别， $N_c$ 是类别大小（用于缩放）， $\gamma$ 控制聚合的锐度。
全局多样性校正：
- 为了考虑全局密度变化，基于将测试样本添加到整个数据集时 $VS_\infty$ 的变化（这取决于全局密度矩阵的最大特征值）计算全局新颖性分数。
- 最终的 VNS 分数结合了局部和全局信号：
  $\text{VNS}(x) = S_{\text{LOCAL-OOD}}(x) - g \cdot S_{\text{GLOBAL-OOD}}(x)$
  其中 $g \in \{0, 1\}$ 是一个二进制系数，决定是否应用全局校正。

复杂度

时间复杂度： $O(CD) $，其中$ C $是类别数量，$ D $是嵌入维度。这在两个参数上都是线性的，使其比基于马氏距离的方法（$ O(CD^2)$）和 k-NN 方法快得多。
空间复杂度： $O(CD)$，因为它只需要存储每个类别的最大特征值和特征向量。

主要贡献

新范式： 引入了基于多样性的 OOD 检测视角，摆脱了传统的密度建模或 Logit 分析。
Vendi 新颖性分数（VNS）： 提出了一种具体算法，通过测试样本对表示多样性的影响来量化新颖性，利用 Vendi 分数的有效秩 1 近似。
混合信号集成： 结合局部（类条件）和全局新颖性信号，并以预测概率为权重，以提高鲁棒性。
数据效率： 证明了即使仅使用1% 的训练数据计算，VNS 仍能保持最先进的性能，使其能够在内存受限的环境中部署。
理论与实证验证： 为秩 1 近似提供了理论依据，并在多个数据集和架构上进行了广泛的实证验证。

实验结果

作者在标准 OOD 基准测试上评估了 VNS：CIFAR-10、CIFAR-100 和 ImageNet-1K，使用的架构包括 ResNet、ViT 和 Swin-T。

性能： VNS 在 CIFAR-10 上取得了最先进的（SOTA）性能，在 CIFAR-100 上取得了有竞争力的结果。在 ImageNet-1K 基准测试中，与平均表现第二好的算法相比，VNS 将 95% 真阳性率下的假阳性率（FPR@95）降低了13%。
鲁棒性： 与某些在 ResNet 上表现良好但在 Transformer 上性能下降的激活整形方法不同，VNS 在不同架构（ResNet、ViT、Swin-T）上表现出一致的性能。
效率： VNS 比第二准确的算法（RMDS++）快几个数量级，并且其延迟与仅基于 Logit 的方法（例如 GEN、NCI）相当。
数据稀缺性： 当仅在 1% 的 ImageNet 训练数据上训练时，VNS 实现了**88.96%**的平均 AUROC，与其在全量数据访问下的性能（88.59% AUROC）几乎相同。

意义与主张

该论文声称 VNS 为 OOD 检测提供了一种原则性、高效且稳健的解决方案。其意义在于：

避免限制性假设： 通过依赖多样性度量而非高斯密度假设，VNS 对深度学习表示中常见的几何假设违反不太敏感。
实际部署： 线性时间复杂度以及仅需最少训练数据即可运行的能力，使 VNS 适用于训练数据访问受限或延迟至关重要的现实场景。
安全性： 该方法提供了一种机制，使机器学习系统能够识别超出其能力范围的输入，从而触发更安全的响应，如放弃或升级至人工处理。

作者指出了局限性，包括需要超参数调整（他们通过自动验证集解决了这一问题）以及对余弦核的依赖。他们强调，虽然 VNS 提高了安全性，但它并不是一个完整的解决方案，而应作为涉及监控和人工监督的更广泛安全协议的一部分。