🤖 machine learning

Conditional Vendi Score: Prompt-Aware Diversity Evaluation for Generative AI Models and LLMs

本文介绍了 Conditional-Vendi 和 Conditional-RKE，这两种新颖的多样性指标能够将模型诱导的变异性从提示词诱导的影响中分离出来，从而为文本生成图像、图像描述和大型语言模型任务中的多样性评估与引导提供更准确的依据。

原作者： Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位经营着一家高科技厨房的厨师，负责接收订单（提示词）并烹饪出佳肴（图像、视频或故事）。多年来，评论家们衡量这些厨师的标准只有两点：

忠实度（Fidelity）： 菜品是否符合订单？（例如，如果你要求一份“辣塔可”，它看起来像不像塔可？）
无条件多样性（Unconditional Variety）： 如果你不下任何订单，只是让厨师随性发挥，他能做出多少种不同的菜肴？

但这里缺失了拼图的关键一环：厨师在订单之上又增加了多少多样性？

如果你要求一个“红色的车”，厨师是只会做一个普通的红色轿车，还是会让你惊喜地呈现出一辆红色敞篷车、红色跑车、红色卡车和红色复古轿车？现有的工具无法区分“厨师很乏味”和“顾客给出了非常具体的订单”之间的区别。

这篇论文介绍了一种衡量这种特定创造力的新方法，称为 条件 Vendi 分数（Conditional Vendi Score） 和 条件 RKE（Conditional RKE）。

核心问题：“提示词” vs. “厨师”

作者解释说，目前的各种多样性评分混淆了两种不同的多样性来源：

提示词诱导的多样性（Prompt-Induced Diversity）： 这是由顾客改变订单而产生的多样性。如果你先要一只“狗”，再要一只“猫”，最后要一只“鸟”，输出结果自然会变化。这并不是厨师的创造力；这只是你在更换菜单。
模型诱导的多样性（Model-Induced Diversity）： 这是当给予同一个订单时，厨师所增加的多样性。如果你十次都要求一只“狗”，厨师是做出十个不同品种的狗，还是十个一模一样的副本？

类比：
想象一个照相亭。

场景 A： 你先后要求拍一张“狗”、一张“猫”和一张“马”。照相亭给了你三张截然不同的照片。旧的评分标准会说：“哇，这个照相亭的多样性真高！”
场景 B： 你连续十次要求拍一张“狗”。照相亭给了你十个不同品种的狗。旧的评分标准可能会说：“嗯，多样性一般，”因为与场景 A 中的“马”相比，这些照片看起来都只是“狗”。

作者认为，场景 B 才是 AI 真正的魔力所在。他们想要衡量的是：即使在提示词保持不变的情况下，AI 能产生多少多样性。

解决方案：一种“感知提示词”的分数

论文提出了两种新分数：Conditional-Vendi 和 Conditional-RKE。

把这些分数想象成一个特殊的过滤器，它忽略了“提示词诱导”的噪音，只测量“模型诱导”的信号。

运作方式： 数学计算不再是将所有图片放在一起观察，而是观察每个特定提示词类别内部图片的差异。它本质上是在问：“如果我们把所有的‘狗’的照片归为一类，它们彼此之间有多大不同？如果我们把所有的‘猫’的照片归为一类，它们又有多大不同？”然后它会对这些差异进行平均。
结果： 这个分数正确地识别出，场景 B 中的厨师（做出 10 种不同的狗）比场景 A 中的厨师（做出 1 只狗、1 只猫、1 匹马）更有创意，因为厨师 B 在满足特定需求的同时，加入了自己的风格。

“减速带”与“捷径”

计算这种新分数在数学上非常繁重。作者发现，对于非常大的数据集（例如 25,000 张图像），计算会陷入“维度诅咒”——就像试图通过数清海滩上每一粒沙子来测量海滩的大小一样。这既耗时又需要大量数据才能保证准确。

解决方法： 他们引入了一个 “截断”（Truncated） 版本。

类比： 与其数清每一粒沙子，不如只数出最大的 10,000 粒。你会发现，这些顶端的颗粒已经代表了海滩 99% 的“重量”和多样性。
益处： 这种“截断式 Conditional-Vendi”速度快，精度足以满足现实应用，并且不会在处理大规模数据集时卡壳。

实测验证

作者在真实的 AI 模型上测试了这些新分数：

文本生成图像（如 DALL-E 3 或 Stable Diffusion）： 他们展示了当提示词很模糊（例如“一种动物”）时，AI 会产生大量的动物种类，分数随之上升。而当提示词很具体（例如“一只金毛寻回犬”）时，分数保持较低，因为 AI 受限于具体的请求。这证明了该分数衡量的是 AI 内部的自由度，而非仅仅是提示词本身的多样性。
文本生成视频与大语言模型（LLM）： 他们将该方法应用于视频生成器和语言模型（如 Llama）。他们发现，随着他们增加语言模型的“温度”（随机性），分数也随之上升，准确地表明了故事变得更加多样化。
引导 AI： 他们不仅使用这个分数来评判 AI，还用它来引导 AI。通过告诉 AI，“在生成过程中尝试最大化这个分数”，他们可以迫使 AI 在不丢失与文本提示词关联性的前提下，生成更多样化的图像。

总结

简而言之，这篇论文给了我们一把新的尺子。以前，我们只能衡量 AI 遵循指令的能力，或者在不受控时的随机程度。现在，我们有了一把尺子，可以衡量 AI 在遵循指令的同时展现出的创造力。它将用户提示词带来的噪音与机器想象力的真实信号区分开来。

技术摘要：条件 Vendi 分数 (Conditional Vendi Score)

问题陈述

生成式 AI 模型，特别是受文本提示词引导的模型（如 LLM、文本生成图像和文本生成视频模型），主要针对保真度（与提示词的一致性）和质量进行评估。虽然多样性对于无条件生成模型而言是一个关键指标，但现有的多样性度量方法（如 Vendi 分数和 Rényi 核熵 (RKE)）并不适用于提示词引导的系统。

目前的度量标准将一组生成样本中的所有变异性视为单一来源。它们无法区分以下两种情况：

提示词诱导的多样性 (Prompt-induced diversity)： 源于输入提示词差异的变异性（例如，生成“狗”与生成“猫”之间的差异）。
模型诱导的多样性 (Model-induced diversity)： 源于模型在给定相似或相同提示词时的内部随机性（例如，针对同一个“狗”的提示词，生成不同品种的狗）。

这种混淆会导致多样性比较产生偏差。一个模型可能仅仅因为是在广泛的提示词集上进行测试而显得具有多样性，从而掩盖了其内部变异性不足的问题；反之亦然。本文旨在解决对具备提示词感知能力的多样性评估的需求，以隔离模型诱导的变异性。

方法论

作者提出了 Conditional-Vendi 和 Conditional-RKE，这些多样性分数源自正定半定 (PSD) 核矩阵的条件熵。

理论框架

该方法将 Vendi（冯·诺依曼熵）和 RKE（二阶 Rényi 熵）的定义扩展到了条件设定。给定一组提示词-输出对 $\{(t_i, x_i)\}_{i=1}^n$ ，其中 $T$ 代表提示词， $X$ 代表输出：

核矩阵： 该方法构建归一化的核矩阵 $K_X$ （针对输出）和 $K_T$ （针对提示词）。
条件熵： 它使用 Hadamard（逐元素）积定义输出核在给定提示词核下的条件熵：
$H(X|T) = H(K_X \odot K_T) - H(K_T)$
其中 $H(\cdot)$ 表示矩阵熵（Vendi 使用冯·诺依曼熵，RKE 使用二阶 Rényi 熵）。
分解： 总多样性分数可以分解为：
$\text{Vendi}(X) = \text{Conditional-Vendi}(X|T) \times \text{Information-Vendi}(X; T)$
在此，Conditional-Vendi 隔离了给定提示词下的输出多样性（即模型诱导的多样性），而 Information-Vendi 则捕捉了提示词与输出之间的互信息。

可扩展性与收敛性

Conditional-RKE： 作者证明了 Conditional-RKE 具有 $O(1/\sqrt{n})$ 的收敛速率，并且计算效率高（ $O(n^2)$ ），因为它依赖于 Frobenius 范数，避免了完整的特征值分解。它不受维度依赖的影响。
Conditional-Vendi： 直接估计 Conditional-Vendi 会受到“维度诅咒”的影响，其收敛速率取决于文本特征维度与图像特征维度的乘积 ( $d_X d_T$ )。为了解决这一问题，作者引入了截断谱近似 (truncated-spectrum approximation)。通过保留前 $t$ 个特征值并进行重新归一化，他们实现了一个可扩展的估计器，其收敛速率为 $\tilde{O}(\sqrt{t/n})$ ，且独立于特征维度。

应用：引导 (Guidance)

本文将这些度量扩展到扩散模型的引导中。通过在采样过程中（通过潜空间中的梯度上升）最大化截断后的 Conditional-Vendi 分数，可以鼓励模型生成相对于提示词分布具有多样性的输出，而不仅仅是在环境空间中具有多样性。

核心贡献

提示词感知度量： 引入了 Conditional-Vendi 和 Conditional-RKE，作为首个专门用于解构模型诱导变异性与提示词诱导变异性的多样性分数。
理论保证： 为两种分数建立了有限样本收敛界限。值得注意的是，Conditional-RKE 的证明展示了维度无关的收敛性，而截断后的 Conditional-Vendi 则为高维嵌入提供了可扩展的替代方案。
截断方法： 一种将特征谱截断应用于条件设定的新颖适配方法，使得在样本量相对于嵌入维度较小时，仍能实现一致的估计。
实证验证： 在四个领域进行了全面的评估：
- 文本生成图像： 包括 Stable Diffusion XL、Flux 和 PixArt 在内的模型。
- 文本生成视频： 包括 VideoCrafter、Show-1 和 Open-Sora 在内的模型。
- 图像描述 (Image Captioning)： 包括 BLIP-2、GIT 和 GPT-4o-mini 在内的模型。
- LLM： 包括 Llama 2 和 Gemma 在内的模型。
引导机制： 证明了 Conditional-Vendi 引导可以在保持提示词对齐（保真度）的同时，提高扩散模型的样本多样性。

结果

基准真相恢复 (Ground-Truth Recovery)： 在已知基准真相多样性排序的可控实验中（例如，通过改变提示词中指定的动物类型数量），条件分数成功恢复了预期的排序。无条件分数（标准的 Vendi/RKE）无法区分提示词驱动与模型驱动的多样性。
收敛性： 在 MS-COCO 数据集上的实验表明，Conditional-RKE 和截断后的 Conditional-Vendi 在适中的样本量下（如 ~15,000 个样本）即可收敛，而未经过截断的 Conditional-Vendi 在可行的计算限制内无法收敛。
模型比较： 这些分数揭示了不同模型表现出不同水平的内在多样性。例如，在文本生成视频领域，Open-Sora 展示了比 VideoCrafter 更高的条件多样性。在 LLM 中，增加温度参数（temperature）与 Conditional-Vendi 和 RKE 分数的增加呈正相关，反映了更高的输出多样性。
引导有效性： 将 Conditional-Vendi 引导应用于 Stable Diffusion XL 和 PixArt，结果显示，与标准 Vendi 引导相比，它产生了更高的样本多样性（通过 Vendi 和批次内相似度衡量）以及更好的提示词类别对齐度，且没有降低文本-图像对齐度 (CLIPScore)。

意义与主张

本文声称 Conditional-Vendi 和 Conditional-RKE 为生成式模型的评估提供了必要的演进。通过隔离模型诱导的多样性，这些度量使研究人员和从业者能够：

准确评估生成模型的内在变异性，而不受用于测试的提示词分布的影响。
识别一个模型的“多样性”究竟是由于广泛的提示词覆盖，还是源于真实的随机生成能力。
引导生成过程向着尊重提示词上下文的多样化输出方向发展，从而解决高保真扩散模型中常见的“模式崩溃 (mode collapse)”或过度确定性的问题。

作者将这些分数定位为下一代提示词条件生成式 AI 的基础工具，为此前仅由启发式或无条件方法处理的问题提供了一种严谨的信息论方法。