💬 NLP

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

本文指出，大语言模型中的多样性崩溃主要源于解码过程中其概率分布的顺序和形状校准失当，而非采样启发式方法的局限性，从而导致输出有效性与多样性之间的权衡。

原作者： Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你让一个大语言模型（LLM）讲一个故事、写一首诗，或者推荐一个随机城市。你期待得到各种各样富有创意的回答。然而，模型却往往陷入死胡同，反复给出那几句陈词滥调（比如“很久很久以前……"或者“智利瓦尔帕莱索”）。

本文探讨了为什么会发生这种情况。作者认为，问题不仅仅在于模型“无聊”，也不在于我们当前选词工具（采样方法）的缺陷。相反，问题根植于模型组织其内部概率图的方式。他们将此称为“校准瓶颈”。

为了解释这一点，想象模型是一位站在巨大书墙（所有可能的下一个词）前的图书管理员。管理员必须挑选下一个词来延续故事。

两个主要问题

该论文指出了这位管理员“校准失调”（与现实不符）的两种具体方式，正是这些方式导致了多样性的崩塌。

1. 顺序校准：管理员无法整理书籍

类比：
想象你让管理员挑选一本“好”书。你期望管理员把所有“好”书放在书架的最顶层，把所有“坏”书放在最底层。

模型的做法： 管理员把一些好书放在顶层，但在中间混入了一堆坏书。然后，在书架更靠下的位置，又藏着更多夹杂在坏书中的好书。
后果： 如果你告诉管理员“只给我前 10 本书”，你可能会得到 5 本好书和 5 本坏书。如果你说“为了保险起见，给我前 100 本”，你会得到 90 本坏书。
论文的观点： 模型在顺序校准上失败了。它无法可靠地将“有效”（正确/有意义）的词的排名置于“无效”（无意义）的词之上。由于有效和无效的词汇在排名中混杂在一起，任何试图过滤列表的工具（如"Top-K"或"Top-P"）都被迫做出糟糕的选择：要么为了避开坏点子而切断好点子，要么为了保留好点子而包含太多坏点子。

2. 形状校准：管理员痴迷于一本书

类比：
现在想象管理员确实成功地将好书与坏书分开了。但在查看“好”书堆时，管理员却痴迷于某一本特定的书。

模型的做法： 管理员将 90% 的注意力集中在某一本特定的“好”书（例如“很久很久以前”）上。其余 99 本“好”书只得到了极小极小的一丝关注。与此同时，“坏”书则散落在最底部的漫长而细薄的尾巴中。
后果： 即使你试图通过“温度”（Temperature，就像告诉管理员要更随机一些）来搅动局面，管理员也只是稍微转移了他们的痴迷对象。他们可能不再痴迷于“很久很久以前”，转而痴迷于“在一个……的世界里”，但他们仍然忽略了其他 98 个好的选项。更糟糕的是，让管理员变得更随机，往往只是让他们从长尾巴中挑选一本“坏”书，而不是罕见的“好”书。
论文的观点： 模型在形状校准上失败了。概率过于集中在少数几个特定的有效选项上，导致其余有效选项得不到足够的关注。

多米诺效应：为何一个小错误会变成灾难

论文解释说，随着故事变长，这些问题会愈发严重。

类比：
想象你正在穿过一个迷宫。

第 1 步： 在第一个转弯处，你有 90% 的概率选对路，10% 的概率选到死胡同。这看起来还不错。
第 2 步： 在下一个转弯处，你再次有 90% 的概率选对。
结果： 如果你需要转 20 个弯，那么在不踏入任何死胡同的情况下走对整条路径的概率将降至几乎为零。

论文从数学上证明，由于模型在每一步都犯下小错误（选错了词汇组合或过度关注某一个词），这些错误会累积。等到模型完成一个句子或一段落时，它探索出真正多样化且有效路径的概率已呈指数级地微乎其微。

他们做了什么？

研究人员并非凭空猜测，而是构建了一套“诊断工具包”：

受控测试： 他们给模型布置了简单的任务，在这些任务中，他们确切知道正确答案的列表（例如生成随机数字或列举美国各州名称）。
“神谕”测试： 他们创建了一个完美的过滤器，确切知道哪些词是有效的。即使有了这个完美过滤器，模型仍然难以实现多样性，因为存在“形状”问题（对某一个词的痴迷）。
结论： 他们测试了 14 个不同的模型（从微小到巨大）。他们发现，更大的模型并没有解决这个问题。即使是最聪明的模型，仍然存在这些排序和集中度的问题。

核心结论

论文得出结论，AI 缺乏多样性不仅仅是“挑选”工具（如温度或 Top-K 采样）中的漏洞。这是模型分配其置信度方式中的一个根本性缺陷。

它无法可靠地将有效词汇的排名置于无效词汇之上。
它无法在所有有效词汇之间均匀地分配注意力。

在模型学会以不同的方式组织其内部图书馆之前，仅仅调整设置无法解锁真正的创造力或多样性。“瓶颈”在于模型自身的分布，而非我们用来读取它的工具。

技术摘要：采样更多，收获更少：校准是大型语言模型多样性的瓶颈

问题陈述

尽管多样性在从创意生成到科学发现等各种应用中发挥着关键作用，但现代大型语言模型（LLM）经常表现出“模式崩溃”（mode collapse），即生成的输出坍缩为合理响应的一个狭窄子集。虽然先前的工作已建立了衡量这种多样性缺失的基准，但推理时概率分布中的根本原因仍鲜为人知。标准的采样启发式方法（如温度缩放、top-k、top-p、min-p）往往无法恢复有意义的多样性；它们要么将概率质量转移到无效或无意义的续写上，要么截断了有效的替代方案。本文认为，瓶颈不仅仅在于解码策略的局限性，更在于 LLM 条件分布本身的根本属性，具体涉及概率质量如何在有效和无效 token 之间分配。

方法论

作者引入了一个有效性 - 多样性框架，以分析生成有效输出与探索多样化有效替代方案之间的权衡。他们将多样性崩溃分解为两种互补的校准失效形式：顺序校准（Order Calibration）和形状校准（Shape Calibration）。

1. 理论框架

有效性（Validity）：定义为分配给有效响应集合（ $V$ ）的总概率质量。
多样性（Diversity）：定义为限制在有效集合上的模型分布的归一化有效支撑大小（熵的指数）。
顺序校准：假设有效 token 始终被可靠地排在无效 token 之上。本文指出这一假设经常被违反，有效 token 在排序分布中与无效 token 交错出现。
形状校准：假设概率质量在有效 token 之间均匀分布。本文指出，分布往往过度集中在少数几个有效 token 上（尖锐的头部），而尾部则混杂着大量有效和无效的 token。

2. 实证诊断

为了探测这些瓶颈，作者开发了受控的诊断工具：

Token 有效性标记：使用作为裁判的 LLM（Qwen3.5-35B）评估由特定候选 token 启动的贪婪续写的有效性。这使得能够为截断策略构建精确率 - 召回率曲线。
受控测试床：利用具有确切已知有效集合的任务（例如随机数生成、命名美国各州），在不依赖有噪声的语义判断的情况下计算确切的有效性和多样性指标。
神谕基线（Oracle Baselines）：实施“神谕”截断策略，这些策略知道每一步的确切有效 token 数量，但不知道其身份，从而将基于排名的过滤的影响与底层分布形状的影响隔离开来。
多步分析：将单步诊断扩展到深度 $d > 1$ ，以观察局部错误如何在序列生成过程中累积。

主要贡献

有效性 - 多样性框架：对 token 级和序列级的权衡进行形式化分析，将多样性崩溃归因于分布属性而不仅仅是解码启发式方法。
校准瓶颈的识别：
- 顺序校准失效：有效 token 并未始终排在无效 token 之上。这为任何基于排名的过滤规则造成了固有的权衡：扩大截断范围以恢复有效 token 不可避免地会引入无效 token，而收紧截断范围则会排除有效的替代方案。
- 形状校准失效：概率质量非均匀地集中在少数几个有效续写上，而尾部则混杂着大量有效和无效的 token。温度缩放虽然使头部变平，但不成比例地增加了无效尾部的概率质量。
累积损失的理论证明：
- 顺序：定理 4.2 表明，局部精确率 - 召回率权衡会成倍累积。即使在分离有效/无效 token 时存在微小的、恒定的局部失败，也会导致随着序列长度增加，可达到的有效集合呈指数级衰减。
- 形状：定理 5.2 表明，在几何衰减假设下，维持高有效性需要尖锐的分布，这本质上会降低有效 token 上的熵（多样性）。这种多样性损失会随着分支步骤数量（ $m$ ）呈指数级累积。
实证诊断：开发了受控环境（随机数生成、州名命名）和神谕基线，以系统地追踪 14 个不同家族和规模的语言模型中多样性失败的来源。

结果

顺序校准失效：对 14 个模型（Qwen、Llama、Olmo 家族）的实验表明，在排序分布中，有效 token 经常与无效 token 交错出现。随着解码深度的增加，精确率 - 召回率权衡显著恶化。即使是最佳截断策略也无法完美地将有效 token 与无效 token 分离。
形状校准失效：在受控任务（如随机数生成）中，提高温度仅在以有效性为代价的情况下改善多样性。无效尾部的增长速度超过了稀有有效替代方案的恢复速度。
扩展无法解决问题：虽然更大的模型在顺序校准方面显示出轻微改善（精确率 - 召回率前沿的 AUC 更高），但它们并未消除这种权衡。在高精确率下的召回率在模型规模之间仍然较低且非单调。
解码启发式方法不足：没有任何标准的 top-token 过滤方法（top-k、top-p、min-p）能有效恢复多样性。即使在形状校准失效的任务中，神谕截断（知道确切的有效 token 数量）也无法实现理想的多样性，这表明分布的形状而不仅仅是排名是限制因素。
神谕干预：应用神谕过滤器（仅从被诊断标记为有效的 token 中采样）显著提高了嵌入多样性和词汇多样性（更低的 Self-BLEU），证明有效替代方案存在于分布中，但被标准的基于排名的规则所遗漏。

意义与主张

本文主张，多样性崩溃是 LLM 分布中顺序和形状校准失效的后果，而非特定采样算法的失败。

难度结果：作者确立了一个理论上的难度结果，针对任何仅依赖 top-token 过滤的解码策略：如果有效和无效 token 交错排列，维持高序列级有效性就需要在每一步牺牲恒定比例的有效续写，从而导致多样性的指数级崩溃。
诊断价值：所提出的框架提供了一种透镜，用于诊断现有方法为何失败，从而超越黑盒基准测试，深入理解多样性损失的机制根源。
对未来工作的启示：研究结果表明，未来的解决方案必须超越调整解码超参数。有效的缓解措施可能需要：
- 开发校准感知的解码器，整合概率排名之外的辅助有效性信号。
- 研究影响分布尖锐度和排名顺序的训练目标（预训练、对齐、安全），以便在保持质量的同时保留更广泛的有效支撑。

作者保持了谦逊的立场，指出他们的工作诊断了瓶颈而非解决了它，并且他们的受控实验是作为特定分布机制的诊断工具，而非对复杂、开放式生成中所有多样性失败的完整阐述。