💬 NLP

D-Models and E-Models: Diversity-Stability Trade-offs in the Sampling Behavior of Large Language Models

本文通过区分具有可变且任务失配的采样概率的“D型模型”与具有稳定且任务对齐的概率的“E型模型”，识别了大语言模型中一个根本性的多样性-稳定性权衡，为优化网络规模应用中的模型选择提供了关键见解。

原作者： Jia Gu, Liang Pang, Huawei Shen, Xueqi Cheng

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Jia Gu, Liang Pang, Huawei Shen, Xueqi Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在要求一群 AI 助手玩一场“猜数字”的游戏。你给出了一个特定的规则：“在 1 到 4 之间挑选数字，但要确保你大约 70% 的时间选择数字 '2'，而其他数字（1、3 和 4）各占大约 10%。”

这篇论文研究了不同的大型语言模型（LLMs）是如何处理这个游戏的。研究人员发现这些模型分为两种截然不同的性格类型，他们称之为 D-Model 和 E-Model。

以下是他们的研究发现，使用了简单的类比：

1. 两种人格

“果断型”模型 (D-Model)

示例： Qwen-2.5, Llama-3.1。
类比： 想象一位观点非常强烈的严厉主厨。当被要求做一份沙拉时，这位主厨决定：“在第一个 99% 的碗里，我将只使用生菜，也许稍后会加一点点番茄。”
运作方式： 每次他们选择一个词（或数字）时，都表现得极其自信。他们几乎总是以接近 100% 的确定性选择某一个特定选项，忽略其他选项。
结果： 尽管他们在每一步都表现得非常自信，但他们有时难以匹配你给出的整体规则（比如那个 70% 的规则）。他们是“确定性的”，意味着他们坚持一种僵化的计划。

“探索型”模型 (E-Model)

示例： Mistral-Small, GPT-4o。
类比： 想象一位好奇的花匠。当被要求播种时，他们会观察土壤并思考：“好吧，我会主要种植郁金香，但我也会从一开始就撒入一些雏菊和玫瑰，以符合花园的规划。”
运作方式： 这些模型更加灵活。当他们选择一个词时，他们会使不同选项的概率更接近你给出的规则。他们不会立即锁定一个选择；他们会更多地“探索”各种选项。
结果： 他们的每一步选择能更好地符合你设定的规则。他们在遵循指令方面更加“稳定”。

2. 核心权衡：多样性 vs. 可靠性

研究发现，这两种类型都不是完美的；它们之间存在权衡，就像在选择走钢丝的人和爵士乐手之间做抉择。

D-Models（走钢丝的人）：
- 擅长： 需要单一、稳固且正确答案的任务，例如编写代码或解决数学问题。因为他们如此果断，所以可以反复精炼解决方案而不会产生混乱。
- 不擅长： 需要从一个列表（如选项列表）中进行选择的任务（例如推荐电影）。因为他们如此僵化，他们可能会自信地选择一个甚至不在你列表中的电影，从而忽略了约束条件。
E-Models（爵士乐手）：
- 擅长： 需要遵循候选名单或平衡不同需求的任务，例如搜索结果或推荐系统。他们能更好地遵循你提供的“菜单”。
- 不擅长： 有时他们可能过于“灵活”。在编程任务中，他们不断的“探索”可能会导致他们过度修改代码，从而在原本使用简单、僵化方法就能奏效的地方引入错误。

3. 机器内部发生了什么？

研究人员通过“拆解内部结构”来观察为什么这些模型的行为会有所不同：

温度控制 (Temperature Control)： 将“温度”想象成一个控制随机性的音量旋钮。
- E-Models 就像一个灵敏的麦克风；转动旋钮会显著改变它们的行为。你可以轻松地让它们变得更随机或更严格。
- D-Models 就像一块沉重的石头；转动旋钮几乎不会改变它们。无论你如何调整设置，它们始终保持极高的自信度和僵化感。
“配额”谬误： 研究人员想知道 D-Models 是否在暗中记着账本（例如：“我已经选了太多次 '2' 了，所以下次我应该选 '1' 来平衡一下”）。他们进行了测试，发现没有任何证据表明存在这种情况。D-Models 并不是在平衡账本，它们只是在遵循一条僵化的、预先计划好的路径。

总结

该论文得出结论，当你使用 AI 时，你需要知道你面对的是哪种“人格”：

如果你需要可靠性和对列表的严格遵守（例如从产品菜单中挑选产品），请选择 E-Model。
如果你需要强大的、一致的推理能力来处理复杂的任务（如编程），那么 D-Model 可能会更好，即使它缺乏灵活性。

目标并不是要说哪一个“更好”，而是要理解它们在遵循概率规则方面具有不同的优势和劣势。

技术摘要：D-模型与 E-模型：大语言模型采样行为中的多样性-稳定性权衡

问题陈述

大语言模型（LLMs）正越来越多地部署在诸如代码生成、搜索和推荐系统等规模化网络应用中。在这些场景下，模型的生成过程本质上是从一个潜在项的分布中进行的采样操作。虽然已知 LLMs 能够逼近现实世界的分布，但目前存在一个关键的研究空白，即尚不清楚其细粒度的、逐步的 Token 采样概率（ $P_{token}$ ）是否能忠实地对齐任务层面的目标分布（ $P_{task}$ ）。

当前研究已发现 LLMs 在执行随机数生成或掷硬币等任务时存在缺陷，但这些研究大多是经验性的且针对特定场景。目前缺乏关于内部 Token 级分布（ $P_{token}$ ）与任务级目标分布（ $P_{task}$ ）之间映射关系的系统分析，也缺乏关于这些内部机制如何影响复杂任务中实际结果的清晰理解。核心问题在于：LLMs 是否能有效地理解并适应不同的任务目标分布，以及它们的内部采样行为是否表现出影响多样性和稳定性的不同模式？

方法论

作者提出了一个概率框架来分析 LLM 的采样行为，通过关联三个关键分布：

$P_{task}$ ：由任务定义的候选集上的目标概率分布（例如，生成特定分布的数字）。
$P_{token}$ ：模型在每个生成步骤中输出的词表上的内部概率分布。
$P_{result}$ ：最终生成的输出的经验分布。

实验设计

本研究采用了多阶段验证方法：

模拟分布任务： 作者设计了具有明确定义 $P_{task}$ 的离散概率采样任务（例如，具有一个主导 Token 的“极端分布”和具有均匀概率的“平坦分布”）。模型被提示生成严格遵循这些分布的数字序列。
指标：
- e-score：量化 $P_{token}$ 的极端程度（每一步最大概率的平均值）。高分表示确定性行为。
- ATVD (平均全变差距离)：衡量分布之间的差异（ $P_{task}$ vs. $P_{token}$ ， $P_{task}$ vs. $P_{result}$ ，以及 $P_{token}$ vs. $P_{result}$ ）。
- ATVD-step：衡量 $P_{token}$ 与 $P_{task}$ 之间的步进式对齐程度。
下游任务评估： 识别出的模型类型在代码生成（HumanEval 基准测试）和推荐（MovieLens-1M 数据集）上进行了评估。
- 代码：通过 $\Delta_{pass}$ （成功解的多样性）和向量相似度进行衡量。
- 推荐：通过精确率（Precision）和“命中率”（can-hit rate，即落在预定义候选列表中的推荐比例）进行衡量。
内部机制分析： 研究调查了温度（Temperature）、先验偏差（内在的数值偏好）、层级概率演化（Layer-wise Probability Evolution）以及配额补偿假设（模型是否根据过去的采样误差调整未来的 Logits）的影响。

关键发现与模型分类

通过受控模拟和下游评估，作者识别出 LLM 行为中的显著二分法，将模型分为两类：

1. D-模型 (Deterministic Models，确定性模型)

示例： Qwen-2.5, Llama-3.1, DeepSeek-R1, DeepSeek-v3。
行为： 表现出高 e-scores（通常 > 0.9），表明无论目标分布如何， $P_{token}$ 都高度集中在单个 Token 上。
机制： 它们采用确定性全局规划。即使在需要均匀输出时，它们也倾向于固着于某个特定的 Token，导致 $P_{token}$ 出现剧烈的步进式波动。
性能：
- 代码生成：表现良好，通过对确定性核心进行微小扰动来生成多样化的候选解，从而获得较高的 $\Delta_{pass}$ 。
- 推荐：表现出较低的“命中率”，经常偏离提供的候选列表，生成多样但可能无关的项。

2. E-模型 (Exploratory Models，探索性模型)

示例： Mistral-Small, Gemma-2, GPT-3.5-Turbo, GPT-4o。
行为： 表现出较低的 e-scores，且其 $P_{token}$ 分布与 $P_{task}$ 更为接近。
机制： 它们展示了探索性局部规划。它们的 Token 概率更加稳定，并能适应任务所需的分布，尽管它们仍表现出比严格要求更高的集中倾向。
性能：
- 代码生成： $\Delta_{pass}$ 较低；在语法敏感型任务中，过宽的探索往往会引入语义或执行错误。
- 推荐：实现更高的“命中率”和精确率，因为它们的生成过程与候选集的约束保持得更为紧密。

内部特征

温度敏感性： E-模型对温度变化高度敏感，允许对多样性进行灵活控制。D-模型即使在较高温度下也能保持低熵采样，表现出对分布平坦化的抵抗力。
先验偏差： 分析确认，偏离 $P_{task}$ 并非由模型内在的数值偏好（先验）引起。
层级演化： 在早期层中，两类模型都表现出均匀的概率。然而，在“上层”（靠近输出端）中，D-模型保持极高的置信度，而 E-模型则逐渐向任务分布收敛。
配额补偿： 关于 D-模型通过调整未来 Logits 来补偿采样误差（以匹配 $P_{task}$ ）的假设被拒绝。相关性分析显示，过去的采样残差与未来的概率调整之间没有显著关系，这表明 D-模型依赖于全局规划而非反应式补偿。

核心贡献

概率视角下的 Web 任务： 本文将 Web 任务形式化为概率采样过程，并验证了基于 $P_{token}$ 与 $P_{task}$ 对齐程度的两种截然不同的模型行为（D-模型和 E-模型）的存在。
特定任务的权衡： 研究揭示了系统的多样性-稳定性权衡。D-模型倾向于多样性和确定性精炼（有利于代码生成），但难以处理严格约束（不利于推荐）。E-模型倾向于稳定性和约束遵循（有利于推荐），但可能缺乏复杂代码探索所需的受控多样性。
机制分析： 通过探测内部属性（温度敏感性、层级演化和补偿机制），本文提供了关于为何存在这些行为差异的因果洞察，从经验观察转向了机制理解。

意义与主张

作者声称，这些发现为 LLM 的概率采样行为提供了基础性的见解。识别 D-模型和 E-模型为现实世界 Web 应用中的模型选择与配置提供了实践指导：

对于需要可靠性和严格约束遵循的任务（例如搜索、推荐、对生成不存在项的幻觉极其敏感的对话代理），应优先选择 E-模型。
对于需要多样化解空间探索和迭代精炼的任务（例如代码生成、创意写作），D-模型可能更为有效。

文章总结道，确保采样过程是可审计且可解释的，对于负责任的 AI 开发至关重要。通过了解一个模型是作为 D-模型还是 E-模型运行，从业者可以在现实世界的确定性与不确定性之间更好地平衡多样性与可靠性。