💬 NLP

Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models

本文介绍了 Diverse-NS，一种长度控制型数据选择策略，它缓解了语言模型对较短输出的系统性偏见，从而在保持质量的同时，显著增强了各种创意任务中的响应多样性与表达力。

原作者： Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《Diverse, not Short》（多样化，而非短小）的解释，采用了简单易懂的语言和日常类比。

问题所在：“短小且乏味”的陷阱

想象你有一位非常有才华的作家（大型语言模型），他接受过旨在变得有用、安全且礼貌的训练。你请他写一个故事。

问题在于，为了追求“完美”和安全，这位作家开始表现得像一个在考试中紧张的学生。他们不敢写太多，因为他们认为回答越短，回答就越好。

为什么会这样？因为用来给他们的作品评分的工具（多样性指标）是破碎的。这些工具就像一个法官，仅仅因为一个句子只有3个单词，就认为它比一个30个单词的段落更具“创意”。作家注意到了这一点，于是开始给你提供简短、安全、重复性的答案，以获得高分。

作者称之为**“简洁偏差”（Brevity Bias）**。这就像一位厨师停止添加香料，因为品尝者只喜欢清淡的食物。结果是，AI变得缺乏创意、缺乏表现力，最终所有的AI输出都开始听起来一模一样（这种现象被称为“模型崩溃”）。

解决方案：“多样化，而非短小”（Diverse-NS）

作者创建了一种名为**“多样化，而非短小”（Diverse-NS）**的新策略。你可以把它看作是一个为这位作家设计的全新培训计划，旨在修复那个破碎的评分系统。

以下是它的工作步骤：

“两稿游戏”：
研究人员要求AI写两个版本的故事。
- 草稿 A： AI自然地写作（它默认的、通常比较乏味的风格）。
- 草稿 B： AI被要求按照特定规则重写这个故事：“让它更有趣、更多样化，但保持与草稿 A 完全相同的长度。”
“公平法官”过滤器：
通常情况下，如果你要求增加创意，文本会变得更长。但研究人员设定了一个严格的规则：如果草稿 B 比草稿 A 长，就把它扔掉。
他们只保留那些“更有创意”的版本与“乏味”版本长度大致相等的配对。这教会了AI：“你可以在不增加字数的情况下展现创意。”
“小老师”技巧：
研究人员发现了一些令人惊讶的事实。一个更小、更便宜的AI模型（例如70亿参数的模型）可以充当一个“多样性老师”，去教导一个大得多、更昂贵的模型（例如130亿参数的模型）。
- 类比： 想象一位虽然规模小、但很有干劲的当地艺术家，正在教导一家著名的、大制作的艺术工作室如何画出更独特的画作。这位小艺术家知道如何创造性地打破规则，而大工作室则向他学习。这节省了大量的资金和计算能力。

结果：更有风味，大小不变

研究人员在四种不同的创意任务上测试了该方法：

发散性联想： 列出彼此之间差异极大的词汇。
人格生成： 创建独特的角色档案（姓名、职业、城市）。
替代用途： 思考使用常见物品（如一块砖头）的奇特方式。
创意写作： 使用三个随机词汇编写短篇故事。

发生了什么？

更多变化： 使用“多样化，而非短小”训练的模型产生了更加多样化且有趣的输出。它们使用了更多独特的词汇和想法。
质量无损： 通常情况下，当你增加多样性时，质量会下降（比如变成一个混乱、无序的故事）。但在本研究中，质量保持在高水平。在某些情况下，质量甚至提升了。
高效性： 他们只需要 3,000 个示例就能教会模型这项新技能。这就像是只教了学生几个小时，而不是教了几年。

新工具：“多样性十分位数”（Diversity Decile）

作者还意识到，旧有的衡量创意的工具对长篇回答不公平。因此，他们发明了一个新的尺子，叫做 “多样性十分位数”（Diversity Decile）。

类比： 想象一场比赛。旧的尺子只测量你跑得有多快，但忽略了有些跑步者背着沉重的背包（长文本），而有些则没有（短文本）。
新的尺子： “多样性十分位数”观察的是你相对于其他背着同样大小背包的跑步者跑得有多快。它会问：“这个长的故事是否比其他同样长度的故事更有创意？”这确保了长篇、富有表现力的回答能够获得应有的认可。

总结

该论文指出，AI模型变得过于短小且重复，是因为我们衡量“创意”的方式在无意中奖励了简洁。

通过使用名为“多样化，而非短小”的策略，作者教会了模型在不增加回答长度的情况下展现创意。他们通过以下方式实现了这一点：

将乏味的草稿与长度相同的创意草稿进行对比。
利用一个更小、更便宜的AI来教导一个更大的AI如何具备多样性。
创造了一个更公平的衡量创意的尺子，使其不会惩罚长篇回答。

其结果是，AI变得更具表现力、更有创意且质量依然很高，同时训练成本更低、速度更快。

技术摘要：多样性而非短小 (Diverse, not Short, 简称 Diverse-NS)

问题陈述

虽然对齐技术（指令微调和偏好优化）使大型语言模型（LLMs）变得更加安全和有用，但它们往往会在无意中降低模型输出的多样性。这种多样性的减少阻碍了创意构思，增加了输出的同质化，并可能在模型反复在其自身对齐的输出上进行训练时导致“模型崩溃”。

一个关键且常被忽视的、导致这一问题的混淆因素是文本长度。论文指出，标准的多样性指标（如熵、类型-标记比/Type-Token Ratio）甚至用于偏好优化的奖励模型（如 ArmoRM）都表现出对短输出的系统性偏见。由于这些指标通常会给较短的段落打出更高的分数，因此针对这些指标进行优化会鼓励模型追求简洁而非表达力。这种“短小偏见”（brevity bias）削弱了这些模型本应培养的创造力，特别是在需要深度和细微差别的开放式任务中。

方法论：多样性而非短小 (Diverse-NS)

作者提出了 Diverse, not Short (Diverse-NS)，这是一种长度控制的数据选择策略，旨在提高响应多样性的同时，保持偏好响应与拒绝响应之间的长度对等。该框架在一个涉及三个主要阶段的自学习循环内运行：

1. 数据生成

作者利用一项创意写作任务（生成包含三个特定单词的 5 句故事）来诱发多样化的响应。

序列提示 (Sequential Prompting)： 该过程不是单次推理，而是分为两步。首先，模型生成一个自然响应 ( $r_1$ )。其次，模型被提示通过额外的约束来重写故事，旨在减少重复并增加多样性，从而生成第二个响应 ( $r_2$ )。
规模： 该过程为 LLaMA-3.1-8B 和 Olmo-2-7B 生成了 200,000 个 (prompt, $r_1$ , $r_2$ ) 元组。

2. 数据过滤 (核心创新)

为了创建用于直接偏好优化 (DPO) 的高质量偏好对，作者根据按顺序应用的四个严格标准对生成的数据进行过滤：

质量阈值： $r_2$ 的质量必须大于或等于所有 $r_1$ 质量得分的第 50 百分位数。
质量提升： $r_2$ 的质量必须严格大于 $r_1$ 。
多样性提升： $r_2$ 的多样性必须严格大于 $r_1$ 。
长度对等： $r_1$ 和 $r_2$ 之间的单词数绝对差值必须在 5 个单词以内。

这一长度约束对于防止选择那些虽然多样但却通过变短来获取“容易”多样性的响应至关重要。

指标： 主要方法使用 熵 (Entropy) 来衡量多样性，使用 ArmoRM 分数来衡量质量。
Diverse-NS-Lite： 为了降低计算成本（因为计算熵和 ArmoRM 需要多次推理过程），作者引入了一个轻量级变体。该变体使用 类型-标记比 (TTR) 代替熵，并使用 MAAS 指数 代替 ArmoRM，实验表明 MAAS 指数与原始指标具有最高的关联性。

3. 偏好微调

过滤后的数据集被限制在 3,000 个偏好对（通过按熵增益排序进行选择），用于使用直接偏好优化 (DPO) 微调基座模型。作者还探索了“从小到大”的迁移，即使用由较小模型 (Olmo-7B) 生成的数据来训练较大的模型 (Olmo-13B)。

4. 长度调整评估

为了解决评估偏差问题，作者引入了 $\Delta$ Diversity Decile ( $\Delta$ DD)。

他们基于 800,000 个故事构建了一个十分位数映射（decile map），按单词数对响应进行分组，并计算每个长度下的多样性阈值。
在评估期间，新响应根据其相对于该映射的长度和多样性得分，被分配到一个十分位数等级。
$\Delta$ DD 计算为微调模型与基座模型之间的十分位数得分之差，以确保多样性的提升并非仅仅是由于长度增加而产生的伪影。

核心贡献

Diverse-NS 策略： 一种数据选择方法，通过显式控制长度偏差，仅使用 3,000 个偏好对就显著提高了 LLaMA-3.1-8B 和 Olmo-2-7B 的响应多样性。
Diverse-NS-Lite： 一种使用代理指标 (TTR 和 MAAS) 的高效计算变体，在大幅降低过滤成本的同时，实现了与完整方法相当的性能。
从小到大的迁移： 证明了较小的模型（如 Olmo-2-7B）可以作为有效的“多样性教师”来训练较大的模型（如 Olmo-2-13B），从而实现低成本的多样性对齐。
长度控制指标： 引入了 多样性十分位数 (Diversity Decile) 指标，该指标根据文本长度调整多样性得分，以防止评估中的短小偏见。
数据集发布： 发布了一个由 LLaMA-3.1-8B 和 Olmo-2-7B 生成的高质量 6,000 个偏好对数据集。

结果

作者在四个创意生成任务上评估了该方法：发散联想 (DAT)、人格生成 (PGT)、替代用途 (AUT) 和创意写作 (CWT)。

多样性增益： 在所有任务和模型规模下，Diverse-NS 和 Diverse-NS-Lite 的表现始终优于基座模型和 DivPO 基准线（一种不控制长度的近期方法）。
- 在 DAT 和 PGT 任务中，这些方法产生了更多独特的单词、名称、城市和职业。
- 在 CWT 中，Diverse-NS 实现了最高的发散语义整合 (DSI) 得分和 4-gram 多样性。
统计显著性： 独立 t 检验确认，D-NS 和 D-NS-Lite 产生的响应比基座模型和 DivPO 具有显著更高的多样性（D-NS 对比 Base 的 p < 0.001）。D-NS 与 D-NS-Lite 之间的差异在统计上并不显著，验证了 Lite 版本的效率。
质量保持： 虽然多样性和质量往往存在权衡，但 Diverse-NS 在多个案例中维持或略微提高了质量（通过 ArmoRM 衡量）。在质量略有下降的情况下，其绝对多样性值仍超过了基座模型，且人类评估证实，其多样性的提升是可感知的且更受青睐。
人类评估： 在 CWT 的成对比较中，人类标注者在大多数情况下更倾向于 D-NS 而非基座模型和 DivPO（胜率高达 72.73% 对抗 DivPO）。

重要性与主张

论文声称，通过显式解决集成在数据选择和多样性指标中的 长度偏差，Diverse-NS 提供了一种实用且可扩展的解决方案，可以在不牺牲质量的前提下提升对齐 LLMs 的多样性。

效率： 该方法仅需极小的数据集（3k 对）和极短的训练时间（在单个 GPU 上不到两小时），即可实现实质性的改进。
易得性： 通过展示较小的模型可以作为多样性教师，并提供轻量级过滤变体，这项工作降低了进行多样性感知对齐的资源门槛。
基础性转变： 作者认为，以往无法提高多样性的原因可能在于未解决的指标中的短小偏见。他们的工作通过将多样性与短小解耦，为更具表现力的语言生成奠定了基础。

作者也谦虚地指出了局限性，包括依赖单一多样性指标进行过滤、仅关注单一任务（故事写作）以及仅调查了单轮自学习。他们建议未来的工作应探索多指标优化和多轮自学习。