🤖 machine learning

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization

本文引入了多响应训练（Multi-Response Training, MRT）作为标准单响应微调在统计学上的替代方案，通过证明保留每个提示词下的多个有效补全能够通过原则性的方差预算权衡以及最优响应选择策略，更好地捕捉条件输出分布并避免“模式彩票”（mode lottery）问题，从而提升语言模型的泛化能力。

原作者： Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生如何写故事。在旧的方法论中（论文中所称的单响应训练/Single-Response Training），你会给学生一个提示词，比如“写一个关于猫的故事”，然后向他们展示一个优秀的范例。你会告诉他们：“这就是标准答案。”

问题在于，并不存在只有一个“正确答案”。你可以写一个幽默的故事，也可以写一个悲伤的故事、一个悬疑故事或是一个科幻冒险故事。通过只展示一个版本，你是在进行一场**“众数彩票”（Mode Lottery）*游戏。你本质上是在说：“我们很幸运，恰好选中了这个特定的故事作为范例。”如果学生只看到一种类型的故事，他们可能会误以为那是关于猫的唯一*写法，从而错失了所有其他有效的、具有创造力的可能性。

这篇论文提出了一种新的教学方法，称为多响应训练（Multi-Response Training, MRT）。与其展示一个故事，不如为同一个提示词展示好几个不同且同样优秀的案例。

以下是使用简单类比对该论文核心思想的拆解：

1. 两种类型的“问题”

作者对两件事做出了至关重要的区分：

提示词（Prompts，即“问题”）： 这些是你询问的不同话题（例如：“写一首诗”、“修复这段代码”、“规划一次旅行”）。
响应（Responses，即“回答”）： 这些是你针对同一个问题可以给出的不同回答方式。

类比： 想象你是一名厨师。

新的提示词 就像是得到新的食材（一种新的蔬菜、一种新的香料）。这教会你了解世界的多样性。
新的响应 就像是看到针对同一种食材的不同食谱（例如：烹饪土豆的 5 种不同方法）。这教会你理解单一主题的深度。

论文指出，如果你有很多不同的食材（提示词），但每种食材只有一个食谱，那么你并没有学到烹饪的全部潜力。你需要看到同一个土豆的多种烹饪方式，才能理解什么是“条件分布”（即一个事物所有可能的呈现方式）。

2. “方差预算”法则（何时展示更多回答）

你可能会想：“为什么不干脆为每个问题展示 100 个回答呢？”论文给出的回答是：不，那是浪费钱。

他们引入了**“方差预算”（Variance-Budget）**的概念。把你的训练预算想象成你的买菜预算。

提示词很贵： 编写一个新的、独特的提问需要人类的精力、时间和金钱。
响应很便宜： 一旦你有了问题，计算机可以非常快速且廉价地为它生成 50 个不同的回答。

规则：

如果单个问题的回答都非常相似（低多样性），那么展示更多的回答并不会带来太多帮助。这就像向学生展示 50 张同样的猫的照片；你并没有学到任何新东西。
如果回答非常不同（高多样性），那么展示更多回答将会是大获全胜。这就像展示 50 种烹饪土豆的不同方法；你会学到很多。

论文给出了一个简单的公式来告诉你究竟应该保留多少个回答（ $K$ ）。它取决于：

回答之间的差异程度（多样性）。
获取新问题与获取新回答之间的成本比例。

黄金平衡点： 如果回答既便宜又多样，而问题又贵且难得，那么你应该为每个问题保留许多个回答。如果回答都大同小异，那就只保留一个。

3. “众数彩票”陷阱

论文警告说，如果你仅仅根据分数（比如奖励机制）来挑选“最好”的那个答案，你可能会在无意中毁掉模型。

类比： 想象一位老师只给学生展示那篇“A+”级别的范文。

陷阱： 学生学到的是，获得 A+ 只有一种方法。他们不再尝试进行创造，也不再探索其他有效的写作方式。他们会“坍缩”到仅仅模仿那一种风格。
论文的解决方案：
- 随机选择（稳妥之选）： 直接随机抽取 $K$ 个答案。这种方式是无偏见的，能教会模型理解全貌。
- 奖励选择（冒险之选）： 只挑选得分最高的答案。这通常会导致“众数彩票”问题，即模型会忘记所有其他有效的回答方式。
- “GRADES”法： 一个聪明的折中方案。它会挑选那些既高质量又彼此互不相同的答案，确保模型能看到一组多样化的优秀选项，而不是坍缩到仅剩一种风格。

4. “隐式”捷径

论文还注意到一个有趣的现象：在庞大的数据集中，有时你并不需要显式地为同一个提示词准备多个回答。如果你拥有海量的提问，其中许多提问其实只是同一个问题的不同表达方式（例如：“如何修理漏水？”对比“我的水槽在滴水，救命！”）。

类比： 如果有 100 个不同的人问你如何系鞋带，而你只给每个人一个答案，但由于问题本身略有不同，模型可能通过观察这些细微差异的问题，依然学会了系鞋带的“多种方式”。这就是所谓的隐式多响应训练（Implicit Multi-Response Training）。然而，论文强调，这只有在问题确实存在差异时才有效。如果问题只是简单的复制粘贴，则没有任何帮助。

总结：你应该怎么做？

论文为任何正在训练 AI 模型的人提供了一个简单的指南：

不要只是盲目地堆砌数据。 关键不在于词汇的数量，而在于回答的多样性。
检查多样性。 如果你的问题对应着许多不同的有效回答，请停止只展示一个回答。请展示 2 个、4 个或 8 个。
关注你的预算。 如果获取新问题很难/很贵，但生成回答很容易/很便宜，那么请倾向于在每个问题下展示更多的回答。
明智地挑选回答。 如果你想让 AI 理解人类语言的全貌，请随机选择回答，或者确保它们具有多样性。如果你只挑选“最高奖励”的答案，你可能会在无意中让 AI 变得狭隘且机械重复。

简而言之：MRT 通过教会 AI 理解对于许多问题而言，不存在唯一的“正确答案”，而是存在一个由多种有效答案组成的频谱，从而成功逃离了“众数彩票”的困境。

技术摘要：逃离模式抽奖：多响应训练提升语言模型的泛化能力

问题陈述

现代语言模型微调通常遵循一种惯例，即将单个提示词（prompt）与单个响应（response）配对。虽然这适用于分类任务，但对于开放式生成而言并不理想，因为提示词往往对应多个有效的补全结果（例如，“写一个用于排序列表的函数”）。通过仅针对每个提示词训练一个响应，模型实际上只接触到了多模态条件分布中的一个狭窄切片。作者将这一现象称为**“模式抽奖”（mode lottery）**——即训练数据可能会反复强调一组特定的子集（通常是那些最常见、最容易生成或奖励最高的模式），而使其他有效且有价值的模式在统计上变得不可见。

现有的流水线通常会生成多个候选方案，但仅选择其中一个“最佳”响应进行训练（例如，通过奖励最大化）。本文认为，该领域缺乏关于何时保留多个响应是有益的、能预期多少收益以及应该保留哪些响应的原则性解释。

方法论与理论框架

本文将**多响应训练（Multi-Response Training, MRT）形式化为针对每个提示词训练 $K > 1$ 个响应的过程，并将其与标准单响应训练（Standard Single-Response Training, SRT，其中 $K=1$ ）**进行对比。其核心理论洞察在于，提示词和响应是不同的统计资源：

额外的提示词减少了关于边际输入分布（ $P(x)$ ）的不确定性。
针对同一提示词的额外响应减少了关于条件输出分布（ $P(y|x)$ ）的不确定性。

1. 方差-预算定律（Variance–Budget Law）

作者推导了经验损失方差的结构化分解。对于固定模型 $\theta$ ，MRT 估计量的方差分解如下：
$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$
其中：

$V_x$ 是跨提示词方差（关于输入分布的不确定性）。
$V_{y|x}$ 是提示词内期望方差（关于条件输出分布的不确定性）。
$N_p$ 是不同提示词的数量。
$K$ 是每个提示词的响应数量。

这种分解揭示了一个“提示词底限”（prompt floor）：增加 $K$ 虽然可以降低第二项，但无法降低第一项（ $V_x/N_p$ ）。因此，一旦提示词层面的不确定性占据主导地位，MRT 的收益将会递减。

通过引入获取成本（提示词成本 $C_p$ ，响应成本 $C_r$ ）和固定预算 $B = N_p(C_p + K C_r)$ ，作者推导出了成本感知最优多样性 $K^\star$ ：
$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$
该规则表明，当响应廉价、提示词昂贵且条件响应分布高度多样化（高 $V_{y|x}/V_x$ ）时，MRT 最具价值。

2. 泛化界限

论文提供了两个互补的泛化界限来量化潜在收益：

伯恩斯坦界限（Bernstein Bound）： 表明对于固定模型，增加 $K$ 会使泛化误差界限以依赖于 $V_{y|x}/K$ 的因子降低，而提示词层面的项保持不变。
分层拉德马赫界限（Hierarchical Rademacher Bound）： 解决了 MRT 数据中非独立同分布（non-i.i.d.）的结构问题（重复提示词）。它证明，尽管存在层次结构，只要正确处理了模型类的上确界，响应层面的复杂度仍随总的“提示词-响应对”数量（ $N_p K$ ）而非仅仅随 $K$ 缩放。这证明了 MRT 的收益在模型选择过程中依然有效。

3. 目标感知响应选择

论文分析了不同的选择策略如何改变训练目标：

随机 $K$ 选 $N$ （Random-K-of-N, RKoN）： 从中均匀随机采样 $K$ 个响应。这是无偏默认策略，用于分布微调，能够保留候选分布，并将梯度方差降低至 $1/K$ 的速率。
最佳 $K$ 选 $N$ （Best-K-of-N, BKoN）： 基于奖励分数选择响应。作者指出，这会诱发持续的上尾偏差（upper-tail bias）。随着候选池的扩大，BKoN 会使训练集中于奖励占主导的模式，可能导致有效模式坍缩，并使梯度与真实的分布目标发生错位。
GRADES（贪婪奖励感知多样化子集化）： 一种次模优化方法，旨在平衡质量与多样性。它为保留高质量且多样化的响应提供了一个 $(1 - 1/e)$ 的近似保证，作为分层采样的实际代理。

实验结果

作者通过受控模拟和大规模 LLM 微调在四个领域验证了其理论：指令遵循（Gold）、对话（Nectar）、偏好对齐（UltraFeedback）和代码生成（CodeContests）。

方差分解： 受控模拟证实，增加 $K$ 仅能降低提示词内的方差分量，并渐进地趋近于预测的提示词底限。
最优多样性： 在固定预算下，测试性能呈现出 U 型曲线，其最小值出现在接近预测的 $K^\star$ 附近。相比于提示词层级变量较大的数据集（如 Nectar），具有高响应层级变异性的数据集（如 CodeContests）从 MRT 中获得的收益更大。
选择器影响：
- RKoN 随着 $K$ 的增加，始终能提高参考损失（对条件分布的拟合度）和覆盖率。
- BKoN 获得了更高的奖励分数，但牺牲了多样性和参考似然度，证实了目标偏移的存在。
- GRADES/DBKoN（多样化最佳 $K$ 选 $N$ ）成功平衡了质量与覆盖率，在参考覆盖度指标上优于纯多样性或纯奖励选择。
隐式 MRT： 针对提示词冗余（改写）的实验表明，高度冗余的语料库可以通过改写暴露不同的条件模式，从而模拟 MRT 的效果。然而，如果改写后的提示词仅配对近乎重复的响应，则收益微乎其微。

意义与主张

本文将响应多样性重新定义为一个具有明确统计指导的数据分配问题，而非仅仅是一种启发式方法。其主要主张包括：

上下文相关价值： MRT 并非普遍优越；其价值取决于提示词间方差与提示词内方差的比率，以及数据获取的相对成本。
统计基础： 当响应廉价且多样，且提示词昂贵时，保留多个响应是具有统计学依据的选择，通过训练更多的条件结构来逃离“模式抽奖”。
选择至关重要： 选择器（Selector）的选择至关重要。虽然基于奖励的选择优化了特定指标，但它会导致模式坍缩。为了实现分布泛化，需要使用无偏选择（RKoN）或多样性感知选择（GRADES）来保留条件结构。
隐式与显式： 大型冗余语料库可以提供“隐式 MRT”效应，但在低冗余场景下，显式的多响应训练在覆盖任务分布的不同区域方面更为有效。

作者总结道，MRT 提供了一种原则性的方法，用于决定何时值得投入成本进行响应多样化，从而超越了“一提示词、一响应”的传统，更好地建模开放式生成的多模态本质。