技术摘要：通过基座对齐模型协作（BACO）优化多样性与质量

1. 问题陈述

大语言模型（LLMs）面临着一个根本性的多样性-质量权衡（diversity-quality trade-off）。虽然对齐技术（如 RLHF）显著提高了输出质量、指令遵循能力和安全性，但也系统性地降低了输出的多样性。对齐后的模型倾向于在重复生成过程中收敛到单一的主导响应（模式崩溃/mode collapse），而其基座模型（预对齐模型）虽然能产生多样化的输出，但往往质量较低或逻辑不连贯。

现有的解决该权衡的方法存在显著局限性：

• 训练阶段方法： 在偏好优化中引入多样性目标往往会损害安全性与帮助性等对齐属性。
• 推理阶段方法： 温度缩放（temperature scaling）、多样化束搜索（diverse beam search）或基于提示词的重采样等技术通常需要多次解码过程，或者会带来高昂的计算成本，亦或不成比例地降低生成质量。

核心挑战在于如何在无需额外微调或昂贵后处理的情况下，在单次解码过程中同时实现高多样性与高质量。

2. 方法论：基座对齐模型协作（BACO）

作者提出了 BACO，这是一个推理阶段的、Token 级的模型协作框架。BACO 在解码过程中动态地结合了一个基座模型（多样性的来源）及其对齐对应模型（质量的来源）。

核心机制

BACO 通过一个轻量级的**路由（router）**进行运作，该路由在每个 Token 生成步骤决定哪个模型应该生成下一个 Token。该框架依赖于“表层对齐（superficial alignment）”假设，即基座模型与对齐模型在预测下一个 Token 时在很大程度上是一致的，这使得稀疏干预成为可能。

生成概率公式化为一个门控混合模型：
$$P_{BACO}(y_t | c_t) = w_{base} \cdot P_{base}(y_t | c_t) + (1 - w_{base}) \cdot P_{aligned}(y_t | c_t)$$
其中 $w_{base} \in \{0, 1\}$ 是根据上下文 $c_t = [x, y_{<t}]$ 由路由策略 $R$ 确定的。

路由策略

路由利用两类互补的信号来决定切换：

1. 基于 Logit 的策略： 利用模型的预测分布来推断不确定性。
   • 示例： BACO-P 在基座模型的最大 Token 概率低于阈值 $\gamma$ 时，路由至基座模型。
   • 示例： BACO-H 在基座模型预测的熵超过 $\gamma$ 时，路由至基座模型。
2. 基于内容的策略： 利用预测 Token 的语义角色。
   • 示例： BACO-PUNC 在预测的 Top 排名 Token 为标点符号或格式化 Token 时，路由至对齐模型（以保持结构连贯性）。
   • 示例： BACO-FC 针对虚词（function words）路由至对齐模型，以维持风格一致性。

控制： 阈值参数 $\gamma$ 允许用户连续调节多样性与质量之间的平衡。较低的 $\gamma$ 使模型偏向对齐模型（更高质量），而较高的 $\gamma$ 使模型偏向基座模型（更高多样性）。

实现细节：

• 第一个 Token 始终由对齐模型生成，以确保轨迹质量。
• 切换仅限于单词边界，以防止分词不匹配（tokenization mismatches）。
• 终止符（EOS）由对齐模型控制，以防止过早终止。

3. 核心贡献

1. 框架提出： 引入了 BACO，这是一个无需微调且在单次解码过程中运行的 Token 级协作框架，有效地平衡了多样性与质量的权衡。
2. 评估公式化： 作者不仅将多样性-质量权衡视为单一目标，而是将其构建为一组双维评估空间（11 个多样性指标 $\times$ 2 个质量指标）。他们引入了覆盖度（Coverage）（权衡曲线下的面积）和支配度（Dominance）（全局帕累托前沿的比例）作为聚合各空间性能的指标。
3. 全面验证： 在三个开放式生成任务（指令遵循、对话、创意写作）和可验证基准测试（数学、带约束条件的指令遵循）中进行了广泛实验，证明了其相对于最先进基准方法的持续改进。

4. 结果

作者使用包括 NoveltyBench、WildChat 和 Narrative-Discourse 在内的数据集，在 11 个多样性-质量空间中通过 13 个指标对 BACO 进行了评估。

• 性能增益： 使用表现最佳的路由器（-P-PUNC，结合了概率和标点规则），BACO 在多样性和质量方面比最强的推理阶段基准方法实现了 21.3% 的联合提升。
• 帕累托最优性： BACO 在所有空间中贡献了 32.7% 的全局帕累托前沿，在语义多样性空间中表现尤为突出，达到了 40.5% 的支配度。
• 语义 vs. 词汇： 与词汇多样性（表层措辞）相比，BACO 在语义多样性（意义与意图）方面表现出更优越的性能，表明它产生的是有意义的变化，而非仅仅是表层的噪声。
• 可验证基准： 在 GSM8K（数学）和 IFEval（指令遵循）上，BACO 在保持与对齐基准模型相当的准确率的同时，实现了显著更高的多样性，证明了这些收益并非来自开放式指标的伪影。
• 人类评估： 在针对 NoveltyBench 和 WildChat 的人类研究中，尽管自动质量评分相似，但 BACO 的输出在质量（NoveletyBench 上为 4.04 vs. 2.83）和创造力（79.6% 胜率）方面均显著高于对齐基准模型。
• 长文本生成： 在 Narrative-Discourse 数据集上，BACO 在不牺牲连贯性的情况下，在情节结构（转折点）和情感流（唤醒度）方面展示了卓越的多样性。

5. 意义与主张

本文声称 BACO 提供了一种简单、可控且有效的机制，用于优化 LLM 的多样性-质量权衡。

• 互补性： 结果表明，低对齐（高多样性）模型与高对齐（高质量）模型之间的协作对于共同优化这两个目标至关重要，其表现甚至优于两个对齐模型之间的协作。
• 可控性： 不同于通过降低质量来换取多样性的温度缩放，BACO 提供了一种通过路由阈值 $\gamma$ 遍历多样性-质量谱系的有原则的方法。
• 广泛适用性： 该框架适用于各种开放式任务，包括创意写作和对话，并可扩展到长文本生成。
• 未来方向： 作者将 BACO 定位为迈向 LLM “广度思考（breadth thinking）”模式的一步，即模型在收敛之前探索广泛的观点空间，这可能有助于人类打破“信息茧房”。

作者对局限性保持了审慎态度，指出 BACO 每个 Token 会产生约 $2\times$ 的 FLOPs 开销（尽管与组大小无关），且目前的原型尚未进行完全的速度优化。他们也承认，增强的多样性可能会在安全防护措施失效时放大有害生成，因此强调 BACO 是对安全性对齐的补充，而非替代。