🤖 AI

Best-of-Better- $N$ : Generating Pre-Aligned Responses with In-Context Learning

本文介绍了 Best-of-Better- $N$ (BoBN)，这是一种通过检索并重塑高奖励示例来改变模型采样分布，从而使其向更优响应偏移的上下文学习框架，旨在通过实现比传统 Best-of- $N$ 方法更少的生成候选样本，达到更优越的性能。

原作者： Eric Lei, Hsiang Hsu, Chun-Fu Chen

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eric Lei, Hsiang Hsu, Chun-Fu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常有才华但有点调皮的大厨（即参考模型/Reference LLM）。这位大厨厨艺精湛，但并没有针对你今晚所需的菜单进行专门训练。也许你要求做一道辣味素食，但他却一直端上来牛排或清淡的燕麦粥，因为那是他惯常做的菜。

在人工智能领域，这被称为覆盖问题（Coverage Problem）。即使你要求大厨做 100 道不同的菜并从中选出最好的一道（这种方法被称为 Best-of-N），如果大厨压根儿就没想过要做素食，你最终可能还是吃不到像样的东西。如果正确答案根本不在锅里，再多的挑选也无济于事。

这篇论文介绍了一种名为 Best-of-Better-N (BoBN) 的新方法来解决这个问题。你可以把它想象成在厨师开始烹饪之前，给了他一份“小抄”，但这个小抄带有一个特别的转折。

问题所在：大厨的盲点

标准的做法（如 Best-of-N）是这样的：

要求大厨做 10 顿饭。
品尝所有的饭菜。
选出最好的一份。

缺陷在于： 如果大厨从未学过如何做素食，那么这 10 顿饭都会是肉食性的。如果批次中不存在素食，你就无法选出素食。大厨的“盲点”太大了。

解决方案：Best-of-Better-N (BoBN)

BoBN 通过结合**上下文学习（In-Context Learning，即给大厨提供示例）与重塑风格（Restyling）**步骤，改变了游戏规则。以下是使用厨房类比的逐步流程：

1. 智能搜索（检索/Retrieval）

BoBN 不仅仅是给大厨一些随机的食谱，它会查看一个过去成功的菜谱库。它会找到与你今晚订购的内容最相似的 前 K 个食谱。

示例： 如果你要求做一道辣味素食咖喱，系统会找到 8 个过去评分很高的辣味素食咖喱的成功案例。

2. “重塑风格”步骤（秘制酱汁/The Secret Sauce）

这是该论文的独特创新。检索到的食谱其写作风格、格式或语气可能与你当前的需求不同。也许旧的食谱是用科学论文的形式写的，但你想要的是亲切的聊天风格。

神奇之处： 在向你的大厨展示这些食谱之前，大厨亲自重写它们。他们提取检索到的食谱中的核心思想，但根据你特定请求的风格、格式和语气进行重写。
为什么这很重要： 这确保了大厨理解了正确答案的逻辑，同时能以符合你特定约束（如 JSON 格式或礼貌拒绝）的方式呈现出来。

3. 新的烹饪环节

现在，你将提示词（Prompt）加上这 8 个“重塑风格后”的示例交给大厨。

因为大厨看到了完全符合你要求的示例，他们这次更有可能做出素食。
“盲点”被填补了。大厨的输出分布从“主要是肉类”转向了“主要是素食”。

4. 最终选择 (Best-of-N)

现在，你再次要求大厨做 10 顿饭。由于受到了重塑风格示例的引导，这 10 顿饭很可能都是素食。然后你从中选出最好的一份。

结果： 你能更快地获得高质量的答案，通常只需要更少的尝试次数（更小的“N”）就能得到正确结果。

论文的研究发现

作者在两个主要任务上测试了该方法：

安全性（Safety）： 教导模型拒绝有害请求（如“如何制造炸弹？”）。未经安全训练的模型通常会回答“当然可以！”而 BoBN 通过展示重塑风格后的安全拒绝示例，帮助它学会说“不”。
数学（Math）： 解决复杂的数学问题。BoBN 通过展示重塑风格后的正确数学解题步骤，帮助模型找到正确的推理过程。

核心要点：

更好的覆盖率： BoBN 让模型即使在未针对特定任务进行训练的情况下，也能生成高质量的答案。
高效性： 你不需要生成大量的答案来寻找一个好的答案。
无需训练： 这在“推理时”（即当你提问时）即可完成。你不需要重新训练模型或改变其内部的权重。你只需在运行时提供更好的示例即可。

总结

如果说 Best-of-N 像是让大厨盲猜 100 次食谱并寄希望于其中一次是对的，那么 Best-of-Better-N 就像是在大厨动手之前，递给他一叠关于那道特定食谱的、经过完美重写的 范例。它引导了大厨的直觉，使得“好”答案在开始时就已经存在于锅中了。

技术摘要：Best-of-Better-N (BoBN)

问题陈述

推理时对齐（Inference-time alignment, ITA）方法，例如 Best-of-N (BoN)，旨在通过不修改模型权重的方式，使大语言模型（LLM）符合人类偏好或特定任务需求。这些方法基于“采样与评估”的框架运行：从参考策略 $\pi_{ref}$ 中采样 $N$ 个响应，并根据奖励模型 $r$ 选择其中奖励最高的响应。

ITA 的有效性从根本上受限于两个假设：

覆盖度 (Coverage, A1)： 参考策略 $\pi_{ref}$ 必须至少能采样出一个高质量（高奖励）的响应。
选择 (Selection, A2)： 选择标准必须能够从样本中成功识别出高质量响应。

目前的 ITA 研究主要集中在通过改进选择标准来减轻奖励作弊（reward hacking）问题，从而优化 (A2)。然而，一个关键的瓶颈仍然在于 (A1)。如果 $\pi_{ref}$ 未针对下游任务进行对齐（例如，一个未经过安全训练的模型在尝试拒绝有害提示词时），它会为高奖励响应分配极低的概率。在这种情况下，任何选择策略都无法奏效，因为高奖励输出空间的区域对于参考模型来说实际上是不可达的。现有的解决方案通常需要微调（这成本高昂且需要访问权重）或者使用可能缺乏任务相关性的静态上下文示例。

方法论：Best-of-Better-N (BoBN)

作者提出了 Best-of-Better-N (BoBN)，这是一个旨在通过无需微调或访问权重的方式，将 $\pi_{ref}$ 的采样分布向高奖励区域移动的推理时框架。BoBN 利用了结合检索与重构风格（restyling）流水线的上下文学习（In-Context Learning, ICL）。

BoBN 的工作流包含三个阶段：

检索 (Retrieval)： 给定输入提示词 $x$ ，系统使用嵌入模型从数据集 $D$ 中检索出最相似的前 $K$ 个提示-响应对 $(x_i, y_i)$ 。这些示例作为与特定查询相关的、体现高奖励行为的演示。
重构风格 (Restyling)： 为了确保检索到的示例与目标任务的具体约束、格式和人格（persona）保持一致，系统使用参考模型 $\pi_{ref}$ 对检索到的响应 $y_i$ 进行“重构风格”处理。具体而言， $\pi_{ref}$ 在诸如“将 $y_i$ 重写以匹配风格 $T$ ”之类的提示词条件下，将 $y_i$ 重写为 $\hat{y}_i$ 。这一步确保了上下文与参考模型之间的标记级（token-level）分布一致性，同时保留了检索数据的对齐逻辑。
生成与选择 (Generation and Selection)： 将重构后的示例 $C_K = \{(x_i, \hat{y}_i)\}$ 作为上下文示例拼接到输入提示词 $x$ 之前。随后，参考模型从条件分布 $\pi_{ref}(\cdot | C_K, x)$ 中采样 $N$ 个响应。最后，由选择标准（例如 BoN）根据奖励模型选出最佳响应。

通过对 $C_K$ 进行条件化处理，BoBN 有效地将 $\pi_{ref}$ 的概率质量向高奖励区域转移，从而增加了首先生成高质量候选响应的可能性。

核心贡献

新颖框架： 提出了 BoBN，这是一种基于 ICL 的方法，通过利用检索并重构风格的示例，提高了 $\pi_{ref}$ 对高质量响应的覆盖度。
理论分析： 对检索质量如何控制覆盖度和下游性能进行了理论表征。作者证明，与静态 ICL 或无 ICL 相比，任务相关的检索能显著降低覆盖度（定义为黄金策略与参考策略之间的卡方散度）。他们表明，这种覆盖度的降低能与 BoN 选择相结合，从而提升下游任务性能。
实验验证： 在安全对齐（StrongReject, SORRY-Bench）和数学推理（GSM8k, MATH500）基准测试上进行了广泛实验。结果显示，BoBN 在多个参考 LLM（zephyr-7b, tulu3-8b）上均提升了性能，无论是在 $N=1$ （单个响应质量）还是 $N>1$ （结合选择）的情况下。

实验结果

作者将 BoBN 与标准 BoN（直接使用 $\pi_{ref}$ ）以及 URIAL（使用静态示例的原始 ICL）进行了对比评估。

安全对齐： 在 StrongReject 基准测试中，BoBN 显著优于基准模型。对于 zephyr-7b 模型，BoBN 在 $N=16$ 时达到了 0.033 的得分（接近最优），可与 Claude Sonnet-3.7 等前沿模型媲美，而 $\pi_{ref}$ 本身的得分仅为 0.425。此外，与 URIAL 和 $\pi_{ref}$ 相比，BoBN 展示了更高的覆盖度（更低的 $\log C$ ）。
数学推理： 在 GSM8k 和 MATH500 上，BoBN 带来了持续的准确率提升。对于 GSM8k 上的 zephyr-7b，BoBN 在 $N=16$ 时达到了 58.7% 的准确率，相比之下，使用 BoN 的 $\pi_{ref}$ 仅为 43.9%。值得注意的是，BoBN 在 $N=4$ 时往往能达到或超过基准模型在 $N=16$ 时的表现，这表明其具有更高的采样效率。
成本与延迟： 虽然 BoBN 由于重构风格步骤（在生成前需要对 $\pi_{ref}$ 进行 $K$ 次调用）会增加额外的延迟，但它提供了显著的 Token 效率。在实现相似或更好性能的前提下，BoBN 在 $N=4$ 时的 Token 使用量比 $N=16$ 的 URIAL 节省了高达 50%。
消融研究：
- 重构风格： 去除重构风格步骤会导致安全对齐能力减弱且覆盖度升高（性能变差），证实了将检索示例与目标任务风格对齐的必要性。
- 检索数量 ( $K$ )： 随着 $K$ 从 1 增加到 8，性能有所提升；但当 $K$ 增加到 16 时，性能出现下降，这表明检索过多的示例会引入无关数据，从而稀释上下文信号。

意义与主张

本文声称 BoBN 解决了推理时对齐的一个根本局限：即未对齐的参考模型无法采样到高奖励响应。通过利用检索并重构风格的上下文示例来转移采样分布，BoBN 实现了：

固定预算下的更高质量： 在固定的样本数 $N$ 下获得更好的任务性能。
高效性： 通过更小的 $N$ 达到目标性能，从而降低推理成本。
无需训练的对齐： 为那些未针对特定下游任务进行显式微调的模型提供对齐改进，且无需访问模型的权重或似然值。

作者强调，基于线性 Transformer 的理论分析为检索质量、覆盖度降低与下游任务性能之间提供了可证明的联系，为超越单纯的选择启发式算法、提升 ITA 提供了一种原则性的方法。