🤖 machine learning

Towards a theory of inference-time alignment with unknown rewards

本文通过定义一个完整表征可学习性的新颖“对齐维度”，并提出一种利用一包含图将弱参考策略转化为强学习器的锦标赛算法，为未知奖励下的推理时对齐建立了一个 PAC 学习框架。

原作者： Steve Hanneke, Hongao Wang, Mingyue Xu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Steve Hanneke, Hongao Wang, Mingyue Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，一个核心挑战是确保计算机程序的行为能够符合人类的意图。虽然现代系统可以生成流畅的文本并解决复杂的问题，但它们有时会产生荒谬、有害或仅仅是无用的输出。为了解决这个问题，研究人员开发了将这些模型与人类价值观进行“对齐”的方法。一种常见的方法涉及在大量数据上训练模型，在这些数据中，人类或其他人工智能对不同的回答进行了排序，从而教会系统偏好好的答案而非坏的答案。另一种被称为“推理时对齐”（inference-time alignment）的方法则不改变模型的内部代码。相反，它在使用的瞬间充当一个过滤器：系统生成多个可能的答案，然后由一个单独的评分机制挑选出最好的一个展示给用户。这种方法之所以流行，是因为它具有灵活性，且不需要进行昂贵的整个系统重训练过程。然而，尽管这些技术在实践中效果良好，科学家们仍难以从数学角度解释它们究竟为何有效，以及是什么限制了它们的成功。

普渡大学的一个研究小组现在通过构建一个新的统计框架来理解推理时对齐，向填补这一空白迈出了重要一步。他们将这个问题视为一个学习任务，即如何利用数据将一个“弱”的起点改进为“强”的结果。想象一个通常具备能力但偶尔会犯错的参考模型；它作为一个基准，生成一组候选答案列表。目标是利用人类偏好数据集，教导一个新系统如何可靠地从该列表中挑选出唯一的最佳答案。研究人员提出了一个根本性的问题：在没有任何关于评分系统运作方式的先验知识的情况下，仅凭数据是否真的可能学会这种选择技能？他们发现，答案完全取决于用于评判答案的规则的复杂度。

该团队发现，并非所有的评判规则集都是可以被学习的。他们引入了一种衡量这些规则复杂度的新方法，称之为“对齐维度”（alignment dimension）。可以将这个维度想象成衡量规则可能使系统产生矛盾或困惑的不同方式的数量。如果这个数值是有限的，意味着规则具有可控的复杂度，那么只要有足够的数据，就可以设计出一种算法，最终能以近乎完美的准确率选出正确答案。如果该维度是无限的，则说明规则过于混乱，无论收集多少数据都无法被学习。这一发现提供了一个完整的数学保证：一个奖励系统是可学习的，当且仅当其对齐维度是有限的。这是对以往理论的一次重大转变，以往的理论通常假设研究人员已经对评分系统有了完美的理解，或者假设规则简单到可以用固定数量的参数来描述。

为了证明这一点，研究人员设计了一种特定的学习程序，其运作方式类似于一场锦标赛。当系统需要做出选择时，它不仅仅是在数据中看一次并做出猜测。相反，它会将可能的答案组进行两两对比。对于每一对其中一个组不是另一个组的明确子集的组，系统会运行一个专门的比较算法，以决定哪一组更有可能包含正确答案。通过在所有可能的对组之间运行这些比较，系统会不断缩小范围，直到剩下一个规模较小、高度可靠的候选集，从中选出最终答案。这种方法之所以奏效，是因为它利用了这样一个事实：初始模型虽然并不完美，但生成一个好答案的概率是恒定的。通过采样足够的候选对象并利用锦标赛逻辑进行过滤，系统可以将成功率提升到任意高的水平。

论文还阐明了这项新理论排除了哪些情况。研究表明，仅仅尝试记忆训练集中的最佳答案（一种被称为经验风险最小化的方法）本身是不够的。在某些情况下，系统可能需要依赖数据的特定结构以及在测试时采样新候选对象的这种能力，而不仅仅是回忆在训练期间看到的内容。研究人员证明，对于某些类型的复杂奖励系统，如果没有这个额外的采样步骤，任何数量的训练数据都不足以让标准的学习算法取得成功。他们的工作表明，成功的对齐关键在于奖励规则的复杂性与测试时生成多个选项的能力之间的相互作用。

这项研究代表了迈向严谨的人工智能对齐理论的基础性一步。通过定义实现对齐的具体条件，作者为未来的发展提供了明确的目标。他们将该领域从试错法转向了数学化的路径，提供了一个数学证明，告诉工程师他们的对齐策略何时会奏效，何时会失败。虽然目前的研究侧重于二元奖励（即一个答案要么是好的，要么是坏的），但该框架为理解更复杂的实值评分系统打开了大门。最终目标是建立一套原则，用以指导更安全、更可靠的人工智能系统的创建，确保随着这些模型变得更加强大，它们遵循人类意图的能力在数学上依然得到保证。

技术摘要：迈向未知奖励下的推理时对齐理论

问题定义
本研究探讨了推理时对齐（inference-time alignment）的统计学习基础。这是一种在测试时根据奖励信号选择或引导生成模型响应的范式，其特点是在不更新模型参数的情况下进行（不同于基于人类或 AI 反馈的强化学习 RLHF）。作者将其表述为一个在未知奖励假设下的弱到强学习问题。

该设定涉及：

参考策略 ( $\pi_{ref}$ ): 一个“弱学习器”（例如预训练模型或 SFT 模型），用于生成候选响应。假设它对于任何输入 $x$ ，生成“好”响应（奖励 $r^*(x, y) = 1$ ）的概率为常数 $\gamma$ 。
奖励类 ( $\mathcal{R}$ ): 二进制奖励函数 $r: \mathcal{X} \times \mathcal{Y} \to \{0, 1\}$ 的集合。真实的奖励 $r^*$ 是未知的，但属于 $\mathcal{R}$ 。
数据生成: 训练数据由 $m$ 个独立同分布（i.i.d.）的样本组成。每个样本包括一个输入 $x_i$ 和一个由 $\pi_{ref}(\cdot|x_i)$ 生成的候选响应“列表（slate）” $\{y_i^{(1)}, \dots, y_i^{(k)}\}$ 。学习者观察到“好”响应的索引集合 $A_{r^*}(z_i) = \{j : r^*(x_i, y_i^{(j)}) = 1\}$ 。
目标: 设计一种学习算法，在给定测试输入 $x$ 和来自 $\pi_{ref}$ 的 $k$ 个候选响应列表时，能够以高概率（ $1-\epsilon$ ）选择一个索引 $j$ ，使得 $r^*(x, y^{(j)}) = 1$ 。

作者通过移除“可以访问预估奖励模型”这一假设，将本研究与现有的理论文献区分开来。相反，他们将此视为从零开始的学习问题，即奖励函数本身必须从有限的偏好数据中推断出来。

方法论与核心概念
本文引入了一种新的组合维度，用以刻画奖励类的可学习性：

对齐维度 ( $d_{ALN}(\mathcal{R})$ ):
如果存在一组输入 $\{x_1, \dots, x_d\}$ ，使得对于任何二元向量 $b \in \{0, 1\}^d$ ，都存在一个奖励函数 $r_b \in \mathcal{R}$ 满足 $r_b(x_i, y_i^{(b_i)}) = 1$ 且 $r_b(x_i, y_i^{(1-b_i)}) = 0$ ，则称该输入集被 $\mathcal{R}$ 对齐破碎（alignment shattered）。对齐维度即为这类破碎集合的最大规模。
非支配 Natarajan 维度:
为了证明可学习性，作者将该问题与用于部分概念类的 一包含图（One-Inclusion Graph, OIG） 算法联系起来。他们为诱导出的集合值接受类（set-valued acceptance class）定义了一个“非支配 Natarjan 维度”。他们证明了该维度受限于对齐维度。
学习算法（针对非支配对的锦标赛算法）:
所提出的学习程序是转导式的（transductive），并在推理时运行：
- 对于测试列表 $Z$ ，算法考虑所有非空子集对 $(A, B)$ ，其中两者互不为子集（即 $A \not\subseteq B$ 且 $B \not\subseteq A$ ）。
- 对于每一对，构造一个包含真实接受集为 $A$ 或 $B$ 的训练子集。
- 在该子集上运行 OIG 算法，以预测真实的接受集是 $A$ 还是 $B$ 。
- 此过程形成了一个“锦标赛”，将可能的接受集缩小到一个链（chain）。最终的预测是位于存活集合交集中的任何响应索引。

主要结果
本文对**对齐可学习性（alignment learnability）**给出了完整的刻画：

定理 1: 奖励类 $\mathcal{R}$ $R$ 是对齐可学习的，当且仅当其对齐维度 $d_{ALN}(\mathcal{R})$ $d_{A L N} (R)$ 是有限的。
- 上界（定理 2）: 若 $d_{ALN}(\mathcal{R}) < \infty$ ，所提议的锦标赛算法可以在样本量 $m$ 和推理时列表大小 $k$ 为维度、 $\epsilon$ 、 $\delta$ 及 $\gamma$ 的有限函数的情况下，实现 $(\epsilon, \delta)$ -可学习性。
- 下界（定理 3）: 若 $d_{ALN}(\mathcal{R}) = \infty$ ，则不存在任何学习算法能在有限样本下实现对齐可学习性。证明过程利用概率方法构建了一个困难实例，表明无限维度意味着存在某些分布，使得学习者无法区分真实的奖励函数。

意义与主张
作者将这项工作定位为迈向通用对齐问题严谨统计学习理论的先驱性步骤。关于论文贡献的主要主张包括：

新颖框架: 这是首个将推理时对齐表述为统计学习问题的工作，其中奖励是未知的并完全从数据中学习，这与先前假设可以访问良好奖励估计值的研究形成了对比。
理论刻画: 引入的对齐维度提供了一个必要且充分的条件来判定可学习性，类似于二分类中的 VC 维度，但针对从多个候选者中选择一个“好”响应的特定约束进行了定制。
与现有范式的区别: 作者澄清了其设定不同于多分类学习（只有一个正确标签）和列表学习（输出标签列表）。在本文设定中，可能存在多个正确的响应，但学习者必须成功识别出其中的一个。
对范围的谦逊说明: 作者承认了局限性，指出目前的公式假设了二进制奖励和实现情况（realizable settings）。他们明确指出，其学习程序是非标准的（依赖于测试时计算和元组排序假设），并将如何将该理论扩展到单响应训练数据、实值奖励或基于偏好的学习（如 Bradley-Terry 模型）视为未来的研究方向。

论文总结道，确立对齐维度作为基础复杂度度量，为理解何时以及如何实现推理时对齐提供了理论基础，从而可能为开发更系统的实际对齐原则提供指导。

技术摘要：迈向未知奖励下的推理时对齐理论

类似论文