📊 statistics

Preference Learning for AI Alignment: a Causal Perspective

本文提出了一种用于人工智能对齐中奖励建模的因果框架，以应对因果误识别和混杂等挑战，展示了与朴素方法相比，受因果启发的方法如何能够提升模型的鲁棒性和泛化能力。

原作者： Katarzyna Kobalczyk, Mihaela van der Schaar

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Katarzyna Kobalczyk, Mihaela van der Schaar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《偏好学习与 AI 对齐：一种因果视角》的解释。

宏观图景：教导 AI 变得“良好”

想象你正在训练一位才华横溢但天真的学徒（即 AI）来写故事。为了教导他们，你展示两个故事结局的版本，并问：“哪一个更好？”学徒根据你的回答进行学习。这个过程被称为奖励建模。

论文指出，目前教导这些学徒的方式存在缺陷，因为我们关注了错误的东西。我们依赖的是简单的模式（统计规律），而非理解人们喜欢某些故事的真实原因（因果关系）。

问题：“虚假相关”陷阱

作者认为，当前的 AI 模型就像一个在考试中作弊的学生，它死记硬背答案的格式，而不是学习知识本身。

类比：想象你在评判一场烹饪比赛。你注意到，每当一位厨师系着红色围裙时，评委就会给他们高分。
- 天真的 AI：心想：“啊哈！红色围裙让食物味道更好！”于是它开始让所有厨师都系红色围裙。
- 现实：红色围裙与味道毫无关系。系红色围裙的厨师恰好是那天做出了最美味的菜肴的人。围裙只是一个巧合（一种“虚假相关”）。
后果：如果你将这位 AI 派到一个新厨房，那里的厨师系着蓝色围裙，它将惨败，因为它学到了错误的规则。它没有学会什么让食物真正美味，只是学到了训练数据中偶然存在的模式。

核心问题：混淆（“隐藏背景”）

论文引入了一个称为混淆的概念。这发生在当一个隐藏因素同时影响“处理”（AI 看到的内容）和“结果”（人类喜欢的内容）时。

类比：想象一位老师在批改论文。
- A 组：生物学专家撰写关于复杂医学主题的论文。他们写出冗长且充满术语的答案。老师（也是一位生物学家）非常喜欢这些答案。
- B 组：非专家学生撰写关于园艺的简单论文。老师觉得它们很无聊。
- 错误：如果 AI 仅仅查看数据，它可能会得出结论：“冗长且充满术语的答案总是更好。”
- 现实：老师喜欢第一组的原因并非长度或术语，而是主题与老师的专业知识相匹配。“主题”就是隐藏的混淆变量。AI 未能看到，如果你给一位生物学专家一个关于园艺的提示，他们实际上可能更喜欢简单的答案。

论文声称，由于 AI 是在“机会主义”收集的数据上进行训练的（用户问任何他们想问的问题），这些隐藏因素扰乱了学习过程。

解决方案：“因果”视角

作者提出通过因果性的透镜来看待这个问题。他们不问“我们看到了什么模式？”，而是问“如果我们只改变一件事，会发生什么？”

类比：与其只是观看烹饪比赛，评委决定进行一项受控实验。
- “如果我拿这道完全相同的菜，但把它放在蓝色碗里而不是红色碗里，分数会改变吗？”
- “如果我让这个故事变短，但保持情节不变，人们还会喜欢它吗？”

这种方法被称为干预。它帮助 AI 理解，碗的颜色（或文本的长度）并不是魔法成分；重要的是内容。

“潜在”的秘诀

论文建议，我们不能仅仅查看文本的现有形式。我们需要找到潜在因素——那些真正驱动人类偏好的隐形成分。

类比：把文本想象成一杯冰沙。
- 文本：最终的饮料。
- 潜在因素：里面的具体水果、糖和冰块。
- AI 需要学会品尝水果（真实性、有用性、创造力），而不仅仅是品尝盛装它的杯子（使用的具体词汇）。
- 如果 AI 学会“真实性”是关键成分，它就能将这一规则应用到任何冰沙中，甚至是它从未尝过的新口味。这被称为泛化。

实验：证明观点

研究人员使用一个数据集测试了这一想法，他们创建了两组评委：

第一组：只关心有用性。
第二组：只关心无害性。

在现实世界中，这些群体经常要求不同类型的故事，造成了一种混乱的混合。

旧方法（基础模型）：AI 感到困惑。它认为“有用”的故事总是更好，即使评委想要的是“无害”的故事。当规则改变时，它失败了。
新方法（因果/对抗模型）：研究人员构建了一个模型，试图将“有用”特征与“无害”特征分离开来。它学会了忽略混乱的背景噪音。
结果：新模型在猜测评委喜欢什么方面表现更好，即使评委被要求评估他们通常看不到的故事类型。它没有被隐藏的模式所欺骗。

结论

论文总结道，要构建真正与人类价值观对齐的 AI，我们需要停止仅仅收集随机数据，转而设计针对性实验。

当前做法：“这里有 1000 个随机的问题和答案。找出人们喜欢哪些。”（容易在考试中作弊）。
建议做法：“让我们系统地改变答案的一个特征（如长度或语气），同时保持其他一切不变，看看偏好如何变化。”（学习真正的规则）。

通过使用这种“因果”方法，我们可以构建出稳健的 AI，它不会被巧合所迷惑，并且能够处理它从未见过的新情况。

技术摘要：AI 对齐中的偏好学习：因果视角

问题陈述

大型语言模型（LLM）与人类价值观的对齐严重依赖于基于人类反馈的强化学习（RLHF），特别是奖励建模阶段，该阶段模型从成对偏好数据中学习。当前的方法通常将其视为统计回归问题，假设拟合于观测数据集的简单模型能够有效泛化到未见过的提示 - 响应（prompt-response）对。

然而，作者认为这种乐观情绪是不恰当的。观测偏好数据通常是机会性地收集的，即用户既生成提示又评估响应。这导致 LLM 的采样分布、文本的潜在特征以及用户特定的上下文（例如专业背景、目标）之间形成了复杂的相互作用。因此，标准奖励模型容易学习到虚假相关性而非真正的因果因素，从而导致：

因果误判：模型捕捉到长度或格式等伪影，而非质量。
偏好异质性：未能考虑不同的用户目标，导致在特定子群体中表现次优。
混淆：用户特定因素同时影响生成的提示类型和分配的偏好标签，违反了因果推断所需的无混淆性假设。

方法论：因果框架

本文利用因果推断中的潜在结果框架重新构建了偏好学习。

1. 形式化设定

变量：设 $X$ 为提示， $Y, Y'$ 为候选响应， $L \in \{0, 1\}$ 为二元偏好标签。
潜在奖励：作者引入了潜在奖励 $R(x, y)$ 和 $R'(x, y')$ ，代表个体对任意提示 - 响应对假设会分配的奖励。
Bradley-Terry-Luce (BTL) 模型：偏好概率建模为 $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$ 。
根本挑战：仅能观察到已处理 $(X, Y, Y')$ 的结果；其他配对的反事实结果仍然不可观测。

2. 可识别性假设

为了从观测数据中估计潜在结果，本文概述了三个针对此场景调整的标准假设：

一致性：观测到的标签对应于所分配处理的潜在结果。
无混淆性：不存在未观测的混淆因素（即 $L \perp (X, Y, Y')$ ）。本文强调，当用户根据自身特定目标（ $C$ ）编写提示时，这一假设经常被违反，从而产生一个同时影响提示选择和偏好的混淆因素。
正定性：每种处理组合都有非零的发生概率。

3. 潜在处理模型

为了解决自然语言的高维性以及可观测空间中正定性的违反问题，作者提出了潜在处理模型：

潜在因子（ $Z$ ）：观测到的文本被映射到潜在特征 $Z = \{Z_X, Z_T\}$ $Z = {Z_{X}, Z_{T}}$ 。
- $Z_X$ ：提示伪影（例如主题、任务类型）。
- $Z_T$ ：潜在处理（例如简洁性、事实正确性），由提示和响应共同决定。
潜在充分性：奖励仅取决于这些潜在因子，而非原始文本。
潜在正定性：正定性要求在潜在空间中满足，而非在可观测文本空间中满足。这使得模型能够泛化到未见过的文本，只要它们与观测数据共享相同的潜在结构。

4. 缓解策略

本文提出了具体的架构干预措施来处理混淆并提高鲁棒性：

多头架构：将潜在表示的学习与针对特定目标（例如有用性 vs. 无害性）的条件奖励预测分离开来。
对抗训练：引入对抗目标，确保学习到的潜在表示 $\hat{Z}$ 对提示类型（例如“有用”与“无害”子集）是不变的，从而消除提示类型与用户目标之间的虚假相关性，同时保留因果特征。

主要贡献

因果公式化：本文引入了偏好学习的因果框架，明确地将问题定义为干预和潜在结果。
混淆识别：识别并明确解决了由用户特定目标引起的混淆（例如，用户的专业水平既影响他们编写的提示的复杂性，也影响他们对详细答案的偏好），这是以往对齐文献中 overlooked 的因素。
潜在处理框架：提出了一种模型，其中奖励由潜在特征而非原始文本决定，通过潜在充分性假设实现了在分布偏移下的泛化。
实证验证：
- UltraFeedback 实验：表明当潜在因子（真实性与指令遵循）在训练数据中高度相关（违反潜在正定性）时，标准 BTL 模型在分布外（OOD）数据上的性能显著下降。
- HH-RLHF 案例研究：使用带有反事实标签的增强数据集，作者表明，当提示类型与用户目标完全相关（ $\rho=1.0$ ）时，朴素模型无法泛化到不一致的示例。所提出的对抗多头模型在这些高混淆情形下显著优于基线和仅多头模型。

结果

潜在正定性的影响：在 UltraFeedback 实验中，随着潜在因子之间的相关性（ $\rho_{tr}$ ）增加，标准模型在打破该相关性的 OOD 数据上的准确率显著下降（例如，从 $\rho=0$ 时的约 64.5% 下降到 $\rho=0.9$ 时的约 57.8%）。
混淆的影响：在 HH-RLHF 研究中，当提示类型与用户目标的对齐达到完美（ $\rho=1.0$ ）时，所有模型都无法泛化到不一致的样本（准确率 < 55%）。
模型性能：对抗模型在不同水平的混淆下，始终在不一致（OOD）样本上取得最高准确率，表明将潜在表示与用户特定目标解耦可提高鲁棒性。

意义与主张

本文主张，鲁棒的奖励建模需要从统计关联转向因果视角。作者认为：

数据收集至关重要：当前的机会性数据收集实践引入了固有的混淆，限制了奖励模型的可靠性。
干预是必要的：为了应对观测数据的局限性，未来的实践应转向针对性干预（例如主动查询、理由收集和受控文本生成），以确保潜在重叠并识别真正的因果因素。
泛化能力：通过采用因果表示学习并解决混淆问题，模型可以更好地泛化到未见过的提示和多样化的用户群体，这对于安全有效的 AI 对齐至关重要。

作者保持谦逊，指出他们的假设对于可识别性是充分的，但并非严格必要，且现实世界场景通常涉及难以直接测量的未观测混淆因素。他们将这项工作定位为迈向更严谨、具有因果意识的偏好学习的基础性一步。