技术摘要：人工智能算法中偏好使用的最优策略

1. 问题陈述

本文探讨了人工智能（AI）系统部署中的一个基本架构选择问题：下游偏好（例如，非对称成本、安全优先级或效用权重）应当在何处应用？

这一选择在于两种流水线之间的权衡：

1. 偏好嵌入（Preference Embedding）： 直接使用编码了特定偏好的损失函数进行训练（例如，类加权交叉熵）。模型学习输出一个针对特定决策规则进行优化的信号。
2. 分离（后处理）（Separation/Post-Processing）： 使用“无偏好”的目标函数进行训练，以学习校准后的概率（底层真相），随后通过决策规则（例如，阈值化）应用偏好。

虽然经典决策理论认为偏好应包含在损失函数中以对预测结果进行排序，但本文指出，当学习是内生的（即损失函数决定了算法学习的内容）时，嵌入偏好会扭曲信息获取过程。本文研究了分离“信念的学习”与“偏好的应用”是否能在广泛的决策问题类别中产生更优的福利。

2. 方法论与框架

2.1 信息设计与凸序

本文将训练建模为信息结构的内生选择，借鉴了贝叶斯劝说（Bayesian persuasion）和信息设计（Information Design）（Kamenica and Gentzkow, 2011）。

• 表示： 训练后的预测器由其对二元状态 $Y \in \{0, 1\}$ 诱导出的后验分布 $Q$ 来表示。
• 凸序（Convex Order）： 本文利用凸序 ($\succeq_{cx}$) 来比较信息结构。如果 $Q$ 是 $Q'$ 的均值保持扩展（mean-preserving spread），则称 $Q$ 比 $Q'$ 更具信息量（即 $Q'$ 是 $Q$ 的均值保持收缩）。
• 福利联系： 根据引理 1，任何期望效用决策问题的间接价值函数 $V(q)$ 关于信念 $q$ 是凸的。因此，引理 2 确立了对于任何期望效用决策问题，更具信息量的后验分布（在凸序意义下）都弱优于信息量较少的后验分布。

2.2 带有摩擦的学习

该模型将训练视为减少预期贝叶斯风险与承担学习摩擦（$C(Q)$）之间的权衡。

• 假设 1： 训练后的算法选择后验分布 $Q$，以最小化 $E[H(Q)] + C(Q)$，其中 $H$ 是训练损失的贝叶斯风险，$C$ 代表摩擦（例如，正则化、容量限制、优化成本）。
• 假设 2（单调摩擦）： 学习摩擦在凸序中是单调的；更具信息量的信号产生成本更高。
• 假设 3（信息边际价值递减）： 这是核心原语。它假定嵌入偏好（增加偏好指数 $t$）会降低额外信息量的边际价值。形式上，偏好嵌入损失与无偏好损失之间的贝叶斯风险增量是关于信念的凸函数。这意味着偏好嵌入会“压平”学习激励，使得贝叶斯风险的减少对信念离散度的增加不再敏感。

2.3 决策阶段摩擦（理性不注意）

为了解决分离可能失效的情况，本文引入了基于理性不注意（Rational Inattention）（Sims, 2003）的决策阶段摩擦。

• 假设 5： 用户面临与处理的互信息成正比的认知成本。如果用户无法无成本地重新设计或模糊信号（即“有限菜单”），他们可能会倾向于选择信息量较少但认知成本较低的信号（偏好嵌入型），而非信息量丰富但认知负担较重的信号（无偏好型）。

3. 关键结果

3.1 收缩结果（定理 1）

在假设 1、3 和 4（最优后验的可比性）下，本文证明了偏好嵌入会导致所学后验分布发生均值保持收缩。

• 若 $t_1 > t_0$（$t$ 表示偏好嵌入的程度），则最优后验 $Q_{t_0}$（无偏好型）在凸序上优于 $Q_{t_1}$（偏好嵌入型）。
• 机制： 偏好嵌入降低了贝叶斯风险的曲率，从而降低了生成离散（信息丰富）后验的边际收益。在固定的学习摩擦下，优化器会响应这种变化，选择一个离散度较低（信息量较少）的信号。

3.2 稳健的分离原则（定理 2）

由于间接效用关于信念是凸的，收缩结果意味着稳健的福利优势：

• 结果： 对于任何期望效用决策问题，使用严格适当评分规则（strictly proper scoring rule）进行训练并随后应用偏好，弱优于使用偏好嵌入损失进行训练。
• 启示： 这为模块化 AI 流水线提供了决策问题无关的理论基础。分离保留了信息的“期权价值（option value）”，使得同一个预测器能够服务于多样化、多变或存在争议的下游目标。

3.3 无偏好损失的选择（命题 4）

本文澄清了“无偏好”并不意味着唯一的损失函数。在严格适当评分规则中，本文确立了一个曲率序：

• 具有更凹贝叶斯风险的损失函数（例如，在特定归一化下，Log Loss 相对于 Brier Loss）会诱导更具信息量的后验分布，并在保持学习摩擦不变的情况下，对于所有决策问题都表现出弱优性。

3.4 偏好嵌入占优的情形（定理 3）

本文识别了偏好嵌入成为最优解的条件，即当决策阶段摩擦成为约束时。

• 反转条件： 如果处理丰富概率信号的认知成本很高（高 $\lambda_{cog}$），且从嵌入带来的信息损失（$\Delta I$）相对于注意力节省（$\Delta MI$）而言较小，那么在前端嵌入偏好可以提高福利。
• 解释： 嵌入起到了一种信息压缩的作用，减轻了用户的认知负担，这为“算法厌恶”或对复杂概率而非简单启发式方法的偏好提供了合理化解释。

3.5 在 RLHF 中的应用（定理 4、5 及命题 6）

该框架被应用于大语言模型（LLM）中的基于人类反馈的强化学习（RLHF）：

• RLHF 作为嵌入： RLHF 被解释为生成器输出分布向特定奖励标量化的指数倾斜。
• 固定目标（定理 4）： 如果部署目标是稳定的且与奖励一致，RLHF 通过移动平均可接受水平来提高福利（一阶随机占优）。
• 目标不确定性（定理 5）： 如果目标是变化的（例如，不同的用户、变化的安全性政策），嵌入单一标量化会施加一种**“能力税（capability tax）”**。生成器会变得专门化于训练目标，从而丧失了针对其他目标的灵活性（期权价值）。
• 奖励误设（命题 6）： 在存在误设奖励的情况下，激进的优化（小 $\lambda$）会放大古德哈特定律（Goodhart's law），将生成器推向那些与代理奖励相关但与真实质量无关的伪特征。

4. 重要性与主张

本文声称通过调和机器学习实践中两个相互竞争的直觉，为模块化 AI 设计提供了理论基础：

1. 成本敏感学习： 处理非对称误差时对损失进行加权的实践。
2. 校准与阈值化： 学习概率并在随后应用阈值的实践。

核心贡献：

• 决策问题无关性： 不同于以往需要特定下游目标的作法，本文的福利结果统一适用于任何期望效用决策问题。
• 内生学习： 本文超越了静态看待损失函数的视角（即损失仅影响排序），展示了损失函数从根本上改变了模型所获取的信息。
• 设计指导：
  • 保留选择权： 当目标具有不确定性、存在争议或处于变化中时，分离（学习校准概率，然后进行后处理）是最优的。
  • 嵌入偏好： 当决策阶段摩擦（认知约束、延迟、无法实现复杂规则）占据主导地位时，嵌入偏好可以通过自动化阈值计算并减轻认知负担来提高福利。
  • 公平性与安全性： 本文结果为维持一个“无偏好”的预测核心以实现公平性和安全性提供了经济学依据，通过透明的后处理层来实现约束，这些层可以进行审计和更新，而无需重新训练核心模型。

本文得出结论，最优设计应实现分工最大化：构建能够保留信息的通用能力，并在决策点应用判断，除非下游实现摩擦使得分离变得不切实际。