Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback

技术摘要：可证明的多元对齐 (Provable Pluralistic Alignment)

问题陈述

本文探讨了强化学习人类反馈（RLHF）中的多元对齐 (pluralistic alignment) 问题。标准的 RLHF 流水线通常假设存在单一的潜在奖励函数，将所有人类反馈汇聚成一个数据集。这种方法在用户（参与方）持有异质、持久且可能冲突的偏好时会失效。这种做法丢弃了关于“谁持有何种偏好”的信息，并隐含地强制执行了一种特定的规范性聚合规则（例如多数票决制），而没有经过显式设计。

核心挑战在于：如何在不先将异质反馈坍缩为单一隐式奖励模型的情况下，从离线的、带有参与方索引的比较数据中学习单一的集体策略 (single collective policy)。该问题要求在同时估计未知的特定于参与方的偏好，并选择一个满足显式社会福利目标（social-welfare objective）的策略的同时，还要考虑到由有限且分布不均的离线数据所带来的统计不确定性。

方法论

作者提出了一个统一的框架，将统计偏好学习与规范性偏好聚合进行分离。该框架在两种不同的机制下运行：

1. 奖励可表示机制 (线性低秩模型)

• 模型： 每个参与方 $m$ 遵循一个线性的 Bradley–Terry–Luce (BTL) 偏好模型 $R_m(s,a) = \theta_m^\top \phi(s,a) + C_0$。至关重要的是，奖励参数 $\theta_m$ 共享一个低秩结构：$\theta_m = U^* \alpha_m^*$，其中 $U^*$ 是共享的低维表示，而 $\alpha_m^*$ 是特定于参与方的系数。
• 算法 (悲观纳什福利)：
  1. 联合估计： 通过使用所有带有参与方索引的数据集，通过极大似然估计 (MLE) 联合估计共享表示 $U$ 和特定于参与方的系数 $\alpha_m$。
  2. 置信集： 在估计值周围构建特定于参与方的置信集 $\Theta_B(\hat{\theta}_m)$，以量化统计不确定性。
  3. 悲观优化： 通过在这些置信集上最大化悲观社会福利目标来选择集体策略。对于纳什福利，其定义为：
     $$\hat{J}(\pi) = \min_{\Theta \in \Theta_B(\hat{\Theta})} \left( \prod_{m=1}^M \mathbb{E}_{s \sim \rho} [R_{\theta_m}(s, \pi(s))] \right)^{1/M}$$
  4. 该方法可扩展到功利主义 (Utilitarian)（算术平均）和平等主义 (Egalitarian)（最大最小）目标。
• 扩展： 该框架利用基于轨迹的占用度量 (occupancy measures)，从上下文老虎机 (Contextual Bandits) 推广到了马尔可夫决策过程 (MDP)。

2. 通用成对偏好机制 (非标量奖励)

• 模型： 偏好可能无法通过标量奖励表示，并且可能是随机的、非传递的或循环的。偏好直接通过成对比较概率进行建模。
• 算法 (悲观冯·诺依曼获胜者)：
  1. 聚合： 估计特定于参与方的成对偏好矩阵，并将其聚合（使用等权重）形成群体层面的矩阵。
  2. 置信界限： 为聚合后的偏好矩阵构建元素级下置信界限。
  3. 博弈论优化： 通过使用偏好矩阵的下置信界限求解零和矩阵博弈，计算出悲观冯·诺依曼获胜者 (pessimistic von Neumann winner)。这产生了一个随机策略，旨在最大化相对于竞争策略的最坏情况聚合偏好余量。

核心贡献

1. 端到端框架： 本文提出了从带有参与方索引的离线比较中学习集体策略的框架，明确地将学习异质奖励的统计任务与聚合它们的规范性任务解耦。
2. 异质奖励的有限样本理论： 在共享低秩线性模型的假设下，作者提供了以下方面的非渐近界限：
   • 奖励估计： 估计特定于参与方的奖励的误差规模为 $O\left(\sqrt{\frac{1}{n}\left(r^2 + dr^2 \log\frac{d}{M} + \log\frac{M}{\delta}\right)}\right)$，证明了联合学习通过利用共享结构来降低样本复杂度，优于独立学习。
   • 策略次优性： 建立了所得集体策略在纳什、功利主义和平等主义目标下的次优性界限，展示了估计不确定性如何通过非线性福利函数进行传播。
3. 通用成对偏好保证： 对于不存在标量奖励的设置，本文构建了一个悲观冯·诺依曼获胜者，并推导了有限样本性能保证，确保即使在存在循环或非传递偏好的情况下，该策略也是一个近似获胜者。
4. 效率保证： 所得策略被证明是近似帕累托有效 (Pareto efficient) 的（在奖励机制下）以及近似事后有效 (ex-post efficient) 的（在通用机制下），确保没有任何参与方可以在不损害他人的情况下显著改善自身。

结果

• 理论界限： 本文确立了所学策略的次优性取决于共享表示维度 $r$、参与方数量 $M$ 以及离线数据覆盖范围（通过集中系数）。当 $r^2 \ll \min\{M, d\}$ 时，这些界限优于单参与方 RLHF 的界限。
• 数值演示： 上下文老虎机设置下的模拟表明：
  • 联合低秩估计法在纳什、功利主义和平等主义次优性方面，显著优于独立估计和数据汇聚 (pooling) 基准。
  • 当参与方存在偏好冲突时，数据汇聚基准无法识别折衷策略（例如选择中间立场），而本文提出的方法能成功学习分歧的结构。
  • 通用成对偏好方法随着样本量增加趋向于最优冯·诺依曼获胜者，而数据汇聚基准仍保留着非消失的误差间隙。

意义与主张

本文将自己定位为最早将异质人类反馈形式化为显式多方 RLHF 问题的理论研究之一。其主要主张是，它提供了结合以下三者的首个有限样本保证：

1. 共享低秩的特定于参与方的奖励学习。
2. 悲观非线性社会福利优化。
3. 离线策略选择。

作者认为，他们的框架使偏好聚合成为一个显式的、统计上可分析的设计选择，而非数据汇聚的隐式结果。通过保留参与方身份并使统计不确定性通过聚合规则进行传播，该方法解决了多元对齐的核心挑战：即如何从有限的、异质的且可能循环的反馈中学习，从而产生一个具有显式集体福利保证的单一策略。

本文承认了局限性，指出其假设了观察到的、持久的参与方身份以及非策略性反馈。作者澄清说，随后的工作已探索了策略性激励、主动数据收集和可扩展优化，但断言这项工作为这些方向奠定了统计框架的基础。