A Descriptive and Normative Theory of Human Beliefs in RLHF

技术摘要：关于人类信念的描述性与规范性理论（RLHF 背景下）

问题陈述
传统的基于人类反馈的强化学习（RLHF）将人类偏好建模为人类奖励函数或智能体最优状态-动作值（$A^*$）的函数。包括基于回报（return-based）和基于遗憾（regreg-based）的模型在内的标准方法，都假设标注者根据实际发生的轨迹或一个最优智能体可能实现的轨迹来进行评估。然而，本研究指出，人类标注者同样持有关于正在训练的智能体实际能力的信念。如果标注者假设一个智能体是优化的，而实际上它并非如此（或反之亦然），其提供的偏好可能会导致 RLHF 后的策略出现灾难性或次优的结果。本文研究了两个核心问题：（1）人类标注者对智能体能力的信念是否在描述性层面影响了他们提供的偏好？（2）从规范性角度来看，为了最大化最终策略的性能，标注者应当持有怎样的理想信念集？

方法论
作者提出了一个基于信念的偏好模型，并通过理论分析、合成实验和人类受试者研究对其进行了验证。

1. 理论框架：

   • 作者将智能体能力信念定义为一个 $Q$ 函数（$Q^{\pi_{belief}}$），代表标注者对 RLHF 后智能体策略的估计。
   • 他们引入了一种新的偏好模型（公式 3），其中偏好轨迹 $\sigma^+$ 优于 $\sigma^-$ 的概率是由优势函数 $A^{\pi_{belief}}$ 而非最优优势 $A^*$ 决定的。
   • 规范性理想： 本文定义的规范性理想信念（$Q^{\pi^*_{belief}}$）并非绝对的最优性，而是指在给定智能体约束（例如函数逼近限制、噪声执行器）的情况下，能够产生最高预期回报的信念。
   • 理论界限： 作者推导出了一个关于 RLHF 后策略性能损失的正式界限（定理 4.3），该损失是“智能体-标注者不一致性”（$\delta$）的函数，其中 $\delta$ 定义为最优信念与标注者实际信念之间的偏差幅度。该界限表明，预期回报会随着这种不一致性的幅度呈线性下降。

2. 合成实验：

   • 作者在 GridWorld 领域进行了实验，其中智能体的能力受到 $\epsilon$-greedy 噪声参数（$\epsilon$）的限制。
   • 通过改变用于生成合成偏好的假设噪声水平（$\epsilon'$）来操纵标注者的信念。
   • 研究测量了在不同真实智能体噪声（$\epsilon$）和假设标注者噪声（$\epsilon'$）矩阵下的训练策略的预期回报。

3. 人类受试者研究：

   • 领域： 自驾驶汽车模拟器（CARLA）。
   • 干预措施： 参与者被分配到三种条件下：（1）对照组（无启动）；（2）安全启动（观看一段汽车安全且胜任驾驶的视频）；（3）不安全启动（观看一段汽车漂移并发生碰撞的视频）。
   • 任务： 参与者对成对的驾驶轨迹提供偏好，在更快/更冒险的路径与更慢/更安全的路径之间做出选择。
   • 分析： 研究使用情感分析（通过 GPT-4）对关于汽车能力的自由文本反馈进行处理，并对李克特量表（Likert-scale）偏好数据进行统计检验（Kruskal-Wallis 和 Dunn's test），以确定启动（priming）是否改变了信念及随后的偏好。

核心贡献

1. 揭示不一致性： 本文证明了人类信念与智能体实际能力之间的不匹配会导致次优策略，即使标注者是基于其（错误的）信念表现出“理性”。
2. 规范性理论： 它定义了一个相对于智能体可实现性能上限（而非绝对最优性）的标注者理想信念，并提供了由于偏离该理想而导致的遗憾（regret）的理论界限。
3. 经验验证信念的影响： 人类研究证实，人类对智能体能力的信念显著影响了偏好的生成。具体而言，通过关于智能体能力的信息（安全 vs 不安全）对参与者进行启动，在统计学上显著地改变了他们的偏好。
4. 假设最优性的次优性： 合成实验表明，当智能体具有内在性能限制（如高噪声）时，假设智能体是最优的（标准的基于遗憾的方法）往往是次优的。

结果

• 理论方面： 推导出的界限（公式 4）确立了 RLHF 后策略的预期回报，其下界为最优回报减去一个与智能体-标注者不一致性（$\delta / (1-\gamma)$）成正比的项。
• 合成实验方面： 在 GridWorld 实验中，当标注者的假设噪声（$\epsilon'$）与智能体的真实噪声（$\epsilon$）接近时，获得了最高的策略回报。当在智能体具有噪声（$\epsilon=0.3$ 或 $0.5$）时仍假设智能体是最优的（$\epsilon'=0$），会导致显著较低的回报，因为智能体会学习到其无法安全执行的冒险行为。
• 人类研究方面：
  • 信念： 对自由文本响应的情感分析显示，与“安全启动”组相比，“不安全启动”组的参与者对汽车能力的信心显著较低。
  • 偏好： 统计分析显示，安全启动组和不安全启动组之间的偏好存在显著差异（$p=0.015$）。接受不安全行为启动的参与者更倾向于选择更安全、更慢的轨迹，而接受安全行为启动的参与者则更愿意接受风险更高、速度更快的轨迹。
  • 结论： 人类的偏好并非静态的；它们受到人类对智能体当前能力的信念的影响。

意义与主张
本文声称，减少人类信念与智能体能力之间的差距对于提高 RLHF 性能至关重要。文章认为，当智能体是不完美的时候，基于绝对最优性的标准理性假设是不充分的。作者建议从业者应主动管理标注者的信念，使其与智能体的实际能力保持一致。

作者提出了两项具体的最佳实践：

1. 告知标注者： 在数据收集前，直接向标注者传达已知的智能体限制（例如，数据约束、物理极限）。
2. 间歇性启动： 使用在线偏好收集循环，让标注者通过演示（demonstrations）接触到智能体当前的策略，从而持续更新其信念。

作者强调，这种校准必须是“真实的”（代表实际的在策略行为），以避免操纵。他们总结道，尽管其理论界限是在表格化设置（tabular settings）下推导的，且人类研究仅作为概念验证，但结果指向了 RLHF 最佳实践的一个必要转变：将人类信念视为一个必须与智能体现实相对齐的变量，以确保安全且有效的对齐。