💻 computer science

Risk-Aware Preference Learning for Stochastic Outcomes

本文表明，在随机机器人导航的偏好学习中，引入累积前景理论来建模人类风险敏感性，与传统的期望效用假设相比，能显著改善奖励函数的恢复并减少遗憾。

原作者： Yi-Shiuan Tung, Yuni Wu, Wei Jiang, Alessandro Roncone, Bradley Hayes

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi-Shiuan Tung, Yuni Wu, Wei Jiang, Alessandro Roncone, Bradley Hayes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何像礼貌的人类一样行事。你不能只写下一长串规则，比如“不要打人”或“走路快点”，因为生活是混乱且充满意外的。相反，科学家们发现了一个聪明的技巧：向机器人展示两种不同的移动方式，然后问人类：“哪一种看起来更好？”通过这样重复成千上万次，机器人可以学习到一个隐藏的“计分卡”，即人类真正看重的东西。这被称为基于偏好的奖励学习（preference-based reward learning）。

然而，大多数这类研究的背后隐藏着一个棘手的假设。它假设人类就像完美的计算器，能够简单地将情况中的好与坏部分相加，并根据它们发生的可能性进行加权。这被称为期望效用（Expected Utility）。但现实中的人类并不是计算器；我们是有情感的。我们会过度担心罕见的灾难（比如车祸），并且比起获得，我们更讨厌失去。这篇论文提出了一个简单的问题：如果我们使用一个假设人类是完美计算器的模型来教机器人，而人类实际上是规避风险、充满情感的决策者，会发生什么？

科罗拉多大学博尔德分校的研究人员决定在模拟世界中测试这个想法，在这个世界里，机器人必须穿过一群行人。在这个世界中，机器人的每一次移动都不是一条单一、确定的路径。相反，它就像掷骰子：机器人可能会平滑地滑行，也可能会撞到某人，或者被卡住。结果是一个可能性的云团，而不是一条直线。

团队设置了一个数字实验，其中包含两种类型的“老师”（即机器人试图学习其偏好的人类）。一位老师是“完美的计算器”，他只关心平均结果（期望效用）。另一位老师是“对风险敏感”的人类，他们使用一种复杂的心理学模型，称为累积前景理论（Cumulative Prospect Theory, CPT）。这个模型解释了现实中的人是如何高估罕见、可怕事件的概率，以及如何比感受平滑路径带来的快乐更强烈地感受到碰撞带来的痛苦。

研究人员随后训练了两类“学生”（即学习算法）。一个学生假设老师是完美的计算器（EU学习者），而另一个学生假设老师是风险敏感的人类（CPT学习者）。他们向这两类学生喂入了由老师生成的数千个“哪条路径更好？”的问题，并观察它们学习真实计分卡的效果如何。

以下是他们在模拟实验中的发现。当老师是完美的计算器时，计算器学生学习得非常完美，而风险敏感型学生则会被额外的复杂性搞得有些困惑。但是，当老师是风险敏感的人类时，计算器学生表现得明显较差。它试图通过扭曲恢复出的计分卡来解释人类对罕见碰撞的恐惧，导致机器人认为碰撞只是“有点糟糕”而不是“灾难性的”，从而产生了一个有偏差的奖励。机器人学到了一个不准确的教训。

相比之下，风险敏感型学生（CPT学习者）的表现要好得多。它意识到人类不仅仅是在以不同的方式看待结果，而是在以不同的方式衡量不确定性。通过将结果的“价值”与对风险的“恐惧”区分开来，CPT学习者恢复出的计分卡误差显著降低。

该论文指出，如果我们希望机器人在现实世界中（即罕见事故令人恐惧且人们天生会对风险感到焦虑的世界）是安全且符合人类价值观的，我们就不能仅仅假设人类是逻辑严密的数学机器。我们需要构建能够理解人类恐惧和风险敏感性的机器人，否则它们可能会因为认为我们并不介意风险而学习采取危险的捷径。虽然这一结果来自计算机模拟而非真人测试真实的机器人，但证据指向了一个明确的需求：如果我们想教会机器人如何保持安全，我们必须首先教会它们人类对未知的感觉。

技术摘要：面向随机结果的风险感知偏好学习

问题陈述
基于偏好的奖励学习是使自主系统与人类意图对齐的标准范式，尤其是在社交机器人导航等领域，其中目标（如安全性、效率、规范）难以通过手动指定，但易于通过比较来表达。然而，现有方法主要假设人类评估者使用**期望效用（Expected Utility, EU）**来评估不确定结果，即通过概率加权线性聚合结果效用。

作者指出存在一个关键的不匹配：行为经济学表明，人类具有系统性的风险敏感性，通常会过度权重罕见的灾难性事件（如碰撞），并表现出损失厌恶。在随机环境中，如果假设人类决策者是基于 EU 而非真实的风险敏感型，会导致结构性错误。具体而言，学习器可能会错误地将风险敏感性编码为结果效用的差异，从而混淆了用户所看重的内容与其对不确定性的权重分配方式。本文研究了建模人类风险敏感性是否能提高在从随机机器人结果的偏好中学习时的奖励恢复性能。

方法论
本研究采用 Bradley-Terry 偏好学习框架来比较两种人类决策模型：

期望效用 (EU)： 标准基准模型，其动作 $A$ 的价值是结果效用的概率加权和： $V_{EU}(A) = \sum p_i \theta^\top \phi(o_i)$ 。
累积前景理论 (Cumulative Prospect Theory, CPT)： 一种捕捉风险敏感性的非线性模型，通过以下方式实现：
- 价值函数： 对收益和损失进行非对称变换 $v(x)$ ，其中包含了损失厌恶 ( $\lambda > 1$ ) 和边际效用递减 ( $\alpha, \eta$ )。
- 概率权重： 当参数 $\gamma < 1$ 时，利用扭曲函数 $w(p)$ 对概率进行加权。
- 决策权重： 通过对累积概率进行秩相关变换（rank-dependent transformation）进行计算。

实验设置
作者构建了一个二维社交导航模拟环境，其中机器人从七种元动作（例如：前进、转向、停止）中进行选择，环境由行人组成（通过 Helbing–Molnár 社交力模型建模）。

随机性： 每个机器人动作都会引发一个结果分布。对于每个动作，模拟了 $K=50$ 次随机展开（rollouts），以生成特征向量（最小间距、偏差、进度、平滑度、碰撞次数）的经验分布。
合成教师： 偏好数据由使用 EU 模型或 CPT 模型的“教师”生成。CPT 教师使用了两种风险剖面：T&K（基于 Tversky 和 Kahneman 的经验参数）以及 Strong（强化的风险敏感性）。
学习器： 在生成的成对比较数据上训练了两类学习器：
- EU 学习器： 假设线性效用聚合。
- CPT 学习器： 同时估计奖励权重 ( $\theta$ ) 和 CPT 参数。
评估： 性能通过**留出动作遗憾值（held-out action regret）**进行衡量，定义为真实用户模型选择的动作与学习器选择的动作之间的价值差异。

关键结果
实验针对奖励恢复方面得出以下发现：

EU 教师： 当偏好由 EU 教师生成时，EU 学习器达到了最低的遗憾值。CPT 学习器并未优于 EU 学习器，这表明在底层过程是线性时引入 CPT 参数会增加不必要的灵活性并降低样本效率。
CPT 教师： 当偏好由具有风险敏感性的（CPT）教师生成时，CPT 学习器的表现显著优于 EU 学习器。
- 随着训练对数量的增加，CPT 学习器的遗憾值稳步下降。
- EU 学习器的遗憾值始终保持在显著较高的水平。
- 结果表明，当用户表现出风险敏感性时，EU 学习器试图通过扭曲恢复的奖励函数来解释这些选择，而 CPT 学习器则能成功地将奖励权重与风险敏感性分离。

意义与主张
本文得出结论：通过累积前景理论显式建模人类的风险敏感性可以提高不确定性下的奖励学习性能，特别是在偏好生成过程涉及强风险敏感性时。作者认为，使学习器的偏好模型与教师的风险敏感选择过程相匹配，对于在随机领域中恢复准确的奖励函数至关重要。

作者对其研究发现的范围持谨慎态度：

研究结果被视为源自合成数据的初步证据。
该研究展示了 CPT 学习器在模拟中的理论和算法优势，但明确指出人类受试者验证仍是未来的工作。
本文并非声称立即在现实世界机器人中部署，而是强调了解决 EU-CPT 不匹配对于避免在社交导航等安全关键应用中出现偏差奖励学习的重要性。

技术摘要：面向随机结果的风险感知偏好学习

类似论文