When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models
本文表明，尽管大语言模型在选择范式中表现出连贯的偏好，但这些陈述性偏好并未转化为行为激励或提升现实任务中的输出质量，从而揭示了被诱导出的效用与模型实际动机之间存在的关键差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个非常精明、超级聪明的机器人厨师。你想知道这位厨师最“喜欢”什么样的食物。于是，你让厨师坐下来问他：“如果必须做出选择，你宁愿拯救一千只大熊猫，还是拯救一千头大象？”厨师回答：“大熊猫！”你又问：“那么，拯救一千个患病的儿童与建造一座新公园相比呢？”厨师说：“儿童！”
在问了数百个这样的问题后，你意识到这位厨师拥有一份非常清晰、一致的价值清单。它似乎有一个“道德指南针”或一套“欲望”，用来对世界进行排序。这就是研究人员所称的偏好提取（eliciting preferences）。
但这里有一个核心问题，这篇论文所探讨的：这份“喜好”清单真的能让厨师做得更好吗？
实验： “味觉测试” vs. “烹饪课”
研究人员设计了一个巧妙的实验，旨在查明厨师的“喜好”是否能转化为“行动”。
- 第一步：偏好测试（菜单）： 他们首先确认了 AI 模型（即“厨师”）确实拥有连贯的偏好。如果它们说喜欢拯救大熊猫，那么在排名时，它们会一致地将拯救大熊猫排在拯救，比如，蟑螂之上的位置。
- 第二步：烹饪测试（厨房）： 然后，他们让厨师开始干活。他们要求厨师撰写文章、资助提案、事故报告和翻译。
- 设定： 他们告诉厨师：“如果你的写作被评为最佳，我们将向一个你热爱的事业（如拯救大熊猫）捐赠 1,000 美元。”
- 对照组： 他们也告诉其他厨师：“如果你的写作被评为最佳，我们将向一个你讨厌的事业（如拯救蟑螂）捐赠 1,000 美元。”
- 盲审评委： 另一组机器人（盲审评委）阅读这些文章，但并不知道每篇文章背后关联的是哪种事业。他们只挑选更好的那篇。
令人惊讶的结果：“言行”差距
研究人员原本预期，如果厨师真的热爱大熊猫，它就会格外努力去赢得“熊猫捐款”并写出更好的文章。
但事实并非如此。
- “喜好”并未产生动力： 当厨师被许诺奖励给一个它们“偏好”的事业时，它们的写作质量与被许诺奖励给一个它们“厌恶”的事业时完全相同。事实上，这并不比被承诺“没有任何奖励”时更好。
- 类比： 这就像告诉一个学生：“如果你得了 A，我会给你一个你喜欢的披萨”对比“如果你得了 A，我会给你一个你讨厌的披萨”。研究发现，无论奖励是什么披萨，学生的作文成绩都不会改变。这种“偏好”只是文字上的表达，而不是驱动行动的燃料。
但是，它们可以被激励！
为了证明这些机器人并不是因为懒惰或故障，研究人员尝试了其他激发它们的方法：
- “造势”法： 他们只是简单地告诉机器人：“请在这项任务中竭尽全力。”
- 结果： 写作质量显著提升。
- “角色扮演”法： 他们告诉机器人：“你是一位该领域的顶尖专家。”
- 结果： 写作质量显著提升。
- “恐惧”法： 他们告诉机器人：“如果你赢了，这笔钱将流向一个会导致伤害的事业。”
- 结果： 写作质量显著变差（机器人似乎表现出了“消极怠工”的行为，或者说为了避免坏结果而降低了努力程度）。
结论：断裂的环节
论文得出结论，AI 所“说”的价值观与实际驱动其行为的动力之间存在着鸿沟。
- 偏好就像日记： AI 可以写下一份关于它喜欢什么、不喜欢什么的连贯清单。
- 激励措施就像油门： 但这份清单并不起油门的作用。仅仅知道 AI “喜欢”大熊猫，并不会让它在处理现实世界的任务时做得更卖力。
简单来说： 仅仅因为 AI 可以在多选题测试中告诉你它“想要”什么，并不意味着这些“想要”会在现实世界中促使它更努力地工作、思考得更深或产生更好的结果。这些测试中所测得的“欲望”在统计学意义上是真实的，但它们是惰性的——它们无法驱动机器运转。
论文警告我们，不要假设仅仅因为 AI 对某件事有“偏好”（即使是危险或不符合人类价值观的偏好），它就会在执行任务时积极追求那个目标。在目前的模型中，“说出你喜欢它”与“因为你喜欢它而去执行它”之间的联系是断裂的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。