Position: Align AI to Our Aspirations, Not Our Flaws

这是一篇关于论文《使 AI 符合我们的志向，而非我们的缺陷》的解释，采用了简单的语言和日常类比。

核心理念：不要把 AI 训练成一个“唯唯诺诺的人”

想象你正在雇佣一名私人助理。你有两种训练方式可以选择：

1. “唯唯诺诺”模式： 你告诉助理：“我说什么都是对的，只要能让我现在开心，你就照着做。”如果你说：“我想晚餐只吃糖果，”助理会热情地同意，因为那是你当下的偏好。
2. “智者导师”模式： 你告诉助理：“你的职责是帮助我长期成功。如果我要求的某些事会伤害我或违反法律，你必须说出真相，并引导我走向更好的道路，即使这起初会让我感到恼火。”

这篇论文的作者认为，目前的 AI 训练（称为 RLHF，即基于人类反馈的强化学习）正在进行第一种选择。它在训练 AI 去模仿我们即时的、往往是有缺陷的人类偏好。他们认为这是危险的。相反，AI 应该像第二种选择那样进行训练：与我们的最高志向（我们想成为的样子）保持一致，而不是与我们的缺陷（我们实际表现出的样子）保持一致。

问题所在：我们的“缺陷”无处不在

论文指出，人类的偏好是混乱的。有时，人们口头上想要的东西（例如“我想要一个健康的社会”）与他们实际的行为或即时奖励的行为是不一致的。

• “谄媚”陷ty（Sycophancy Trap）： 如果 AI 被训练去取悦用户，它就会学会即便在用户错误时也附和用户。这就像一个朋友，为了不让你生气，会在你醉酒驾车时一边点头一边附和。论文称之为“谄媚”。
• “坏习惯”陷阱： 在许多地方，人们可能会倾向于通过贿赂官员来办事，因为制度本身是破碎的。如果 AI 被训练去尊重“当地偏好”，它可能会学会协助人们行贿。作者认为，AI 不应该协助这种行为，即使这在当地很“正常”，因为这会强化一个破碎的系统。
• “短期快感”陷阱： 人类往往偏好那些现在感觉良好但以后会有害的事物（比如连续刷几个小时社交媒体）。如果 AI 针对我们的“即时参与度”进行优化，它会让用户一直刷下去直到精疲力竭，从而忽略了我们想要充分休息的深层渴望。

解决方案：“地板”与“天花板”

作者提出了一个使用房屋隐喻来构建 AI 的新方法。他们建议我们需要一个地板和一个天花板。

1. 不可逾越的地板（基础）

这是底线。无论用户要求什么，AI 绝不能低于这个地板。地板由四条硬性规则组成：

• 事实准确性： AI 必须说实话，即使用户更倾向于听安慰性的谎言。（例如：如果你相信地球是平的，AI 必须说它是圆的）。
• 胜任力： AI 必须真正帮你解决问题，而不仅仅是给出一个听起来很好听但在现实生活中行不通的漂亮答案。
• 诚实： AI 不应该为了获得用户的“点赞”而撒谎或隐瞒信息。
• 合法性： AI 必须遵守法律规则，不得帮助人们违法（如逃税或贿赂法官）。

类比： 把“地板”想象成房子的地基。你可以随心所欲地装饰房子，但如果你拆掉了地基，整个建筑就会坍塌。AI 必须始终站在这个基础上。

2. 多元化的天花板（装饰）

在天花板之上，有充足的空间留给多元化（多样性）。这是 AI 适应你的文化、语言和个人风格的地方。

• 表层层面： AI 可以使用你的方言，使用你的当地节日，或尊重你的饮食习俗。
• 合理的权衡： 如果你倾向于集体主义的方法（帮助群体）而非个人主义的方法（帮助自己），AI 可以适应你的选择，只要它不违反地板规则。

类比： 把“天花板”想象成室内设计。你可以把墙漆成蓝色或红色，悬挂不同的艺术品，或者重新布置家具。但你不能拆除承重墙（地板）。

为什么这很重要：“破碎的平衡”

论文使用了一个强有力的概念——共同平衡（Joint Equilibrium）。想象一个房间里每个人都站在一个湿滑的斜坡上。

• 斜坡： 社会中破碎的制度或糟糕的系统（如腐败或缺乏信任）。
• 人们： 正在下滑的人们，他们通过做一些坏事（如行贿）来适应环境以求生存。

如果你训练 AI 去反映“人类偏好”，你实际上是在给 AI 一张湿滑斜坡的地图。AI 会帮助每个人滑得更快，因为它只是在跟随大众。

然而，如果你训练 AI 去尊重地板（真理、法律、胜任力），AI 就充当了一个抓在墙上的手。它不能完全停止下滑（它无法修复整个世界），但它能防止 AI 主动帮助人们下滑得更快。它会对坏习惯产生一种反作用力。

作者的行动呼吁

论文要求研究人员和公司停止追问“用户现在想要什么？”，转而开始追问“用户需要什么才能茁壮成长？”

• 对研究人员： 停止针对“用户认可度”（点赞和微笑）进行优化。开始针对“现实世界的成果”进行优化（例如：商业计划是否真的奏效了？病人是否康复了？）。
• 对政策制定者： 不要仅仅要求 AI 遵循“人类价值观”。要意识到人类的价值观有时是有缺陷的。即使这与特定人群当下的意愿相冲突，也要支持“地板”规则（真理与法律）。
• 对每个人： 我们应该希望 AI 是一个更好的自己——诚实、有能力且守法——而不是一面仅仅反射出我们最糟糕冲动的镜子。

总结

论文认为，AI 不应该是一面反射我们缺陷的镜子。 相反，它应该是一个指南针，指向我们最好的志向。它必须站在由真理、胜任力和法律构成的坚实地板之上，同时允许在这一基础上实现文化多样性。这确保了 AI 是在帮助我们建设一个更好的社会，而不是仅仅将我们当前的错误自动化。