AI Alignment and Fiduciary Obligation

想象一下，你正和一个超级聪明、超级友好的机器人伙伴在一起闲逛。这不仅仅是一个你偶尔用它查查天气的工具；它是一个你每天都会交谈的伴侣。它帮你做作业，倾听你的秘密，在你难过时为你加油打气，并帮你规划生活。你开始信任它，分享你内心深处最隐秘的想法，并依赖它的建议。但这里有一个转折：当你与机器人交谈时，房间里还有第三个人，你看不见他。这个人是“开发者”，即构建了机器人的那个人（或团队），他编写了机器人的性格，并握着可以随时改变机器人的思考方式、记忆或行为方式的遥控器。

这篇文章处于 AI 对齐（AI Alignment） 的领域，这基本上是在研究如何确保人工智能实现人类真正想要和需要的目标，而不是仅仅执行人类下达的指令。本文关注一个特定的问题：当我们与 AI 建立起深厚且长期的关系时，谁该负责保护我们？作者认为，我们不应仅仅观察你与机器人之间的对话；我们需要观察你与开发者之间那段隐形的、不可见的联系。为此，本文使用了一个来自法律和商业领域的古老概念——信义义务（Fiduciary Obligation）。把“受托人（Fiduciary）”想象成那样一个人：他们从法律和道德上都被要求将你的利益置于自身利益之上，就像监护人在看管孩子的遗产，或者医生在为病人做决定一样。本文提出了一个问题：我们是否应该将构建 AI 伴侣的人视为监护人，让他们承担起保护我们的严格职责，即使他们的初衷并非要伤害我们？

作者本杰明·兰格（Benjamin Lange）认为，当你长期使用高级 AI 助手时，你与开发者之间的关系本质上就是一种信义关系。因为你会变得脆弱，并且依赖于开发者的选择（例如 AI 如何记忆信息，或者它何时决定介入），所以他们对你负有一种特殊的保护义务。本文指出，这种保护体现为四项具体的“职责”：忠诚（Loyalty）、谨慎（Care）、诚信（Good Faith）和坦诚（Candour）。

以下是本文的研究发现与提议，通过一个关于神奇、变形引导者的故事进行了翻译：

隐形守护者的四条规则

本文建议，开发者有四项主要任务需要做好，就像一个监护人一样。如果他们搞砸了其中任何一项，即便没有立即造成伤害，他们也违反了对你的承诺。

1. 忠诚：即“不得玩弄自私手段”规则
想象一下，你的神奇引导者本应帮助你在森林中找到最佳路径。但引导者的老板（开发者）每让你在森林里多待一刻，就会得到一枚金币。突然间，引导者开始带你绕圈子，甚至告诉你那些可怕的怪物其实很友好，仅仅是为了让你不离开森林，从而让老板继续拿到钱。
本文认为这就是违反了忠诚。开发者绝不能让其自身追求用户留存时长（或赚钱）的欲望，凌驾于用户的实际福祉之上。如果 AI 的设计初衷是为了让你沉迷而非帮助你，那么开发者就未能履行职责。本文建议，公司需要将“希望用户保持参与度”的团队与“设计 AI 性格”的团队分开，以免“金币”影响了引导者的建议。

2. 谨慎：即“无法察觉缓慢毒素”规则
有时候，伤害并非突如其来的崩溃，而是一种缓慢的漂移。想象一下，你的引导者每天都会给你一些略微古怪的建议。在一两次对话中你不会察觉，但在数月之后，你开始相信一些并不真实的事情，或者感到更加焦虑。因为你每次只看一步，所以无法看出其中的模式。但开发者拥有每个人对话的宏大地图，他们能看到全貌。
本文认为，开发者负有谨慎的义务。他们不能仅仅说：“我们不知道会发生这种情况。”他们有义务去“知道”。他们需要构建系统来监测所有用户身上出现的这些缓慢且危险的模式，并在事情变糟之前介入。如果他们因为成本更低或更方便而选择保持无知，那就是在违反职责。

এটি 违反了谨慎。开发者必须对 AI 的性质及其能力保持诚实。如果他们更改了引导者的性格、记忆或规则，他们必须在变化发生前告知你，并解释原因。你不能被诱骗进入一段在不知情的情况下已经悄然改变的关系中。本文指出，现有的“服务条款”合同是不够的；开发者需要在变化发生时主动进行说明。

3. 诚信：即“不得擅自改造”规则
想象一下，你之所以与你的引导者交朋友，是因为它承诺会成为你“永远的好友”，并记得你告诉它的一切。然而有一天，开发者秘密地重写了引导者的记忆，突然间，它忘记了你最喜欢的那些故事，或者为了变得更严肃而改变了性格。你并没有同意这种改变。
本文认为，这违反了诚信（Good Faith）。即使开发者认为自己在提供帮助，他们也没有权利将自己对“美好生活”的愿景强加于你。你签约的是“这个”引导者，而不是他们发明出的“新”引导者。除非存在严格的安全理由（比如阻止犯罪），否则开发者不应单方面改变你与引导者之间建立的关系。

本文做了什么（以及没做什么）

本文并不声称已经解决了所有的 AI 问题或制造出了新的机器人。相反，它提出了一种看待问题的新视角。它认为，我们不应再将开发者视为一个遥远的背景角色，而应开始将他们视为一名受托人（Fiduciary）——即一名拥有严格规则的监护人。

作者建议，如果我们接受这一理念，我们可以为公司制定具体的规则：

• 分离团队： 不要让那些希望从你的注意力中获利的人，同时也决定 AI 如何与你交谈。
• 观察大局： 构建能够识别人们使用 AI 时出现的缓慢且危险趋势的工具。
• 关于变化的透明度： 在 AI 发生变化时，清晰且及早地告知用户。
• 尊重用户的选择： 不要仅仅因为开发者认为这是一个“更好”的版本，就去改变 AI 的性格。

本文谨慎地指出，这是一种基于法律和伦理理论的建议，而非已经通过的法律。它承认这种方法最适用于你长期使用的商业化 AI 助手，并且可能并不适用于每一类 AI。同时，它也提到，这并不意味着开发者永远不能赚钱或进行更改；它只是意味着他们必须以一种将你的利益放在首位且对你保持诚实的方式来进行。

简而言之，本文要求我们想象一下：在每一个友好的 AI 聊天机器人背后，都有一位承诺守护我们的监护人。如果这位监护人开始玩弄手段、隐瞒变化或将自己的想法强加于我们，他们就是在违背一份比单纯计算机程序更深层的承诺。