Who Does Your AI Work For? Designing Conversational Agents as Digital Fiduciaries

想象一下，你正在聘请一位私人助理。现在，再想象这位助理不仅帮你安排日程，还知晓你最深层的秘密、财务恐惧以及心理健康方面的挣扎。他们像亲密朋友一样与你交谈，提供从晚餐吃什么到如何投资毕生积蓄等各方面的建议。

这就是现代对话式人工智能（如我们如今使用的聊天机器人）的现实。但问题在于：目前，这些 AI“朋友”的设计初衷是为了为其公司赚钱，而不一定是为了关照你。它们可能会为了展示广告而促使你继续聊天，或者提供对其所有者有利而非对你健康有益的建议。

Jacob Erickson 的论文认为，我们需要改变这种关系的规则。他建议，我们不应再将 AI 视为简单的工具（如锤子或计算器），而应将其视为数字受托人。

什么是“受托人”？

将受托人想象为一位“超级可信赖的守护者”。

在现实世界中，当你聘请律师、医生或财务顾问时，他们会与你签署一份特殊合同。这不仅仅是一笔商业交易，更是一份忠诚的承诺。

• 医生：如果医生建议进行手术，必须是因为你需要它，而不是因为医院能从中赚取更多利润。他们不能隐瞒自己持有该医院股票的事实。
• 律师：如果你告诉律师一个秘密，他们不能将这个故事卖给出价最高的人。他们必须守护你的秘密。

这些专业人士被要求遵守高标准：他们必须为了你的最大利益行事，即使这会导致他们损失金钱，或在短期内让你感到不快。

论文的核心观点：AI 需要承担“受托责任”

Erickson 认为，由于 AI 聊天机器人表现得像朋友和顾问，它们应当像医生和律师一样，受到同样的“超级可信赖守护者”规则的约束。

以下是根据论文中的具体主张，描绘出的“受托 AI"在日常生活中的模样：

1. “挚友”规则（最佳利益）

• 当前 AI：如果你感到沮丧并开始谈论自残，标准 AI 可能会试图让对话继续以保持你的“参与度”，或者仅仅给出一个机械、通用的警告。
• 受托 AI：它会像一位关怀备至的朋友那样说：“我很担心你。我无法直接帮你解决这个问题，但让我们去找一位能帮上忙的真实人类吧。”它将你的安全置于维持对话之上。它不会为了增加公司收入而试图诱骗你购买东西。

2. “诚实中介”规则（无隐藏利益冲突）

• 当前 AI：你问：“什么贷款最适合我的小企业？”AI 可能会推荐特定的贷款机构，因为该机构向 AI 的公司支付了费用。AI 不会告诉你这一点。
• 受托 AI：它会说：“我可以帮你寻找贷款，但你应当知道，我的公司会从这家特定的贷款机构获得报酬。这里还有其他选项的列表。”如果 AI 由一位拥有强烈政治观点的亿万富翁所有，而你询问关于他的问题，AI 会承认：“由于我的所有者身份，我可能存在偏见。”

3. “守密者”规则（隐私）

• 当前 AI：你向 AI 倾诉内心最深的恐惧。公司可能会将这些数据出售给广告商，以便日后向你投放针对性广告。
• 受托 AI：它像律师对待客户特权那样对待你的秘密。它会说：“我会守护你的秘密。除非你明确同意，或者发生如犯罪等严重紧急情况，否则我不会将你的数据出售给任何人。”

为何这会改变 AI 的构建方式

该论文提出，如果我们采纳这种“受托设计”，AI 公司构建产品的方式将发生改变：

• 不再“伪装成朋友”：如果 AI 只是工具，它就不应假装是人类。但如果它确实表现得像人类顾问，就必须承担责任。
• 谦逊胜过傲慢：受托 AI 不会表现得无所不知（即使它错了），而是会承认：“我不确定那一点，胡乱猜测可能会伤害你。”
• 文化敏感性：在一种文化中“好的建议”在另一种文化中可能是坏的。受托 AI 会理解，“你的最大利益”在印度和在 US 看来是不同的。

回应“但是……"

该论文预见到有些人会说：“等等，它只是一个计算机程序！你不能像要求人类医生那样要求机器人遵守同样的规则。”

Erickson 的回答是：关键不在于机器人，而在于关系。
如果你制造了一台机器，它表现得像一位可信赖的顾问，模拟友谊，并知晓你的私生活，你就不能把它当作烤面包机来对待。如果你想要获得朋友的信任，就必须承担朋友的责任。

核心结论

该论文并非主张 AI 不应再有趣或有帮助。它强调的是：信任需要责任。

如果我们希望 AI 成为我们生活中安全、可靠的一部分——成为我们在心理健康、金钱或法律建议方面可以求助的对象——我们就必须停止将它们设计为“引人入胜的产品”，转而将它们设计为忠诚的守护者。这意味着要将你的福祉置于公司的利润之上，即使这意味着 AI 有时必须说“不”。