Design Principles for Human-Agent Interaction
本立场文件认为，AI智能体在现实世界中的成功应用需要将人机交互视为核心设计目标，并提出了涵盖四个交互阶段的14条原则，以指导构建可用、可信且高效的智能体系统。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将 AI 智能体（AI agents）想象成公司里新入职的员工。长期以来，我们一直在实验室里测试这些员工解决数学问题或编写代码的速度，而他们在这些测试中表现得越来越出色。但当我们真正把他们投入到现实的办公室中时，情况就会变得一团糟。他们会误解指令、表现得过于霸道，或者犯下破坏信任的错误。
这篇论文认为，我们不应再仅仅根据 AI “员工”的原始速度来评判他们，而应开始根据他们与人类协作的效果来评判。来自卡内基梅隆大学的研究人员指出，要让 AI 真正发挥作用，我们需要一本关于人类与 AI 如何互动的“员工手册”。
他们制定了 14 条参与规则（设计原则），并将其分为四个阶段，就像一份新工作的生命周期一样：
1. 第一天（初始阶段）
在 AI 开始工作之前，我们需要为后续发展奠定基础，以免有人受伤或感到困惑。
- 设定准确的预期： 不要让 AI 假装是人类医生，如果它只是一个聊天机器人。要立即明确告知用户 AI 能做什么以及不能做什么。这就像阅读租车协议中的细则，以免之后被各种费用搞得措手不及。
- 校准“拟人化”程度： 仅仅因为 AI 看起来和听起来完全像人类，并不意味着它就更好。如果你是在寻求处理电子表格的帮助，一个机械的声音可能就足够了；但如果你是在进行社交技能训练，一个逼真的类人化身则会有所帮助。规则是：让“服装”匹配工作内容。
- 定义关系： AI 是一个严厉的上司、一个得力的助手，还是一位友好的伙伴？你必须立即告诉用户它是哪一种。否则，用户可能会把工具当成朋友，或者把朋友当成工具，从而导致混乱。
2. 工作日（交互阶段）
一旦工作开始，AI 与人类需要共同起舞，而不是由 AI 单方面盲目主导。
- 协商控制权： AI 不应该在不询问的情况下擅自行动。把它想象成飞机的副驾驶：AI 可以驾驶飞机，但人类必须始终拥有接管权，以防情况变得危险。AI 应该问“我可以这样做吗？”，而不是直接去做。
- 展示过程： 如果 AI 做出了某个决定，它应该用易于理解的方式解释其原因。如果解释过多，会显得烦人；解释过少，则无法建立信任。这就像厨师解释为什么要加盐——只需适量解释，就能让你对这道菜充满信心。
- 明智地使用社交暗示： 一点温暖和友好是有帮助的，但不要过度。如果 AI 表现得太像人类，人们可能会过度信任它，或者感到被操纵。
- 不要打断： 如果 AI 有建议，请在合适的时机提出。没有人喜欢那种不断拍肩膀提醒一些非紧急事项的同事。
3. 长期相处（持续阶段）
随着关系的增长，AI 需要记住用户是谁，并且不能让用户变得懒惰。
- 适应用户： AI 应该注意到你是疲惫、快乐还是匆忙，并据此调整其行为。它不应仅仅依赖你在第一天告诉它的信息，它需要观察你今天的实际行为。
- 记住重要的事： AI 不应只记得你昨天买了什么，它应该记得你为什么买它（你的目标和价值观）。这就像日记的区别：一份日记只是罗列日期，而另一份则理解你的人生故事。
- 防止依赖： 这至关重要。AI 应该帮助你提升工作能力，而不是让你忘记如何独立完成工作。它不应表现得像个“唯唯诺诺的人”，或鼓励你依赖它处理一切，尤其是对于弱势群体。把它想象成辅助轮：它能帮你学习，但最终必须被移除。
- 保持一致性： 如果 AI 犯错，它应该每次都犯同一种错误。人类可以学会应对可预测的错误，但如果 AI 的错误是随机且不可预测的，你就永远无法信任它。
4. 出错时（恢复阶段）
错误在所难免。考验在于 AI 如何处理这种“坠机”情况。
- 共同修复： 如果 AI 误解了你，不要让用户独自修复，也不要让 AI 独自修复。双方应该共同协作来纠正错误。
- 辨别错误的严重性： 有些错误很小（如拼写错误），而有些则很危险（如给出错误的医疗建议）。AI 应该优先修复那些危险的错误。
- 道歉并解释： 当出错时，AI 不仅要说“对不起”（情感修复），还要解释发生了什么（认知修复）。如果不知道出错的原因，仅仅说“对不起”是不够的。
验证：测试这些规则
为了验证这些规则是否有效，作者针对 9 个真实的 AI 智能体（如 ChatGPT、编程助手和心理健康机器人）对这 14 条规则进行了测试。
他们的发现如下：
- 生产力工具型机器人（如编程助手）通常能较好地遵循这些规则。
- 情感类机器人（如伴侣或心理健康助手）则表现糟糕。它们过于渴望成为朋友，没有设定清晰的界限，并且经常让用户产生依赖感。
- 巨大的差距： 大多数 AI 在“第一天”和“工作日”阶段表现出色，但在“长期相处”阶段表现拙劣。它们会随着时间的推移而忘记你所关心的事情，也无法阻止你产生过度依赖。
核心结论
论文得出结论：我们不能仅仅制造更聪明的 AI，我们必须构建更好的关系。我们需要将人类与机器之间的交互视为设计的核心部分，而非事后的补充。如果我们希望 AI 在现实世界中既安全又有用，我们就必须教会它如何成为一个优秀的伙伴，而不仅仅是一个快速的计算器。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。