ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?
本文介绍了 ArcANE，这是一个新颖的基准测试与评估框架，它证明了通过将角色扮演语言智能体置于动态角色弧线（character arcs）的约束之下，可以显著提高其维持心理一致性以及适应不断演进叙事的能力，特别是在超出原始文本范围的情景中。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在玩一个角色扮演游戏，你在与一个著名角色的数字版本对话，比如哈利·波特。通常情况下，这些计算机程序非常擅长记忆事实：它们知道哈利有一道伤疤，他去了霍格沃茨，而且他讨厌伏地魔。
但有一个问题。现实中的人是会改变的。哈利在故事开始时是一个想要惩罚任何伤害过他的人的愤怒少年。到故事结束时，在经历了失去朋友和学习深刻教训之后，他变成了一个能够理解人们会因为痛苦而犯错的宽容成年人。
目前大多数 AI 角色就像是记住了剧本但忘记了“故事”的演员。他们会永远困在同一种情绪中。如果你在第 10 章问他一个问题，他会像个愤怒的孩子一样回答；即使故事已经进展到了第 130 章，如果你问同样的问题，他仍然会像个愤怒的孩子一样回答，尽管故事已经向前发展了。
这篇论文介绍了 ARCANE，一种全新的测试方法，用于检测这些 AI 角色是否真的能随着故事一起“成长”。
核心思想：“角色弧光”（The Character Arc）
把一个角色的生活想象成一次登山之旅。
- 旧的方法： 以前的测试只检查 AI 是否知道山的名字或大本营的天气。它们并不关心 AI 是否知道随着攀登高度的变化，景观是如何改变的。
- ARCANE 的方式： 这个新系统绘制了整个登山路径。它将故事划分为不同的阶段（例如“愤怒的少年”、“悲痛的青少年”、“睿智的成年人”）。然后，它会在登山的不同位置向 AI 提出完全相同的问题。
测试方法：
想象一下，一个你过去的恶霸在 10 年后出现了，并请求你的帮助。
- 阶段 1（故事早期）： AI 应该说：“不！他们罪有应得！”
- 阶段 2（故事中期）： AI 可能会犹豫：“我不确定……”
- 阶段 3（故事后期）： AI 应该说：“好的，我会帮忙。人是可以改变的。”
如果 AI 在这三个阶段都给出相同的答案，那么它就失败了。它不是在扮演一个活生生的角色，而只是一个静态的机器人。
他们是如何构建这个测试的
研究人员并没有仅仅靠猜测；他们建立了一个庞大的测试场：
- 图书馆： 他们挑选了 17 部著名小说（如《哈利·波特》、《安娜·卡列尼娜》和《唐吉诃德》），并追踪了 80 个主要角色。
- 地图： 他们将每个角色的旅程分解为“心理轴线”。对于哈利来说，其中一个轴线是“正义 vs. 原谅”。
- 问题： 他们设计了 4,600 多个问题。有些是关于书中实际发生的事情。另一些则是全新的、书中从未提及的情境（比如上面提到的恶霸场景）。这至关重要，因为这迫使 AI 利用其“人格”来做决定，而不仅仅是利用它对文本的记忆。
他们的发现
他们使用不同的“小抄”（上下文策略）测试了六种不同的 AI 模型，以观察哪一种能帮助 AI 保持角色设定。
- 小抄： 一些模型只被给予了角色的名字。另一些则被给予了近期章节的摘要。还有一些被给予了一个“检索”工具，用于查找书中的事实。
- 获胜者： 唯一有效的方法是给予 AI “角色弧光”地图。
- 当 AI 被告知：“你目前处于旅程中的‘宽容成年人’阶段”时，它的回答是正确的。
- 当 AI 仅仅被告知去“查找事实”时，它表现得很糟糕，尤其是在处理那些新编造的问题时。因为书中没有答案，AI 只能瞎猜或者停留在过去的状态。
“神奇”的结果：
AI 越是被迫依赖“角色弧光”地图，它的表现就越好。这在处理“出圈”（Out-of-World）问题（即那些编造的情景）时尤为明显。在这些情况下，AI 不能仅仅从书中复制粘贴；它必须真正理解在这个特定时刻，角色已经变成了什么样的人。
“训练”实验
研究人员还利用他们的新数据对一个标准的 AI 模型进行了“教学”。他们向模型展示了数千个关于角色在不同人生阶段应如何反应的例子。
- 训练前： 模型对事实掌握尚可，但在“成长”方面表现很差。
- 训练后： 模型学会了自然地转变人格。它变得更擅长处理那些棘手的、需要决定一个“成年版”角色会如何行动的编造情景。
总结
这篇论文证明了，要制作一个真正令人信服的角色扮演 AI，你不能仅仅喂给它一份传记。你必须教会它关于自身成长的故事。
可以这样理解：如果你想让一名演员扮演一个角色，你不仅仅是给他一份关于那个人的事实清单。你还要给他剧本，这样他才知道何时该愤怒，何时该悲伤，以及何时该仁慈。ARCANE 是用来检测 AI 演员是在演戏，还是仅仅在机械地重复同一句台词的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。