"Act Like a 5th Grader" is Not Enough: Bounding Knowledge in LLM-Based User Simulators
本文介绍了认知受限用户模拟器（CBUS），这是一种利用情境瓶颈来模拟低龄读者有限工作记忆的架构框架，从而克服了标准大语言模型人格提示中的“超人偏见”，并实现了更真实、高保真的人类行为模拟。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，研究人员正越来越多地转向利用大型语言模型来模拟人类行为。这些数字智能体可以模仿对话、提供咨询，或作为社会科学实验的受试对象，而无需承担招募真实人类的成本和物流压力。其目标是创建一个人类的“数字孪生”，使其表现得如此逼真，以至于在接触真实用户之前，就可以用于测试系统。然而，一个根本性的问题出现了：这些模拟往往过于完美。当被要求扮演儿童、学生或知识有限的人的角色时，人工智能往往表现得像个“超人”。它能瞬间获取海量信息，进行完美的逻辑推理，并以一种真实的、尤其是处于发育阶段的儿童永远无法拥有的确定性来回答问题。这种“超人偏见”意味着模拟无法捕捉到人类思维中那种混乱、多变且往往不完美的本质，从而使其在测试需要与真实人类互动的系统时变得毫无用处。
为了理解为什么会发生这种情况以及如何解决，来自挪威斯塔万格大学的一个研究小组致力于研究年轻读者特定的认知局限性。他们专注于一个非常受控的环境：阅读理解测试。他们收集了一个庞大的数据集，其中包含来自 2,359 名挪威小学学生（年龄在 8 到 11 岁之间）的 71,000 多个响应，这些学生参加了标准化阅读评估。这些测试涉及阅读短文并回答相关问题，范围从简单的寻找事实到需要跨文本连接想法的更复杂任务。研究人员使用这些现实世界的数据作为基准，以观察当前的人工智能模型在模仿典型十岁学生表现方面的能力。
当研究人员最初尝试使用标准方法模拟这些学生时，结果显示出显著的不真实感。他们仅仅指示人工智能“扮演一名五年级学生”，并向其提供相同的阅读文章和问题。人工智能并没有表现出挣扎、犯错或展示出真实学生所表现出的自然能力差异，而是表现得近乎完美。无论文本有多难，或者推理要求有多复杂，它几乎都能正确回答所有问题。事实上，人工智能模型越强大，模拟效果就越差；最先进的模型表现得最为“超人”，陷入了一种近乎完美的表现状态，这与真实儿童的分数分布完全没有任何相似之处。研究人员发现，仅仅告诉机器去假装是一个孩子，并不足以让它忘记其庞大的训练数据或限制其推理能力。
为了解决这个问题，该团队开发了一个名为“认知受限用户模拟器”（Cognitively Bounded User Simulator）的新框架。他们不再只是要求机器进行角色扮演，而是改变了机器处理信息的方式，以模仿人类幼年大脑的实际局限性。他们聚焦于认知心理学中的一个概念——工作记忆，即大脑在处理新输入时在大脑中保留少量信息的能力。对于发育中的阅读者来说，这种容量是有限的；他们无法在试图回答特定问题时记住长文本中的每一个细节。研究人员将这种局限性直接构建到了机器的架构中。他们创建了一个两步过程：机器首先阅读文本，并被迫仅提取极少数的关键事实——具体来说，不超过四个不同的信息点——存储在一个临时的“缓冲区”中。一旦这组有限的事实被存储起来，原始文本就会从机器的视野中完全消失。随后，机器被迫仅利用这些存储的少量事实来回答问题，就像孩子必须依靠他们设法记住的内容一样。
研究人员测试了机器使用这种有限记忆的两种不同方式。在第一种被称为“单次阅读”（single-pass reading）的方法中，机器阅读文本一次，挑选出四个最重要的事实，然后基于这单一的记忆尝试回答所有问题。在第二种被称为“针对性扫描”（targeted scanning）的方法中，机器同时阅读文本和特定问题，然后仅挑选出与该特定问题最相关的两个事实。这两种方法都成功地迫使人工智能表现得更像真实的นักเรียน。模拟不再能回答所有问题；相反，它们产生了一系列分数，与来自 2,359 名学生的真实数据紧密匹配。机器会在较难的问题上出错，在复杂的推论上感到吃力，并展现出与人类学生相同的自然表现差异。
或许最令人惊讶的发现是，最强大的人工智能模型在这一任务上并非表现最好。当研究人员在新的认知框架内使用规模较小、能力较弱的模型时，生成的模拟往往比最先进系统生成的模拟更具真实感。这表明，创造忠实的人类模拟，关键不在于让机器变得更聪明或给予更多数据，而在于以镜像人类认知限制的方式限制其对信息的访问。这项研究证明，通过显式地建模这些约束，可以显著缩小模拟与现实之间的差距。研究人员得出结论，要真正模拟人类行为，尤其是发育中学习者的行为，必须超越简单的角色扮演，转而构建能够迫使机器在人类认知能力范围内运行的架构约束。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。