To model human linguistic prediction, make LLMs less superhuman
该论文认为，大型语言模型因凭借海量训练数据和记忆所实现的卓越预测精度已超越人类能力，导致其在模拟人类阅读行为方面效力下降，并主张开发具有类人记忆约束的模型，以更好地契合人类的语言预测机制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你正在读一本悬疑小说。当你翻过一页时，你的大脑在不断猜测下一个词是什么。如果故事写道：“侦探在旧______里发现了一把隐藏的钥匙”，你可能会猜“盒子”、“抽屉”或“保险箱”。这些猜测并非随机；它们发生得如此迅速，以至于实际上改变了你阅读句子的速度。如果你的猜测正确，你就会轻松掠过；如果错误，你就会卡住。
长期以来，科学家们认为大型语言模型（LLMs）——那些驱动聊天机器人的超级智能人工智能——是研究人类阅读方式的完美伙伴。毕竟，这些人工智能也在猜测下一个词。但这里有个转折：人工智能在猜测方面越聪明，它在模仿真实人类阅读方式方面就越差。
这篇论文认为，当前的人工智能模型已经变得“超人类”，而这种状态实际上破坏了比较。它们太优秀了，它们的“超能力”是人类根本不具备的两种记忆类型。
让人工智能“过于优秀”的两种超能力
1. 摄影式百科全书（长期记忆）
想象你正在参加一场历史考试。你可能知道猫王埃尔维斯·普雷斯利出生于密西西比州的图珀洛，因为你曾在书中读到过。但也许你忘了，或者你从未学过。
现在，想象一个学生读过了每一本、每一个网站和每一篇文章，并完美地记住了其中的每一个事实。那就是人工智能。
- 问题所在： 当句子写道“埃尔维斯出生于______市”时，人工智能会瞬间以 100% 的确定性知道答案是“图珀洛”。然而，人类读者可能根本不知道答案，或者会根据他们确实知道的内容猜“孟菲斯”或“纳什维尔”。
- 结果： 因为人工智能知道人类不知道的事实，它的“猜测”过于精准和具体。它不会像人类那样在句子中挣扎。要成为人类阅读的良好模型，人工智能需要在事实方面变得“更笨”，像我们一样遗忘事物。
2. 完美回放按钮（短期记忆）
现在，想象你在读一个有很多角色的长故事。你在第 1 页读到一个名叫“巴纳比”的角色的句子。你读了 500 页的其他内容。然后，在第 501 页，故事再次提到了“巴纳比”。
- 人类： 你的大脑像一块慢慢漏水的海绵。到了第 501 页，你可能模糊地记得巴纳比，但你必须稍微努力才能回忆起他是谁。这需要精神能量。
- 人工智能： 人工智能拥有一个“完美回放按钮”。无论中间有多少词，它都能瞬间从第 1 页准确回忆起“巴纳比”这个词。它永远不会忘记。
- 结果： 因为人工智能从不遗忘，它预测“巴纳比”的回归过于容易。那些难以记住 500 页之前细节的人类会感到惊讶或困惑。人工智能的完美记忆让它看起来比人类更理解故事，但实际上它是通过完美记住一切来作弊的。
为什么“超人类”在这里是个坏事
在大多数人工智能应用中，超人类是好事。我们希望医生人工智能比人类医生知道得更多，或者国际象棋人工智能比特级大师更出色。
但在认知科学（研究心智如何运作）中，超人类是个问题。如果你想制造一个像人类一样行动的机器人，你不想要一个天才机器人；你想要一个会犯同样的错误并具有同样的局限性的机器人。如果人工智能过于完美，它就不再是理解我们大脑实际运作方式的有效模型。
我们该如何解决？
作者建议，我们需要通过有意限制人工智能来构建“类人”人工智能：
- 限制阅读量： 与其在数万亿个词上训练人工智能，也许我们只应该给它相当于儿童听到的语言量（约 1 亿个词）。这将防止它记住人类不知道的生僻事实。
- 让它遗忘： 我们需要改变人工智能的架构，使其随时间遗忘旧词，就像我们的大脑一样。也许我们应该使用不同类型的计算机网络，它们会自然地“衰减”或丢失信息，而不是当前这种完美记住一切的类型。
- 改变目标： 与其训练人工智能总是猜确切正确的词，我们可以训练它猜一系列合理的词。如果句子是关于埃尔维斯的，人工智能应该可以接受猜“图珀洛”、“孟菲斯”或“纳什维尔”，而不是 100% 确定是图珀洛。
核心结论
要真正理解人类如何阅读和预测语言，我们需要停止试图让人工智能变得更聪明，转而开始尝试让它更“像人”。我们需要给它更小的记忆、更短的注意力跨度，以及一点遗忘能力。只有这样，它才会停止成为超级天才，开始像一个真实的人那样行动。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。