RENDER: Controlling Reader-Facing Evidence in LLM Memory Evaluation
该论文介绍了 RENDER，这是一个基准测试，它证明了呈现给大语言模型的对话历史格式（例如，摘要、打字记录或原始对话）会显著影响记忆评估性能，即使在底层内容和预算完全相同的情况下，其表现也往往优于标准的原始对话。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当计算机程序试图记住一段长对话时，它并不会简单地将过去所有说过的话的转录文本交给用户。相反，系统充当了一个翻译者的角色，将原始的历史记录进行处理，并向生成答案的大脑呈现一个特定的版本。这个版本可能是一个整洁的摘要、一个结构化的事实列表、一段原始的摘录，或者一段自然语言风格的笔记。多年来，测试这些记忆系统的研究人员一直将这个翻译步骤视为一个次要的技术细节，认为只要信息在那里，计算机就能找到它。但一项新的研究表明，信息的呈现方式不仅仅是一个格式选择；它是一个决定性因素，可以决定计算机是能够正确回答问题，还是根本拒绝回答。
这项工作的研究人员由 Yuan Si 和 Jialu Zhang 领导，他们旨在测试一个简单而深刻的问题：如果底层事实完全保持不变，证据的形式是否会改变计算机使用它的能力？他们构建了一个名为 RENDER 的受控实验来隔离这一变量。想象一下，一位用户告诉计算机他住在波士顿，随后又说他搬到了丹佛，最后询问他现在住在哪里。计算机必须解决这一冲突以给出正确答案。研究人员采用了这个完全相同的场景，并将其输入到九个不同的商业计算机模型中，但他们只改变了计算机所看到的“人工制品”（artifact）。在其中一个版本中，计算机看到的是整个对话的原始、未经编辑的日志。在另一个版本中，它看到的是一条简洁的自然语言笔记，写着：“用户住在丹佛（从波士顿搬来）”。在第三个版本中，它看到的是一个带有“当前城市”和“冲突状态”等字段的僵硬、结构化的记录。
结果令人震惊，且与“信息越多越好”的观点不符。当计算机获得完整的原始对话时，由于它可以接触到每一个词和对话的自然流向，表现得相当不错。然而，当研究人员强制计算机在极其有限的文本量内工作时，原始对话就崩溃了。为了适应较小的空间而对原始文本进行截断，往往意味着切断了包含答案的关键句子。在这些预算紧缩的场景中，精简的自然语言笔记的表现大幅领先于被截断的原始日志，准确率提升了 42 到 72 个百分点（在 0 到 100 的量表中）。计算机在支离破碎的原始文本中根本找不到答案，但在紧凑的笔记中却能瞬间找到。
更令人惊讶的是，证据的格式如何触发计算机本身的不同行为。研究发现，同一个计算机模型在面对自然语言笔记时可以正确回答问题，但在面对僵硬的结构化记录时，却会对完全相同的问题拒绝回答。在某些情况下，接受测试的九个模型中有三个在面对结构化记录时得分率为零，实际上陷入了沉默，而在处理自然语言版本时得分却在 45% 到 53% 之间。研究人员判定，这并不是因为计算机缺乏推理能力；而是这种特定外观和感觉的结构化记录似乎触发了某种安全机制或拒绝参与的机制。就好像这种格式本身在告诉计算机停止，即便事实就在那里。
该研究还探讨了这些系统如何处理噪声和不同类型的问题。当研究人员在混合信息中加入干扰性的无关信息时，自然语言笔记证明了其比原始日志具有更高的稳定性，因为原始日志的准确率会随着噪声的增加而下降。这种模式在研究人员测试涉及通用知识问题的完全不同类型的任务时依然成立，这表明信息的呈现方式在各种语境下都至关重要。研究人员得出结论，这种“面向读者的人工制品”（即展示给计算机的历史记录的具体版本）并非一个中性的实现细节。它是一个强大的变量，可以隐藏或揭示机器眼前的真相。
这项工作挑战了目前评估记忆系统的方式。通常，一个新的系统因其更准确而受到赞誉，但这项研究表明，这种改进可能仅仅源于一种更好的证据呈现方式，而非更聪明的计算机。作者认为，未来的测试必须报告计算机看到了哪种形式的证据，或者对其进行控制，以确保进步是真实的，而非仅仅是由更好的格式所创造的幻象。研究结果表明，为了让这些系统发挥最佳效果，我们不仅要关注它们记住了多少，还要关注我们如何选择向它们展示所记住的内容。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。