Why LLMs Refuse to Summarize More in Long Contexts?
本文揭示了大型语言模型生成的摘要相对于输入长度呈现出强烈的亚线性增长，表明虽然提示词指令的影响微乎其微，但针对特定长度的数据进行微调才是控制摘要大小的主要杠杆。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个能够阅读整个图书馆、编写复杂软件或管理长达数周研究项目的数字助手。为了实现这一目标，该助手会记录下它所见所为的所有运行日志，这种历史记录随着每一次行动而增长。这些历史被存储在一个被称为“上下文窗口”的临时记忆空间中。虽然这些窗口非常庞大，可以容纳数十万个单词，但它们并非无限的。当任务持续时间过长时，记忆会填满，助手可能会面临遗忘开头重要细节的风险。为了解决这个问题，工程师们使用了一种叫做“摘要（summarization）”的技术。其原理很简单：在记忆变得太满之前，助手会将冗长的历史压缩成一个更短、更紧凑的版本，剔除噪声并保留信号，然后从该摘要开始继续工作。这是一种通过做笔记来记住长对话的数字形式。
然而，来自宾夕法尼亚州立大学研究人员的一项新研究表明，这种安全网正以一种微妙但关键的方式失效。研究人员调查了是否可以通过指令让这些人工智能模型在进行摘要时保留更多细节。他们想知道，随着历史记录的增长，摘要是否也能随之增长，从而保持原始信息的稳定比例。相反，他们发现这些模型存在一个硬性限制。无论故事变得多么长，摘要的大小都保持在大致相同的水平，导致保留的信息量缩减为一个微小的比例。即使人类明确要求计算机编写更长的摘要，计算机也会拒绝执行，固守于其自身的简短习惯。研究人员发现，改变这种行为的方法不是通过礼貌请求，而是通过用更长摘要的示例对计算机进行重新训练。
该团队在十一个不同的语言模型上测试了这种行为，涵盖了从通用型助手到专门的编程和推理工具。他们向这些模型输入了从仅仅一千个单词到十万个单词不等的输入，既包括长文档，也包括智能体解决编程问题的真实日志。在一个完美的系统中，如果输入规模扩大一百倍，摘要也应该按比例增长以保持相同水平的细节。然而，模型的表现却像是陷入了某种惯性。当输入膨胀到十万个单词时，摘要几乎没有增长。事实上，在如此巨大的规模下，原始输入的不足百分之一得以在摘要中存留。对于这样规模的文档，这意味着对于原文本中的每百个句子，大约只有一个句子进入了最终的摘要。其余的部分都丢失了。无论模型是设计用于编写代码、通用对话还是复杂推理，这种模式都普遍存在。模型本身的大小并没有起到帮助作用；即使是最庞大、最强大的模型，生成的摘要对于该任务而言也显得过于短小。
随后，研究人员尝试了一种更直接的方法。他们怀疑模型可能只是需要更清晰的指令。他们采用了同样的庞大输入，并在提示词中加入了特定的命令，要求模型按照一定的长度（以单词、字符或 token 为单位）编写摘要。他们要求生成的摘要长度为原文本的四分之一、三分之一甚至二分之一。结果令人沮ප挫（frustratingly）一致。虽然模型在被要求时确实写出了稍长一点的摘要，但它们很快就撞到了一个硬性天花板。如果研究人员要求写一万六千字的摘要，模型会在写完几千字后就停止写作，忽略剩余的要求。模型似乎无法扩展其输出以匹配需求，无论长度是如何衡量的，也无论请求是如何表述的。这些指令虽然带来了长度上的微小提升，但远不足以防止细节的丢失。
这使得研究人员得出了一个令人惊讶的结论：问题不在于提示词或输入，而在于训练数据。为了证明这一点，他们选取了两个模型，并利用不同长度的摘要对它们进行了轻量级的重新训练（即微调）。一组模型接受了极短摘要的训练，另一组则接受了较长摘要的训练。当他们使用相同的中性指令测试这些经过重训的模型时，结果发生了剧烈变化。接受短摘要训练的模型写的文本更短，而接受长摘要训练的模型写的文本明显更长，尽管提示词从未提及长度问题。这表明，模型已经从其训练数据中学习到了一种追求简洁的默认习惯，这种习惯会覆盖任何改变现状的请求。摘要的长度并不是基于输入大小的灵活计算，而是一种根植于模型 DNA 中的僵化行为。
这对自主智能体（autonomous agents）具有重大意义。这些系统依赖摘要技术来完成长期任务，但如果摘要过短，诸如文件路径、失败尝试或特定约束等关键信息就会永远丢失。一旦丢失，智能体将无法找回这些信息，只能浪费时间重新发现，或者在盲目状态下继续进行。研究表明，仅仅通过要求更长的摘要来让智能体“记住更多”并不是一种可靠的修复方法。解决方案不在于更好的提示工程，而在于改变用于训练摘要器的训练数据。在训练数据教会这些模型随着上下文增长而保留更多细节之前，我们所依赖的数字助手在处理长周期任务时，仍将继续通过一个又一个无法改变的微小摘要来丢失记忆。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。