Recursive Language Models
本文介绍了递归语言模型（RLMs），这是一种推理时扩展范式，使大型语言模型能够以编程方式分解并递归处理任意长度的提示，在保持成本相当的同时，实现了显著优于现有长上下文方法和前沿模型的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢但目光短浅的图书管理员（即 AI 模型）。这位图书管理员极其聪明，几乎能回答任何问题，但他有一条非常严格的规定：他一次只能手中持有约 272,000 页的文本。如果你试图递给他整座图书馆的书籍（数百万页），他会不堪重负， dropping 书籍，并在读到故事中间时开始遗忘开头。这就是当前大多数先进 AI 模型的局限，被称为“上下文窗口”。
这篇论文介绍了一种与这位图书管理员协作的新方法，称为递归语言模型（RLMs）。RLMs 不是试图强迫图书管理员一次性持有整座图书馆，而是给他提供一套工具箱和一个文件柜。
以下是其工作原理，使用一个简单的类比：
问题：“一次性”限制
通常情况下，如果你要求图书管理员在一本 1000 万页的百科全书中查找特定事实，他们会试图一次性读完所有内容。由于他们无法容纳这么多内容，他们会感到困惑、遗漏细节，甚至放弃。这被称为“上下文腐烂”——文本越长，答案就越愚蠢。
解决方案：带有文件柜的“管理者”
RLM 方法改变了图书管理员的工作职责。图书管理员不再仅仅是读者，而是变成了一个拥有巨型文件柜（一种称为 REPL 的计算机程序）访问权限的项目经理。
提示是文件，而不是一把纸：当你给图书管理员一个巨大的提示（那本 1000 万页的书）时，RLM 不会把它硬塞到图书管理员手中。相反，它把书放在文件柜的架子上，并给图书管理员一个标签，上面写着：“书在 A 箱里。”
编写指令（代码）：图书管理员被允许写一些小便条（代码）来与该箱子互动。他们可以说：“打开 A 箱，查看前 50 页，并告诉我里面有什么。”
递归循环（“子管理者”）：如果图书管理员需要检查整本书，他们不会试图一次性读完。他们会编写一个循环：
- “阅读第一个片段。总结它。将摘要保存到新的文件夹中。”
- “阅读下一个片段。总结它。也保存那个。”
- “现在，取所有这些摘要并将它们结合起来回答问题。”
关键在于，图书管理员甚至可以雇佣一名初级图书管理员（子调用）来负责特定片段的繁重工作。主要图书管理员管理整个过程，而初级图书管理员阅读特定页面并汇报。
为什么这很重要
论文在一些非常困难的任务上测试了这一想法：
- “大海捞针”：在百万页中查找一个特定的句子。
- “读书报告”：阅读整本书并回答关于情节的复杂问题。
- “代码侦探”：理解一个包含数千个文件的庞大软件项目。
结果：
- 超人类规模：RLM 系统能够处理比图书管理员自然限制大 10 倍的输入。它成功处理了数百万个 token（页），而标准图书管理员在这些情况下完全失败。
- 更高质量：即使在较短的任务中，RLM 方法也更聪明。它不仅仅是总结；它能够深入挖掘具体细节，因为它可以编程地“放大”文本的某些部分。
- 成本：令人惊讶的是，这并没有花费更多的钱。由于该系统擅长分解问题，它通常比那些试图将整个文本强行塞入模型内存的其他方法使用更少的资源。
一个特殊的训练技巧
研究人员还尝试教一位更小、更便宜的图书管理员（一个 80 亿参数的模型）如何使用这个文件柜系统。他们向它展示了 1,000 个例子，说明一位超级聪明的图书管理员是如何使用这个系统的。
- 结果：小图书管理员迅速学会了。仅仅通过学习如何使用“文件柜”和“子管理者”，它在解决长问题方面的能力提高了28%，即使它最初并非为此设计。
结论
论文认为，我们不需要构建更大、更昂贵的大脑来处理海量文本。相反，我们可以教会我们当前聪明的大脑成为更好的管理者。通过将文本视为可以编程地打开、阅读和逐段总结的外部对象，AI 可以有效地处理“无限”量的信息而不会不堪重负。
该论文并未声称：
- 它不声称这适用于医疗诊断或法律建议（尽管它使用编码和研究任务作为示例）。
- 它不表示这将在未来自动发生；它需要这种特定的“管理者”设置才能工作。
- 它不声称 AI 具有“意识”或以人类的方式“思考”；这仅仅是一种组织数据处理非常聪明的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。