The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search

在现代数字化景观中，搜索引擎已从简单的文档库演变为能够合成答案的对话伙伴。这种转变依赖于一种被称为检索增强生成（retrieval-augmented generation）的技术，即计算机系统首先从庞大的数据库中寻找相关文档，然后将这些文档输入给大型语言模型以构建回答。多年来，普遍的假设是，帮助计算机回答复杂问题的最佳方法是同时向其喂入尽可能多的信息。这种逻辑看似合理：如果人类需要理解一个主题，他们会阅读许多页面；因此，如果机器需要回答，它应该一次性阅读一大块文本。然而，这种方法假设机器处理信息的方式与人类完全相同，忽略了这些人工大脑实际运作方式中的一个关键缺陷。当问题具有歧义或需要广泛的事实支撑时，仅仅将大量的文本倾倒进机器的“大脑”往往会导致混乱，使其遗漏重要细节或出现重复。研究人员面临的问题是：是给机器一次性喂入一大剂信息更好，还是将同样数量的信息分解成若干个更小、更集中的剂量，通过多次轮次进行传递更好。

来自北京大学和腾讯的研究团队着手解决这一难题，但他们首先意识到自己正拿着一把“坏掉的尺子”在工作。为了理解机器如何使用它所获得的信息，他们需要一种方法来精确测量模型究竟依赖文本中的哪些部分来形成答案。行业内通用的标准方法就像是通过学生作文中与原文有多少重合的词汇来评判其水平；当素材中包含许多听起来相似但无关紧要的事实时，这些方法会彻底失效。研究人员开发了一种新的、更精确的工具，其作用类似于一种诊断探针。他们没有仅仅观察最终答案，而是通过悄悄地从输入中移除一个信息片段，并观察答案是否发生变化，以此来测试机器。如果移除特定的句子导致答案发生了偏移，他们就知道那部分信息是真正不可或缺的。通过这种严谨的方法，他们发现了该领域中一个普遍存在的错觉：以往的研究被一些简单的测试案例所迷惑，在这些案例中，机器似乎理解了一切，但当面对困难且真实的场景时，那些旧的测量工具就会崩溃，无法区分机器实际使用了什么以及它仅仅忽略了什么。

有了可靠的注意力测量方法后，研究人员转向了核心问题：如何分配机器有限的计算资源。他们进行了一系列大规模实验，将固定数量的文档以两种不同的方式进行分配。在一种情景中，他们将所有文档一次性喂给机器，采用单一的宽泛提示词，希望它能一次性吸收所有内容。在另一种情景中，他们给机器提供完全相同总数的文档，但将其分散在许多次独立的、较小的交互中。结果是显著且反直觉的。一次性喂入大量文本的策略触碰到了一个硬性的天花板：随着文本堆积得越来越大，机器专注于任何单一证据的能力会被稀释，使其变得不堪重负，无法获取完整的图景。相比之下，将信息分解为更小的、连续的轮次进行处理的方法，让机器能够覆盖更广的范围。通过在专注的爆发式处理中迭代证据，该系统在事实召回能力上取得了显著提升，与单次处理法相比，覆盖率提升了 16.8 到 20.5 个百分点。即使在针对更大型、更强大的模型进行测试时，这一增益依然成立，这证明了局限性并非源于计算能力的缺乏，而是源于试图同时处理一切的策略本身存在根本性缺陷。

随后，研究人员构建了一种新的系统架构来将这些发现付诸实践，从而摆脱了那种机器被给予一份清单后便由其自行处理的旧式“开环”模式。他们的新系统作为一个闭环运行，不断检查自己的工作。在机器生成响应后，系统使用他们的诊断探针来查看哪些事实被实际使用了，哪些被忽略了。随后，系统利用这种反馈来决定下一步向机器展示什么，主动引导它远离已经处理过的信息，并转向新鲜的、尚未探索的事实。为了进一步确保机器不会陷入重复已知内容的困境，他们加入了一种机制，轻轻地将机器的注意力推向新证据，从而覆盖其固守熟悉模式的自然倾向。这种智能调度与主动引导的结合，使得该系统表现优于他们测试的所有其他方法，包括那些依赖复杂数学公式来实现输入多样化的方法。该系统证明，通过有意识地在分步过程中投入更多的时长和计算能力，而非试图匆忙给出一个宏大的单一答案，机器可以实现此前被认为不可能实现的全面理解水平。

最终，这项工作重新定义了我们应当如何看待人工智能搜索。它表明，获得更好答案的路径并不一定在于让模型变得更大或一次性喂入更多文本，而在于改变它们消费信息的节奏。研究人员确立了对于复杂任务而言，最有效的策略是投入到一个更缓慢、更具迭代性的过程中，通过引导机器以小规模、可控的块状形式去探索证据。这种方法将搜索过程从静态的数据倾倒转变为动态的、由反馈驱动的对话，确保机器能够通过一个又一个专注的步骤，构建出关于真相的完整且准确的图景。