Token Optimization and Context Window Management in Multi-Agent AI Workflows
本文提出了一个用于优化多智能体 AI 工作流中 Token 使用量和管理上下文窗口的实践者框架，通过生产数据和受控研究证明，诸如上下文分层（context stratification）和“相关性对比”（relevance-contrast）上下文组合等策略可以显著降低延迟和成本，同时提高模型准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，一种新型系统已经出现，其中多个计算机程序（或称“智能体”）协同工作以解决复杂问题。想象一下一支数字助手团队：一个负责收集信息，另一个负责整理信息，第三个负责撰写最终报告。为了让这些团队发挥作用，它们依赖于大型语言模型，这些模型是驱动其思考的引擎。然而，这些引擎对于在任何特定时刻能容纳多少信息都有严格的限制。这种限制是以“Token”（标记）来衡量的，Token 是构成单词和句子的微小文本单位。当工作流变得过长或充斥着不必要的细节时，系统会变慢，运行成本更高，有时甚至会因为重要的事实淹没在噪音的海洋中而导致出错。工程师面临的挑战不仅在于构建更聪明的智能体，还在于教它们如何高效地管理记忆，确保它们只关注完成工作所真正必需的信息。
研究员 Dvir Shamay 最近的一项研究针对这一问题进行了探讨，该研究超越了理论构想，在真实的生产环境中测试了实用方法。这项研究聚焦于一个用于追踪工程工作的仪表盘，该系统不断摄取会议记录、电子邮件和聊天消息，以提取重要任务并总结进度。团队发现，通过仔细重新排列信息的输入方式，他们可以大幅减少处理数据所需的时间和计算能力。他们发现，最有效的方法不是向 AI 输入包含所有内容的庞大文本块，而是仅发送每一步所需的特定类型的数据。通过一次性获取数据并在本地进行处理，而不是要求系统重复检索相同的信息，他们将加载一组新任务的时间从大约三分半到十来分钟缩短到了 61 到 116 秒之间。这种改变也将处理的预估成本降低了 60% 到 70%，证明了更好的组织架构与更强大的计算机同样强大。
这项研究中最令人惊讶的发现挑战了关于这些系统如何学习的普遍直觉。工程师通常假设，为了获得最佳结果，应该只向 AI 提供最相关、最高质量的信息，并过滤掉其他一切。研究人员通过要求 AI 从一份职场沟通列表中识别重要项目来测试了这一点。他们将完全由高相关性项目组成的提示词，与混合了高相关性项目及低相关性（但仍属于同一主题）内容的提示词进行了对比。反直觉的是，当列表中包含一些“噪音”——即那些虽不关键但属于同一主题的项目时，系统的表现反而更好。当 AI 看到哪些内容是“不重要”的例子时，它能更好地分辨出哪些才是“重要”的。在测试中，将 50% 的重要项目与 50% 的次要项目混合在一起，相比于仅使用重要项目，显著提高了 AI 评分的准确度。这表明，AI 需要看到信号与噪音之间的对比来校准自身的判断，就像一个人需要感受一系列温度的变化才能理解“温暖”的真正含义一样。
研究还考察了信息的顺序如何影响性能。虽然有些理论认为，放在长列表中间的信息会被忽略，但研究人员发现，对于较短的列表，排列方式的重要性不如重要与不重要项目的比例。然而，他们确实证实，当列表变得非常长时，将关键事实埋在中间确实会导致它们被遗漏。另一个实际的发现涉及如何处理对同一任务的多次尝试。当系统尝试提取五次信息，然后使用一个聪明的 AI 来合并结果时，其表现并不比简单地取这五次尝试中所有唯一项目的并集更好。复杂的智能化合并步骤增加了成本和时间，却没有改善最终结果，这表明简单的机械式组合往往是收集信息时最可靠的方法。
这些发现为 AI 系统的构建者提供了一条清晰的路径。研究表明，效率和准确性不仅取决于选择最先进的模型，更在于对信息流的工程化设计。通过在数据到达 AI 之前进行过滤，加入适度的上下文以设定清晰的标准，并避免在合并结果时使用不必要的复杂手段，团队可以使他们的系统更快、更便宜且更可靠。这项研究并未声称解决了人工智能的所有问题，也并未暗示这些规则适用于每一个单一任务。相反，它提供了一套在实时生产环境中已被证明有效的、可衡量且可重复的模式。对于那些正在构建自动化工作未来的开发者来说，教训是明确的：提升性能的关键往往不在于增加更多，而在于以更高的精准度来组织你已拥有的资源。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。