ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

在快速发展的人工智能领域，出现了一类新一代系统，它们可以通过将复杂问题分解为较小的步骤来解决问题。这些被称为多智能体工作流（multi-agent workflows）的系统，运作起来就像一个专家团队，其中不同的计算机程序（每个都由大语言模型驱动）协作完成单一任务。一个智能体可能负责规划策略，另一个负责编写代码，而第三个则负责检查结果。虽然这种方法让机器能够处理以前无法处理的开放式挑战，但也带来了高昂的代价。每当系统要求模型进行思考或行动时，都会消耗能量和资金。在每一个步骤中都使用最强大、最能干的模型往往是浪费，而仅依赖较小、较便宜的模型则可能导致错误，从而在后期需要进行昂贵的修正。研究人员面临的核心挑战在于，如何找到一种方法，在每个特定时刻动态地决定使用哪种模型，从而在高质量结果的需求与时间及预算的限制之间取得平衡。

一组研究人员开发了一种名为 PROGROUTER 的新系统来解决这个精确的问题。PROGROTER 不会在任务开始时做出单一决策，也不会在出现问题时盲目升级到更强大的模型，而是扮演着一名智能指挥家的角色，实时倾听工作流的变化。它不断监测团队取得了多少进展、剩余步骤的难度以及已消耗了多少预算。基于这种实时评估，它会为下一步选择最合适的模型，确保只有在真正需要克服特定障碍时，才会调用强大且昂贵的模型。这种方法使系统能够在保持高性能的同时，显著降低完成任务所需的总能量和成本。

研究人员在四种不同类型的困难任务上测试了该系统：编写计算机代码、解决数学问题，以及回答需要搜索大量信息的复杂问题。他们将 PROGROUTER 与几种现有方法进行了对比，包括始终使用相同模型的策略、在陷入困境时才切换到更大模型的策略，以及依赖以往经验预测最佳方案的策略。结果显示，固定策略（无论是仅使用小模型还是仅使用大模型）都一致无法满足实验设定的能量和成本限制。小模型经常陷入停滞并需要过多的重试，而大模型在每一次调用中都消耗了过多的能量。相比之下，PROGROTER 成功找到了中间地带。在代码编写测试中，它在严格的 4,800 焦耳能量预算内实现了 93% 的成功率。在数学问题上，它仅用 19 秒便完成了任务，且仅消耗了 6,112 焦耳的能量，表现优于所有符合预算约束的其他方法。

PROGROUTER 之所以有效，是因为它能够理解工作过程中的“状态”。该系统使用一种从多个角度观察工作流的评分机制。它会检查整体计划是否有效、完成了多少子任务、工作是在推进还是在停滞，以及目前生成的信息质量如何。通过结合这些不同的视角，系统可以判断任务是接近尾声还是正面临重大障碍。当工作进展顺利时，系统会选择更小、更快、更便宜的模型以降低成本。然而，一旦系统检测到工作流陷入停滞或仍有困难步骤，它会立即切换到更强大的模型以推动任务前进。这种决策在整个过程中是即时且反复进行的，确保不会在不必要的繁重任务上浪费能量，也不会在需要更高智能度的步骤上浪费时间。

研究还表明，这种自适应方法即使在没有明确对错答案的开放式场景中也同样有效，例如系统必须从互联网收集信息以撰写一份详尽的长篇报告。在这些进度难以衡量的场景中，PROGROTER 仍然创造了所有测试方法中最高质量的结果。它在这些复杂问题上达到了 92.1% 的精准度得分，同时保持在能量限制之内。研究人员发现，该系统自然地学会了专业化分工：在大多数常规步骤中使用较小的模型，并将最大的、能力最强的模型保留给那些其额外力量能产生实质影响的关键时刻。这种动态行为使系统能够避免其他方法的常见陷阱，例如在弱模型中陷入循环，或因使用强大模型而过快耗尽预算。

最终，这项工作证明了高效人工智能的未来不仅在于构建更好的模型，还在于构建更好的使用模型的方式。通过将模型选择视为一种持续的、数据驱动的决策而非一次性的选择，PROGROUTER 展示了实现高质量结果而不必承担限制这些技术规模化的昂贵成本是可能的。该系统证明，通过正确的编排，一个多样化的模型团队可以比任何单一模型独立工作都更高效地协作，为构建能够处理复杂现实挑战且不会耗尽资源的、更可持续且更易获得的 AI 系统提供了一条路径。