技术摘要：SWE-Router

问题陈述

集成在多轮智能体框架中的大语言模型（LLMs）在软件工程（SWE）任务（如解决仓库级的 GitHub issue）中正取得最先进的成果。然而，前沿模型的推理成本通常比具有竞争力的开源权重替代方案高出一个数量级。一个关键的低效之处在于，现有的路由策略将每个任务都视为需要前沿能力的任务，尽管事实上许多 issue 仅需“廉价修复”即可解决。

目前的 LLM 路由器的运作方式是基于仅由初始任务描述（$q$）构成的分类器或概率估计器。作者指出这种方法存在一个根本性的局性：在智能体设置中，相似的 issue 描述可能会掩盖截然不同的底层难度（例如，是一个局部的拼写错误，还是一个多模块的重构）。这种歧义性造成了“信息论贝叶斯误差底限（Bayes-error floor）”，即仅凭提示词（prompt）无法区分简单实例与困难实例。因此，仅基于 $q$ 的路由决策会继承高错误率，导致将原本可以通过更便宜的模型解决的任务错误地升级到昂贵的模型。

方法论：SWE-Router

本文引入了 SWE-Router，这是一个基于价值的时序路由框架，旨在克服仅基于提示词路由的信息局限性。SWE-Router 不再根据 $q$ 做出即时决策，而是采用一种“先试后买（try-before-you-buy）”的策略：

1. 探索阶段： 允许一个廉价的弱模型（$m_1$）运行 $K$ 个探索回合。在这些回合中，智能体会生成一个部分轨迹（$\mathcal{T}_{\le K}$），该轨迹由思考、行动和观察（例如：失败的测试、文件内容、堆栈跟踪）组成。
2. 价值估计： 一个学习到的价值头（一个在二元轨迹奖励上训练的分类器）读取部分轨迹 $\mathcal{T}_{\le K}$，并预测 $m_1$ 最终解决该任务的概率。
3. 路由决策： 系统比较继续使用 $m_1$ 与升级到更强、更昂贵模型（$m_2$）的成本调整后期望效用。
   • 如果 $m_1$ 的预测成功概率超过成本调整后的阈值，则让 $m_1$ 继续执行任务。
   • 否则，系统升级到 $m_2$，由 $m_2$ 从原始提示词 $q$ 开始重新执行任务（以避免受到 $m_1$ 推理过程的偏差影响）。

理论基础：
作者提供了一个贝叶斯最优性定理（定理 4.1），证明了基于部分轨迹 $\mathcal{T}_{\le K}$ 进行条件化处理，在路由性能上绝不会差于仅基于 $q$ 进行条件化处理。该定理确立了部分轨迹携带的信息严格多于提示词。只要探索回合提供了关于任务难度的信息性信号（即当条件效用差距无法通过提示词测量时），路由性能的提升就是严格成立的。

实现细节：

• 价值头： 使用预训练的 LLM（Qwen2.5-Coder-7B-Instruct）配合一个小型的分类头，通过 LoRA 在二元轨迹奖励上进行微调。
• 训练数据： 该框架利用通过在 SWE-Smith 和 SWE-Bench 数据集上运行多 LLM 轨迹生成的轨迹数据集。
• 路由规则： 作者将决策规则简化为单侧路由方法：如果 $\hat{r}_1(\mathcal{T}_{\le K}) \ge \lambda'$，则继续使用 $m_1$，其中 $\lambda'$ 是在验证数据上调优的阈值。

核心贡献

1. 识别贝叶斯误差底限： 本文指出，在多轮智能体 SWE 中，基于提示词的路由器存在信息论极限，因为任务描述往往无法区分局部问题与复杂问题。
2. 时序路由框架： SWE-Router 是首个将路由决策建立在智能体自身中间观察结果（部分轨迹）而非仅仅基于提示词之上的路由框架。
3. 理论保证： 提供了一个证明，表明当探索具有信息量时，基于部分轨迹的条件化处理会严格提高路由的最优性。
4. 实证验证： 大量的实验表明，SWE-Router 在保持更强模型解决率的同时，显著提高了成本效率。
5. 数据集发布： 作者发布了一个多 LLM 轨迹数据集，以支持轨迹级路由研究的可复现性。

实验结果

作者在 SWE-Bench Verified 和 SWE-Smith 数据集上评估了 SWE-Router，使用了两组 LLM 对（弱模型：gpt-5-mini 或 deepseek-v3.2；强模型：gemini-3-pro-preview）。

• 成本-性能帕累托前沿（Pareto Frontier）： SWE-Router（当 $K=3$ 时）描绘出的帕累托前沿在大多数成本范围内都严格优于基于嵌入（embedding-based）的基准模型（如逻辑回归、k-NN、XGBoost）以及非时序路由器（$K=0$）。
• Route-AUC 提升： 在 SWE-Bench Verified 测试集上，使用 deepseek-v3.2 作为 $m_1$ 时，SWE-Router 实现了 0.780 的 Route-AUC，相比非时序基准提升了 15.3 个百分点。gpt-5-mini 组合显示出 12 个百分点 的提升。
• 协同效应： 路由曲线偶尔会超过“全强模型（all-strong）”基准线的表现。这表明，通过将简单的实例正确路由给弱模型，解决了强模型在被迫处理所有任务时可能失败的情况，这可能是由于弱模型能够进行探索，从而避开了强模型特定的失败模式或成本约束。
• 指标相关性： 作者指出，价值头的 AUROC（判别质量）与实际路由性能（Route-AUC）之间没有强相关性，这表明价值头捕捉的是与特定成本效益权衡相关的细微信号，而不仅仅是原始准确率。

重要性与主张

本文声称，SWE-Router 通过在性能损失极小的情况下降低前沿模型的推理成本和能耗，提供了明显的正面影响。通过将“中间智能体观察结果包含提示词本身所不具备的结构性信号（如缺陷定位数据）”这一洞察转化为操作性方法，该框架打破了仅基于提示词的路由器所面临的信息论天花板。

作者谦虚地将其贡献界定为一种“极大提高 SWE 任务成本效率”的方法，同时保持了大部分强模型的性能。他们承认，虽然该方法降低了成本，但使用部分轨迹在理论上可能被误用于绕过安全导向的模型，并将“安全感知路由”确定为未来的重要研究方向。其核心意义在于将路由范式从静态的提示词分析转向动态的、感知轨迹的智能体软件工程决策。