💻 computer science

Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction

本文提出了动态混合精度路由（DMR），这是一个框架，它利用两阶段训练流程，在长视野多步任务的每个决策步骤中自适应地在高精度和低精度大语言模型之间进行选择，以实现精度与成本之间的最佳权衡。

原作者： Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一个侦探团队来解决一个复杂的多步骤谜题（例如在巨大的在线商店中寻找特定商品，或在虚拟房屋中导航）。

在人工智能的世界里，这些“侦探”就是大型语言模型（LLM）。为了获得最佳结果，你通常会雇佣最昂贵、训练有素的资深侦探（高精度模型）。他们才华横溢，但运行速度慢且成本极高。或者，你也可以雇佣一支由快速、廉价的初级侦探组成的团队（低精度/量化模型）。他们速度快且成本低，但有时会犯愚蠢的错误或遗漏关键线索。

问题在于，长期且复杂的任务需要许多步骤。如果你为每一个步骤都雇佣昂贵的资深侦探，成本将过高；如果你为每一个步骤都雇佣廉价的初级侦探，他们可能会因为在对棘手部分感到困惑而搞砸整个案件。

这篇论文介绍了一种名为动态混合精度路由（DMR）的智能解决方案。你可以将其想象为一位超级智能调度员，负责管理这些侦探。

调度员如何工作

调度员并非为整个任务只雇佣一种类型的侦探，而是实时观察调查的进展，并在每一步瞬间做出决定：

简单步骤：当任务 straightforward（例如“查看门”或“搜索红色衬衫”）时，调度员将工作分配给廉价、快速的初级侦探。他们能够快速且足够准确地处理这些任务。
关键步骤：当任务遇到“陷阱”或复杂谜题（例如“找出哪把钥匙能打开上锁的盒子”或“协商最终价格”）时，调度员会立即切换到昂贵、资深的侦探，以确保工作正确完成。

目标是在绝对必要时才使用昂贵的侦探，从而节省金钱和时间，同时仍能成功解开谜题。

调度员如何学习

该论文描述了一个两步训练过程，以教导这位调度员如何识别“关键步骤”：

第一步：“影子跟随”阶段（KL 散度）：
想象调度员并排观察资深侦探和初级侦探处理同一个案件。大多数时候，他们对该做什么意见一致。但偶尔，初级侦探会感到困惑并提出错误的行动建议。调度员学会识别这两个侦探意见不一致的特定时刻。它学会了：“啊，每当初级侦探开始动摇时，我就需要叫上资深侦探。”
第二步：“实战演练”阶段（强化学习）：
一旦调度员掌握了基础知识，它就开始进行实际的演练。它尝试不同的策略：“如果我在这一点叫上资深侦探会怎样？如果我等待一下会怎样？”它根据两点获得评分：**我们是否解决了案件？以及我们花费了多少时间/金钱？**随着时间的推移，它学会了以最低的成本解决最多案件的完美平衡。

结果

研究人员在两个现实场景中测试了该系统：

WebShop：一个代理试图通过搜索和点击来在线购买特定商品。
ALFWorld：一个代理试图通过拿起和放下物体来整理虚拟房间。

研究结果非常明确：

“始终廉价”的方法：速度快，但经常因初级侦探在困难步骤上卡住而失败。
“始终昂贵”的方法：非常成功，但极其缓慢且成本高昂。
“调度员”（DMR）方法：其成功率与昂贵的资深侦探几乎相同，但速度快得多且成本低得多。在许多情况下，它的表现几乎与资深侦探一样好，但约 60–80% 的工作都使用了廉价的初级侦探。

核心结论

这篇论文表明，你不必在“昂贵且聪明”与“廉价且笨拙”之间做出选择。通过使用一个智能路由器，根据当前步骤的难度在两者之间动态切换，你可以兼得两者之长：在显著降低成本的同時保持高成功率。这就像拥有一个团队，其中初级员工处理常规工作，而专家仅在情况变得真正棘手时才介入。

技术摘要：面向高效多步大语言模型交互的动态混合精度路由

问题陈述

大语言模型（LLM）已在长视野决策任务中展现出强大的能力，例如在需要工具使用和环境交互的智能体（agent）场景中。然而，为这些复杂的多步任务部署全精度大语言模型会产生高昂的推理成本。虽然量化为提升效率提供了一条有前景的途径，但近期研究表明，在智能体执行过程中简单地全程应用低精度量化，会导致现实世界智能体任务中的性能显著下降。这种下降并非均匀分布；量化模型通常在标准推理步骤上表现尚可，但在特定的“关键步骤”（例如精确放置或复杂工具选择）上会失效，从而导致轨迹层面的不可逆失败。现有的路由方法通常专为静态、单轮查询设计，或仅在粗粒度的问题层面运行，因此无法满足长视野智能体交互所需的细粒度、步骤级决策。

方法论：动态混合精度路由（DMR）

作者提出了动态混合精度路由（Dynamic Mixed-Precision Routing, DMR），这是一个轻量级框架，能够在智能体轨迹的每个决策步骤中，自适应地在高精度（例如 BF16）和低精度（例如 Int4）大语言模型之间进行选择。其核心洞察在于：交互步骤对量化的敏感度各不相同；路由机制可以识别需要高精度的关键步骤，同时允许非关键步骤利用更廉价、低精度的推理。

1. 路由架构

DMR 采用一个轻量级 Transformer 路由（与动作生成解耦），该路由接收轨迹级输入（任务描述、动作/观察历史），并为当前步骤输出精度选择（ $r_t \in \{1, \dots, K\}$ ）。该路由由参数 $\theta$ 参数化，其规模远小于被路由的大语言模型（约占其参数量的 2–3%）。

2. 两阶段训练流程

路由器的训练通过两阶段过程进行：

阶段 1：基于 KL 散度的监督学习（KL-ST）
- 动机：低精度模型通常能匹配高精度模型的行为，但在关键步骤上表现出较大的偏差。
- 过程：作者利用高精度 rollout 收集轨迹。在每一步，计算低精度模型与高精度参考模型的动作分布之间的 Kullback-Leibler（KL）散度。
- 标注：观察到 KL 分布呈双峰形态（密集的低散度区域与稀疏的高散度尾部）。应用阈值 $\tau$ 将连续的 KL 值转换为二元标签（ $y_t=1$ 表示需要高精度，否则为 0）。
- 训练：使用类别加权交叉熵对路由器进行微调以预测这些标签，作为预热起点。
- 校准：为解决训练（高精度历史）与部署（混合精度历史）之间的分布偏移，在保留的校准池上计算基于分位数的阈值，以满足特定的高精度预算约束（ $\rho$ ）。
阶段 2：组相对策略优化（GRPO）
- 动机：KL-ST 优化的是局部步骤敏感度，但最终目标是在延迟预算下实现轨迹层面的任务成功。
- 过程：从 KL-ST 路由器出发，利用 GRPO 对策略进行细化。该方法采样多组轨迹，并优化一个平衡任务成功与执行成本的奖励函数。
- 奖励函数： $R(\tau) = \mathbb{I}[\text{success}] - \lambda \cdot C(\tau)$ ，其中 $C(\tau)$ 是基于步骤数、高精度/低精度模型生成的 token 数以及路由开销计算的总执行时间。GRPO 无需学习单独的价值函数，因此适用于稀疏的长视野奖励。

主要贡献

动态混合精度框架：一种新颖的方法，在保持任务成功率的同时，大幅降低了长视野智能体任务的推理成本，解决了静态量化与动态智能体需求之间的不匹配问题。
轻量级路由器：引入了一个仅包含被路由大语言模型约 2–3% 参数的路由器，足以识别精度关键步骤并学习有效的路由策略。
基于强化学习的优化：利用 GRPO 联合优化任务性能与推理成本，超越了静态监督，学习出一个平衡精度与延迟帕累托前沿的策略。

实验结果

该框架在两个基于文本的智能体基准测试上进行了评估：WebShop（在线购物）和ALFWorld（具身家庭任务），使用了带有 AWQ 和 GPTQ 量化的 Qwen3 模型（1.7B 和 4B）。

精度 - 成本权衡：DMR 始终优于“始终量化”的基线。在许多配置中（例如 ALFWorld 上的 4B AWQ），DMR 匹配甚至超过了全精度（BF16）的成功率，同时所需时间显著更少。
从性能下降中恢复：在“始终量化”基线表现不佳的场景中（例如 WebShop 上的 1.7B GPTQ），DMR 恢复了量化模型与全精度模型之间性能差距的 93%。
预算控制：高精度预算参数（ $K$ ）有效地控制了权衡。较低的 $K$ 值优先降低延迟，而较高的 $K$ 值恢复更多精度。
消融研究：
- 强化学习细化：与单独的监督 KL-ST 路由器相比，GRPO 细化通常能产生最佳工作点，特别是在复杂设置中。
- 路由器深度：路由器容量并非瓶颈；发现 8 层路由器接近最优，更深或更浅的路由器对性能的影响可忽略不计或为负面。
- 阈值敏感性：KL 阈值 $\tau$ 的选择在 KL 分布的“稀疏区域”内具有鲁棒性，但如果阈值切断了具有相似值的密集区域，则会失效。

意义与主张

该论文主张，**动态混合精度路由（DMR）**有效地从序列决策的角度重新审视了精度选择问题。它证明了动态的、步骤级的精度控制是智能体场景中的一种可行策略，使智能体能够利用全精度模型和量化模型的互补优势。通过识别并仅对关键步骤选择性地应用高精度，DMR 实现了比单精度基线更优越的精度 - 成本权衡。作者将这项工作定位为迈向使长视野大语言模型智能体在计算上更可行的一步，同时不牺牲复杂现实世界交互所需的鲁棒性。未来的工作建议将 DMR 扩展到更丰富的精度集合，以及部署原生低比特内核的环境。