🤖 machine learning

ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

ParetoBandit 是一种基于成本感知上下文多臂老虎机的开源自适应路由系统，它通过在线原对偶预算控制、几何遗忘机制和热插拔注册表，首次实现了在动态非平稳环境下对大语言模型组合的实时预算约束、价格与质量波动自适应以及运行时模型无缝集成。

原作者： Annette Taberner-Miller

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Annette Taberner-Miller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ParetoBandit 的新系统，它的核心任务可以比作是一个超级智能的“餐厅点餐经理”。

想象一下，你开了一家大餐厅（这就是生产环境中的大模型服务），菜单上有几十种不同的菜品（不同的 AI 模型）。

有的菜便宜但味道一般（便宜的小模型）；
有的菜贵但味道顶级（昂贵的大模型）；
有时候，厨师（模型提供商）会突然把某道菜的价格减半，或者悄悄把某道菜的配方改差了（模型质量下降或价格波动）。

传统的点餐经理（现有的路由系统）通常很死板：要么只点最贵的，要么只点最便宜的，或者根据一张死板的菜单表来点。一旦市场变了（价格变了、菜不好吃了），他们就会反应迟钝，导致要么花冤枉钱，要么吃到难吃的菜。

ParetoBandit 就是那个能“见风使舵”、精打细算的超级经理。 它不仅能实时调整策略，还能严格控制在你的总预算内。

下面我用三个生动的比喻来解释它是如何工作的：

1. 像“自动巡航的油门”一样控制预算

（预算节律控制 Budget-Paced Adaptive Routing）

痛点： 以前，如果你想控制每顿饭平均花 50 元，系统可能一开始花 100 元，后面再想办法省回来，结果总账超了。或者它根本不知道今天菜价涨了，还在按昨天的价格点菜。
ParetoBandit 的做法： 它像一个智能油门。
- 它设定了一个“每单最高花费”的天花板（比如每请求不能超过 0.005 美元）。
- 它有一个实时仪表盘：如果刚才几单花多了，它就立刻把“油门”踩下去，强制只点便宜菜；如果刚才几单花少了，它就松开油门，允许点一些更贵的菜来提升体验。
- 关键点： 这种调整是闭环的，就像自动驾驶汽车一样，时刻感知路况（花费），自动微调，确保你永远不会超速（超预算）。

2. 像“拥有记忆橡皮擦”的厨师

（非平稳适应 Non-Stationary Adaptation）

痛点： 假设“米其林三星”厨师突然把招牌菜做得很难吃（模型质量静默下降），但他没告诉你。传统的经理因为记得“这道菜以前很好吃”，会一直点，直到你投诉。
ParetoBandit 的做法： 它有一个**“记忆橡皮擦”**（几何遗忘机制）。
- 它不会死记硬背所有历史数据。它认为最近的数据最重要，很久以前的数据会逐渐变淡（被擦除）。
- 如果某道菜突然变难吃了，经理在尝了几次后，发现“最近的味道不对”，它就会迅速把这道菜从推荐名单里踢出去，转而尝试别的。
- 如果某道菜突然降价了，它也能立刻发现：“哇，现在这个价格太划算了！”于是立刻增加点单量。
- 这种机制让它能快速适应变化，而不是被过去的经验拖后腿。

3. 像“试吃员”的新品引进

（运行时组合管理 Runtime Portfolio Management）

痛点： 餐厅要上新菜（新模型），但不知道好不好吃。如果直接全量推广，万一很难吃就砸了招牌；如果不敢试，又可能错过爆款。
ParetoBandit 的做法： 它有一套科学的“试吃”流程。
- 当新模型加入时，它会强制给这个新模型几个“试吃机会”（强制探索）。
- 在试吃期间，它会严格监控：如果新菜又贵又难吃，直接拉黑；如果新菜便宜又好吃，就慢慢增加点单量。
- 最厉害的是，它不会盲目跟风。如果新模型很贵但质量一般，预算管理器会直接把它“关在门外”，直到证明它物有所值。

它的实际表现如何？

论文通过大量实验证明了这个“超级经理”有多强：

省钱又好吃： 在 1800 多次测试中，它几乎完美地控制了预算（从未超过目标太多），同时还能根据预算灵活地在“便宜菜”和“豪华菜”之间切换，达到了性价比的极致（帕累托最优）。
反应神速： 当某道菜价格突然减半，它能立刻抓住机会提升整体质量；当某道菜质量突然变差，它能立刻发现并停止点单，且不会超支。
速度极快： 做这个决策只需要 0.00002 秒（22.5 微秒）。这比 AI 生成回答的时间（通常几秒）要快几十万倍，完全不会让用户感觉到卡顿。

总结

ParetoBandit 就像是一个既懂数学、又懂市场、还特别守规矩的 AI 管家。

它解决了大模型服务中最大的难题：如何在价格和质量不断变化的世界里，既保证用户体验（质量好），又严格控制成本（不超支），还能随时应对突发状况（新模型、价格战、质量下滑）。

对于任何需要调用多个 AI 模型的企业来说，这就像是从“人工记账”升级到了“全自动智能财务系统”，让每一分钱都花在刀刃上。

ParetoBandit: 面向非平稳 LLM 服务的预算驱动自适应路由技术总结

1. 研究背景与问题定义

在生产环境中，大语言模型（LLM）的服务通常依赖于包含多个模型的组合（Portfolio），这些模型的成本差异可达 530 倍。路由决策需要在响应质量与调用成本之间进行权衡。然而，现有的路由系统面临以下核心挑战：

非平稳性（Non-Stationarity）：
- 价格波动：服务提供商会频繁调整 API 定价（例如 OpenAI 曾将 GPT-4o 输入价格降低 50%）。
- 质量退化：模型质量可能在后台静默更新中发生退化，而 API 响应和计费保持不变。
- 模型动态：新模型需要随时集成，旧模型需要移除，且不能导致服务中断。
预算约束的局限性：
- 现有方法多采用离线训练固定策略，或仅在有限的时间范围内优化累积预算。
- 缺乏在无限请求流中，针对每个请求强制执行美元预算上限（Cost Ceiling）的闭环控制机制。
- 现有自适应路由在面对价格或质量突变时，往往无法在保持预算合规的同时快速适应。

核心问题：如何设计一个自适应路由系统，能够在未知的请求流中，实时遵守每请求的美元预算上限，同时自动适应模型价格、质量的动态变化，并支持新模型的无缝热插拔？

2. 方法论：ParetoBandit 系统设计

ParetoBandit 是一个开源的自适应路由系统，基于**成本感知的上下文多臂老虎机（Contextual Bandits）**构建。它通过三个核心机制解决了上述挑战：

2.1 在线原对偶预算调节器 (Online Primal-Dual Budget Pacer)

机制：采用闭环控制策略，引入一个动态的对偶变量 $\lambda_t$ （拉格朗日乘子）。
工作原理：
- 系统维护一个指数移动平均（EMA）的实时成本信号 $\bar{c}_t$ 。
- 如果 $\bar{c}_t$ 超过预算上限 $B$ ， $\lambda_t$ 上升，对昂贵模型施加惩罚；反之则下降，释放预算以追求更高质量。
- 双层执行机制：
  1. 硬上限（Hard Ceiling）：当 $\lambda_t > 0$ 时，直接剔除那些成本超过动态阈值的模型，防止单次请求的灾难性超支。
  2. 软惩罚（Soft Penalty）：在候选模型集中，通过 UCB 分数中的 $-(\lambda_c + \lambda_t)\tilde{c}_a$ 项，根据成本比例微调选择概率，实现细粒度的质量 - 成本平衡。
优势：无需预先设定时间范围（Horizon-free），能够自动重新分配因价格下降而节省的预算。

2.2 基于几何遗忘的非平稳适应 (Geometric Forgetting)

机制：为了解决环境漂移问题，系统对充分统计量（Sufficient Statistics）应用几何遗忘因子 $\gamma$ （例如 $\gamma=0.997$ ）。
工作原理：
- 旧数据被指数级衰减，赋予近期观测更高的权重。
- 方差膨胀（Variance Inflation）：对于长时间未被选中的模型，系统主动增加其 UCB 探索项的方差，确保在环境变化时能重新探索（Re-exploration）那些可能已变得更有价值的模型。
优势：使系统能在约 333 步内（有效记忆窗口）覆盖旧有的先验知识，快速适应价格或质量的突变。

2.3 运行时模型组合管理 (Runtime Portfolio Management)

机制：支持热插拔（Hot-swap）模型注册表。
工作流程：
- 冷启动：新加入的模型可以通过离线先验（Warmup Priors）初始化，或者使用无信息先验。
- 强制探索：新模型加入后，会经历一个短暂的强制探索阶段（例如前 20 次请求无条件路由），以收集初始数据。
- 自动判别：随后，UCB 算法结合预算调节器，自动发现新模型的质量 - 成本定位。如果新模型昂贵且质量低，会被预算机制自然淘汰；如果性价比高，则会被采纳。

2.4 架构与效率

算法基础：基于 LinUCB，结合 Sherman-Morrison 秩-1 更新公式，确保每次更新的时间复杂度为 $O(d^2)$ 。
延迟：在 CPU 上，端到端路由延迟仅为 9.8 ms（其中路由决策本身仅需 22.5 $\mu$ s），占典型 LLM 推理时间（约 1 秒）的不到 0.4%。

3. 关键贡献

首个同时实现三项能力的 LLM 路由系统：
- 强制执行美元计价的每请求预算上限。
- 在线适应非平稳的价格和质量变化。
- 支持运行时动态添加/移除模型。
闭环预算控制：提出了基于原对偶方法的预算调节器，解决了在无限时间流中控制平均成本率的难题，填补了现有工作（如 PILOT, PROTEUS）在动态预算控制上的空白。
非平稳性处理框架：将几何遗忘机制与上下文老虎机结合，并设计了“帕累托拐点（Pareto Knee-point）”超参数调优方法，平衡了静态效率与非平稳恢复速度。
智能模型筛选：系统能够“歧视”而非“盲目采纳”新模型。昂贵模型受预算限制，低质量模型在有限探索后被拒绝，避免了传统方法中常见的盲目探索导致的成本失控。

4. 实验结果

作者在 1,824 个基准提示词上，使用 3 模型（Llama-3.1-8B, Mistral-Large, Gemini-2.5-Pro）组合进行了评估，涵盖 7 种预算上限。

预算合规性：
- 在所有场景下，平均每请求成本从未超过目标预算的 0.4%。
- 在成本漂移实验中，ParetoBandit 是唯一能始终保持在预算上限内的系统（其他基线如 Forgetting Bandit 在恢复阶段超支高达 5.5 倍）。
适应成本下降：
- 当最昂贵的模型价格突然下降 50% 时，系统自动增加其使用率，在严格预算下实现了 +0.071 的质量提升。
应对静默质量退化：
- 当某模型质量静默下降 18% 时，系统仅通过奖励信号检测到异常，并在预算范围内将流量重新分配。
- 相比之下，无闭环预算控制的基线在检测退化时，因过度转向昂贵模型而导致成本超支 6.9 倍。
冷启动模型接入：
- 新模型（Gemini-2.5-Flash）在约 142 步 内达到有意义的采用率，且未突破成本上限。
- 系统能自动拒绝“好但贵”或“差且便宜”的不合适模型。
性能：
- 路由决策延迟极低（22.5 $\mu$ s），对整体推理延迟影响微乎其微。

5. 意义与结论

ParetoBandit 证明了在动态变化的生产环境中，通过结合上下文多臂老虎机、在线预算调节和几何遗忘，可以实现高效、稳健且成本可控的 LLM 服务。

理论意义：它解决了带背包约束（BwK）在速率约束（Rate Constraint）和非平稳环境下的实际应用难题，提供了无需重新训练即可适应环境变化的在线学习范式。
实践意义：为多模型 LLM 服务提供了“即插即用”的解决方案。运营者只需设定预算上限，系统即可自动在质量、成本和模型组合变化之间寻找最优解，无需人工干预或离线重训。
未来方向：虽然目前评估基于离线模拟，但该系统架构为未来在真实流量中处理人类反馈延迟、聚合预算控制以及延迟感知路由奠定了基础。

综上所述，ParetoBandit 是迈向可靠、自适应且成本优化的生产级 LLM 服务的关键一步。