🤖 AI

Position: LLM Serving Needs Mathematical Optimization and Algorithmic Foundations, Not Just Heuristics

本立场论文主张，大语言模型推理服务已超越通用启发式方法的范畴，亟需针对其独特性开发数学优化模型与算法基础，以确保在多样化工作负载下提供可证明的性能保障。

原作者： Zijie Zhou

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Zijie Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营一家规模宏大、高速运转的餐厅厨房。这家厨房不仅仅制作汉堡，而是根据陆续到达的订单，制作复杂的多道菜大餐。问题在于？你无法预知每道菜需要多长时间才能做好，而且厨师烹饪得越多，这道菜占用的柜台空间就越大，从而挤占其他订单的空间。

这正是当今大型语言模型（LLM） 所面临的处境。它们就是为搜索引擎、编程助手和聊天机器人提供动力的“厨房”。

这篇论文指出，目前这些数字厨房正依靠猜测和简单规则（启发式方法） 运行。作者认为，是时候转向数学精确性和坚实的算法基础，以使其更快、更便宜、更可靠。

以下是使用日常类比对该论文论点的分解：

1. 问题所在：“足够好”的规则正在失效

目前，像 vLLM 和 SGLang（运行这些模型的软件）这样的系统，使用的是从通用计算中借用的老式规则。

队列： 如果你有一排顾客，厨房只是按照他们到达的顺序提供服务（先到先得）。
路由： 如果你有多位厨师，厨房会将下一个订单发送给排队最短的厨师，或者只是随机轮转来选择一位。
清理： 如果柜台满了，厨房会扔掉柜台上最旧的物品，为新物品腾出空间。

论文的观点： 这些规则在普通汉堡店运作良好。但 LLM 很特殊。

“生长”的菜肴： 与从开始到结束占用相同空间的汉堡不同，LLM 的菜肴在烹饪过程中会生长。AI 生成的每一个单词都会占用更多内存。
“两阶段”烹饪： 订单的第一部分（读取提示）很快，但需要大量的计算能力（compute）。第二部分（生成答案）很慢，但需要大量的内存带宽。
未知： 在菜肴完成之前，厨房不知道它会有多长。

由于这些怪癖，旧的“最短队列”或“最旧物品出局”规则往往会导致混乱，让一些厨师闲置，而另一些厨师则不堪重负，或者导致柜台意外地空间不足。

2. 解决方案：引入数学家

作者表示，我们需要停止猜测，开始使用数学优化。这就像聘请一位精通物流的规划师，他使用超级计算机来计算运行厨房的完美方式，而不仅仅是遵循规则手册。

论文强调了数学可以修复厨房的四个具体领域：

平衡厨师（负载均衡）：
- 当前方式： 将订单发送给票据最少的厨师。
- 数学方式： 精确计算每个订单随着其增长所需的“柜台空间”和“计算能力”，并分配它们，确保没有任何一位厨师因等待最慢的那一个而卡住。论文引用了一个真实系统（DeepSeek），它使用线性规划（一种数学方法）完美地做到了这一点，节省了时间和金钱。
等待队列（调度）：
- 当前方式： 服务队列中的第一个人。
- 数学方式： 观察队列并意识到：“那个人点了一份 10 页的论文，但下一个人只想要一个一句话的笑话。”先服务笑话！它能更快地清空柜台，让更多人用餐。数学可以预测哪些订单会快速完成，以保持厨房的运转。
柜台空间（缓存）：
- 当前方式： 当柜台满了时，扔掉最旧的物品。
- 数学方式： 意识到为了腾出空间给“微小缩略图”而扔掉“高分辨率视频”是一笔糟糕的交易。重新制作视频需要很长时间且代价高昂。数学可以计算扔掉物品的“成本”，并将昂贵的物品保留在柜台上。
规划人员（容量规划）：
- 当前方式： 当队伍太长时，不断增加厨师。
- 数学方式： 使用公式，在开门营业之前就知道确切需要多少厨师，这基于预期的顾客数量。这从根本上防止了厨房变得不堪重负。

3. 为什么不坚持使用规则？

论文回应了那些说“当前规则运作良好，为什么要改变？”的怀疑论者。

“它在规模上运作良好”：作者承认当前的规则运作得还可以，但它们很脆弱。如果一个病毒式应用突然发送一种奇怪的订单类型，厨房可能会崩溃。数学提供了一个安全网（保证），确保即使在最坏的情况下，厨房也不会失败。
“硬件变化太快”：作者认为，虽然硬件（烤箱）在变化，但组织厨房的逻辑保持不变。数学为你提供了一张蓝图，即使你更换了烤箱，它依然有效。
“系统工程更重要”：作者表示，数学和工程是合作伙伴。你可以拥有世界上最快的烤箱，但如果你的调度很差，烤箱就会闲置。数学告诉你如何让烤箱保持忙碌。

4. 大局观

论文得出结论，LLM 服务领域已经超越了其“童年”时期的简单规则。它已经成熟为一个复杂的系统，需要来自数学家和算法专家的“成人监督”。

通过将这些视为数学谜题而不仅仅是工程调整，我们可以获得：

可预测性： 确切知道系统将如何表现。
效率： 节省大量的能源和资金。
可靠性： 确保当情况变得疯狂时系统不会崩溃。

简而言之：停止猜测，开始计算。 AI 服务的未来不仅仅在于构建更大的模型，更在于构建更智能、经数学证明的运营方式。

技术摘要：LLM 服务需要数学优化与算法基础，而非仅靠启发式方法

1. 问题陈述

本文指出，大语言模型（LLM）推理服务已超越经典分布式系统所继承的通用启发式方法的能力范围。尽管现代服务框架（如 vLLM、SGLang）在架构创新方面取得了显著进展——例如连续批处理、分页注意力机制以及预填充 - 解码分离——但其核心算法决策过程仍植根于简单、通用的策略。

核心问题在于结构性错配：LLM 推理具有独特特征，而通用启发式方法未能加以利用，包括：

阶段不对称性： 预填充阶段受计算能力限制，而解码阶段受内存带宽限制。
动态资源消耗： KV 缓存内存随每个生成 token 单调增长，其最终大小直到生成完成前均未知。
粘性分配： 一旦请求被路由到某个工作节点，由于 KV 缓存传输成本高昂，迁移该请求的代价极大。
屏障同步： 在数据并行或专家并行设置中，最慢的工作节点（通常由 KV 缓存大小决定）决定了整个批次的延迟。

当前实践依赖诸如“加入最短队列”、“轮询”、“先进先出（FIFO）”调度以及“最近最少使用（LRU）”淘汰等启发式方法。本文认为，这些策略忽视了 LLM 工作负载的具体约束，导致在多样化或对抗性条件下性能不可预测，并阻碍了对基本性能极限的推导。

2. 方法论与 proposed 框架

本文主张从经验性启发式调优转向数学优化与算法基础。所提出的方法论包括：

形式化建模： 将服务决策（路由、调度、缓存、容量规划）表述为严格的数学规划问题（例如线性规划、整数规划、排队论）。
结构分析： 从这些模型中推导理论见解（例如对偶变量、稳定性条件、竞争比），以理解系统的根本极限。
算法设计： 开发算法，要么直接求解这些规划问题（在计算可行时），要么利用结构见解设计具有可证明性能保证的实用近似算法。

本文援引了一个历史类比：航空收益管理，其中线性规划并非用于实时求解每一次预订，而是用于推导“竞价价格”控制策略，这些策略简单、快速，且基于最优性条件。

3. 主要贡献与代表性示例

本文识别出四个关键瓶颈领域，在这些领域中，基于原则的优化方法提供了优于当前启发式方法的替代方案，并得到了新兴研究的支持：

A. 专家路由与负载均衡（MoE）

当前状态： 依赖训练过程中的辅助损失函数，或反应式启发式方法（例如随机噪声、专家选择）来平衡跨 GPU 的 token 分布。
优化方法： 将负载均衡表述为约束分配问题。
示例： DeepSeek 的LPLB系统将每批次的 token 重分配表述为线性规划（LP）。它在冗余专家副本的容量约束下，最小化单 GPU 的最大负载。
结果： 该 LP 通过嵌入式 GPU 求解器在约 100 微秒内求解，实现了最优的 token 平衡，且避免了辅助损失带来的干扰梯度。

B. 数据并行中的请求路由

当前状态： 使用无状态分发策略（轮询、Power-of-Two-Choices），忽视了 KV 缓存分配的“粘性”特性以及解码步骤时长的未知性。
优化方法： 将路由建模为具有屏障同步约束的在线整数优化问题。
示例： Chen 等人（2026） 提出了“平衡未来”原则。该算法不预测总解码长度（这很难），而是利用短视野预测来最小化前瞻窗口内的累积不平衡。
结果： 理论分析证明，即使在对抗性到达序列下，该算法相比默认策略也能将长期平均不平衡减少 $\Omega(\sqrt{B} \log G)$ 倍。

C. 调度与容量规划

当前状态： 依赖反应式自动扩缩容（根据队列深度调整工作节点数量）和 FCFS 调度。
优化方法： 应用排队论推导闭式稳定性条件，并应用组合优化进行准入控制。
示例： Anonymous（2025） 推导了同时考虑计算和内存约束的稳定性条件，使运营者能够在部署前计算最小集群规模。Jaillet 等人（2025） 通过 LP 松弛建立下界，用于基准测试在线调度算法。
结果： 主动容量规划可防止运行时不稳定；在特定假设下，最优调度策略（例如最短作业优先）可被证明是近最优的。

D. 缓存与淘汰

当前状态： 使用 LRU 淘汰，忽视了多模态嵌入的异构大小以及重计算成本的变化。
优化方法： 将缓存表述为成本最小化问题，而非命中率最大化问题。
示例： Zhu 等人（2023） 引入了最小预期成本（LEC） 算法，该算法通过“单位大小成本乘以访问概率”对项进行评分。
结果： 该方法实现了最优遗憾（以信息论允许的最快速度收敛至最佳可能成本），并在多模态场景中展示了高达 50 倍的成本降低。

4. 结果与意义

本文并未提出单一的新系统，而是综合了新兴工作，以证明基于原则的方法可以在提供启发式方法所无法保证的性能的同时，达到或超越启发式方法的性能。

关键意义主张：

鲁棒性： 具有可证明最坏情况界限（例如竞争比）的算法，确保了在对抗性工作负载或分布偏移下的可靠性，这与仅在平均基准上调整的启发式方法不同。
容量规划： 理论分析提供了闭式稳定性条件，使得在部署前即可进行精确的资源配置，而非依赖反应式扩缩容。
工程指导： 即使最优算法无法直接部署，其结构见解（例如哪些约束是紧的）也能指导高效、鲁棒的启发式方法的设计。
新研究前沿： LLM 服务引入了新的问题类别（例如具有增长内存约束的调度、具有粘性分配的在线分配），这需要超越经典分布式系统的专门算法研究。

本文最后呼吁跨学科参与：系统研究人员必须理解优化理论以揭示根本极限，而算法研究人员必须参与系统约束，以确保理论模型能转化为实际影响。最终目标是将 LLM 服务的算法设计视为一个持久的研究前沿，推动该领域从临时性工程转向基于数学的优化。