🤖 AI

HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization

HeraSys 是一个 LLM 服务系统，它通过结构化节点合并来消除跨工作流的计算冗余，并采用负载感知的联合调度策略，通过优化并发多租户工作流的端到端性能，从而显著降低尾部延迟并提高吞吐量。

原作者： Size Li, Zhiqing Tang, Hongrui Liang, Jianxiong Guo, Jiong Lou, Tian Wang, Weijia Jia

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Size Li, Zhiqing Tang, Hongrui Liang, Jianxiong Guo, Jiong Lou, Tian Wang, Weijia Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个繁忙的厨房，一群厨师正试图同时烹饪数百道复杂的菜肴。在人工智能的世界里，这些“菜肴”就是大语言模型（LLM）执行的任务——这些是能够写故事、回答问题并解决问题的超级智能计算机大脑。通常情况下，当你要求 AI 做某事时，它被视为一个单一、孤立的订单。但在现实世界中，应用程序正变得越来越像一场盛大的宴会：一个请求可能涉及搜索信息、查询数据库，然后撰写一份摘要，这一切都在一次操作中完成。这些被称为“工作流”。

问题在于，当许多人同时订购这些复杂的宴会时，厨房就会变得混乱。如果两名顾客都要求切同一种食材，厨房可能会切两次，从而浪费时间和精力。更糟糕的是，如果一位顾客订购了一份需要长时间炖煮的大型炖菜，厨师们可能会卡在上面，导致其他所有人都在等待他们的快速沙拉上桌。这就是“服务”AI 的挑战：你如何管理大量复杂且重叠的请求，而不至于让系统停滞不前或让某些人永远等待下去？

这就是名为 HeraSys 的新系统发挥作用的地方。把 HeraSys 想象成一位革命性的厨房经理，她不仅关注单个订单，还会观察整个厨房地面，看看不同的订单之间如何相互协作。HeraSys 不再将每个请求视为独立的孤岛，而是寻找重叠之处。如果两个不同的顾客需要分析同一个文档或使用同一个工具，HeraSys 会说：“嘿，让我们只做一次并共享结果！”它还扮演着交通警察的角色，确保快速简单的订单不会被卡在缓慢沉重的订单后面，同时也确保那些慢速订单不会因为缺乏关注而被“饿死”。

HeraSys 背后的研究人员构建了一个系统，将这些复杂的 AI 任务分解成微小的、细粒度的部分。他们发现，通过合并重复的步骤并智能地调度谁可以使用厨房的资源（比如强大的计算机芯片），他们可以让整个系统运行得更快。在测试中，他们展示了 HeraSys 可以将最慢请求的完成时间缩短高达 2.17 倍（这意味着速度提高了两倍多），并且与现有最优秀的系统相比，将系统能处理的任务总量提升了高达 1.85 倍。

该论文反对传统的方法，即系统将每个请求视为一个独立、孤立的任务。他们指出，这种“孤立性”会造成不必要的浪费和瓶颈。相反，他们提出了一种协作式的方法，即系统会主动寻找共同的工作。他们还反对简单的调度规则，例如“先来先服务”（这会导致长任务阻塞所有人）或“最短作业优先”（这会让长任务等待太久）。HeraSys 建议采用一种平衡的、“负载感知”的策略，即为重型任务保留部分资源，同时优先处理快速任务，从而确保对每个人都公平且高效。

通过在真实硬件上的广泛实验所得到的结果表明，这种细粒度、协作式的方法是一个重要的进步。通过融合冗余步骤并动态调整任务的分组和执行方式，HeraSys 能够保持较低的平均等待时间，同时防止了经常困扰复杂 AI 系统的“尾部”缓慢且令人沮丧的延迟。这有点像意识到如果你组织一群朋友打扫房子，你不应该只是给每个人分配一个房间；你应该注意到两个人都在同时吸尘同一个走廊，并让他们协同工作，同时确保洗窗户的人不会因为等待吸尘器而停滞不前。

技术摘要：HeraSys

问题陈述

大语言模型（LLM）的激增已将应用开发从简单的单轮交互转向了复杂的、以有向无环图（DAG）表示的多租户智能体工作流。现有的推理系统主要针对单个工作流进行性能优化，或侧重于工作流内的依赖关系（例如 LLM 推理批处理）。然而，这些方法将并发的工作流视为独立的实例，导致在多租户环境中出现了两个关键的低效问题：

计算冗余： 并发查询通常具有结构上的相似性，例如嵌入相同的文档块、检索相同的数据或使用相似上下文调用相同的工具。目前的模块化设计缺乏全局视角来检测这些重叠，迫使系统执行冗余任务。
调度低效与不公平： 现实世界的负载表现出高度的异构性，混合了短任务（如简单问答）和长任务（如多轮推理）。传统的调度策略（如先来先服务 FCFS）会遭受队头阻塞（HOL blocking）问题，即长任务会延迟短任务。相反，严格优先处理短任务（如最短作业优先 SJF）会导致长任务出现饥饿现象，从而降低公平性和尾部延迟性能。

方法论

作者提出了 HeraSys，这是一个细粒度的端到端服务系统，旨在通过双层优化架构来优化并发的多工作流场景。

1. 执行前优化：语义图融合

HeraSys 通过在执行前分析传入查询的全局上下文，打破了请求级的隔离。

节点语义签名： 系统根据算子类型、参数、输入数据及其前驱节点的签名，为每个任务节点分配一个唯一的哈希签名。这使得系统能够识别不同查询之间逻辑独立但计算等价的任务。
拓扑融合： 对于在短时间窗口内到达的并发查询，系统会融合冗余节点。如果新查询中的某个节点与已在就绪队列中的节点匹配，则该新节点会从执行图中移除，其下游依赖将被重定向到现有节点。
异步缓存复用： 对于超出时间窗口的请求，系统会复用已完成节点的输出结果，或等待当前正在执行的节点完成并共享其输出。
优先级调整： 融合后的节点会被分配更高的调度优先级，该优先级计算为所有合并逻辑节点贡献之和，以同时加速多个下游路径的进展。

2. 运行时优化：感知负载的联合调度

运行时调度器动态管理执行顺序和资源分配，以平衡平均延迟与长尾任务的公平性。

动态剩余时间估计： 系统通过结合离线剖析（profiling）与在线执行进度，估计每个查询的剩余服务时间 ( $\hat{S}_q$ )。长解码算子被分解为连续的子节点，以实现细粒度的抢占和精确追踪。
节点贡献度指标： 指标 ( $\phi_v$ ) 根据下游工作量、路径长度和并行分支，量化一个节点对查询进展的贡献。
资源倾斜与分区： 为了防止饥饿，系统根据基于剩余时间分布的动态阈值，将查询分类为“长”或“短”。系统为长查询中的重型节点强制执行最小资源预留，确保它们获得保证的资源份额，同时优先处理短任务以实现低延迟。
联合优先级函数： 调度器使用复合优先级函数 $\pi_v$ $π_{v}$ 对就绪节点进行排序，该函数平衡了三个因素：
1. 动态最短剩余时间优先 (SRTF)： 最小化平均延迟。
2. 拓扑贡献度： 优先处理能解锁下游工作的关键节点。
3. 抗饥饿机制： 提升长任务中重型节点的优先级。
自适应执行： 系统根据系统负载动态调整批处理大小和流水线分解粒度。在高负载下，增加批处理以提高吞吐量；在低负载下，增加流水线拆分以利用数据并行性并降低延迟。

核心贡献

双层优化架构： HeraSys 引入了一个通过集成执行前图融合与运行时动态调度的系统，克服了传统的请求级隔离，实现了资源利用率和调度效率的联合优化。
跨查询图节点复用： 一种通过语义签名匹配来识别并消除工作流间冗余计算子图的机制，显著降低了计算开销。
感知负载的联合调度策略： 一种集成了动态任务分类、偏置资源分配和自适应批处理的策略，在有效降低端到端延迟的同时，确保了长尾任务的公平性。
实现与评估： 作者在配备 NVIDIA RTX 4090 GPU 的服务器上实现了 HeraSys，并使用 vLLM 作为后端，通过与最先进的基准测试进行广泛对比，证明了其有效性。

实验结果

作者在不同的并发水平（6 到 300）下，针对多样化的工作负载（带/不带重排序的 RAG、网络搜索以及混合场景），将 HeraSys 与 LangGraph、LlamaIndex 以及最先进的系统 Ayo 进行了对比评估。

延迟降低： 在严格的延迟保证下，与基准系统相比，HeraSys 将 P99 延迟降低了高达 2.17×，将 P95 延迟降低了高达 1.94×。在混合工作负载中，它实现了 2.17× 的 P99 延迟提升。
吞吐量提升： 该系统的服务吞吐量比基准系统提高了高达 1.85×。
消融实验： 实验证实，移除图融合器（Graph Fuser）会导致吞吐量降低约 1.16×，而仅使用 SRTF 调度（未使用资源倾斜）会导致 P99 延迟比完整系统高出 22.3%，这凸显了联合优化方法的必要性。
公平性： 资源倾斜机制成功缓解了纯 SRTF 策略中常见的饥饿问题，在不显著损害短任务响应速度的前提下，为长任务提供了更可预测的服务质量（QoS）。

意义与主张

本文声称 HeraSys 通过将关注点从孤立的请求优化转向协作式、跨工作流优化，为 LLM 服务基础设施提供了重要的进步。通过利用细粒度的结构共性并动态平衡资源竞争，HeraSys 解决了多租户智能体工作流中固有的冗余和调度挑战。作者认为，这种方法为构建更高效、更具扩展性且更公平的 LLM 应用服务系统提供了见解，最终降低了计算资源消耗和运营成本，同时提升了用户体验。