Astrolabe: Balancing Load in LLM Serving with Randomized Prediction-Guided Scheduling
Astrolabe 是一种用于多实例 LLM 服务化的随机预测引导调度器，它通过结合响应长度估计、基于模拟的延迟预测以及二选一（power-of-two-choices）分发策略，实现了卓越的负载均衡并降低了延迟，从而消除了对高成本迁移式重平衡的需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在经营一家规模宏大、高科技的烘焙坊，专门为数百万客户烘焙“思想蛋糕”（thought-cakes）。在这家烘焙坊里，烤箱动力极强，但配方却很棘手。有时顾客只想买一块简单的饼干（一个简短的回答），而有时他们会要求做一个十层的婚礼蛋糕（一个长而复杂的回答）。问题在于，面包师们（计算机）在开始烘焙之前并不知道订单到底有多大。如果一个面包师被一个巨大的订单卡住了，而其他人却在闲置，队伍就会发生拥堵，导致客户愤怒。
为了解决这个问题，许多烘焙坊过去会配备一名“跑腿员”，在烤箱之间奔跑，抓取半熟的蛋糕并将其移动到更空闲的烤箱中。这被称为“迁移”（migration）。但在人工智能的世界里，移动这些半熟的蛋糕既混乱又缓慢。这就像是在拥挤的房间里搬运一个巨大且脆弱的半冻蛋糕一样，既耗能，又会阻塞通道，甚至会让整个烘焙坊变得更慢。这篇题为《Astrolabe》的论文提出了一个大胆的问题：如果我们根本不需要移动蛋糕呢？如果我们能在订单进入烤箱之前就猜出订单的大小，并直接将其发送到合适的面包师那里呢？
这篇论文的作者，来自剑桥大学的 Wei Da 和 Evangelia Kalyvianaki，构建了一个名为 Astrolabe 的新系统来解决这个精确的问题。他们发现，与其在烤箱之间手忙脚乱地搬运工作，不如使用一种聪明的“猜谜游戏”，在订单到达之前就将其发送到正确的地方。
以下是 Astrolabe 的工作原理，它使用了一个简单的概率游戏。想象一下你有一打面包师。当一个新订单进来时，系统不是询问每一个面包师有多忙（这太耗时），也不是随机挑选一个（这很冒险），而是随机挑选两个面包师。系统会快速询问他们：“如果你现在接下这个订单，需要多久？”其中一个可能会说：“大约 10 秒，”另一个可能会说：“大约 50 秒。”系统会立即选择那个 10 秒的面包师，并将订单发送到那里。
这个技巧被称为“二选一法则”（power-of-two choices）。这就像走进一个拥挤的食堂，通过只检查两条线来选择最短的那条，而不是扫描整个房间。论文表明，这种简单的随机检查具有惊人的威力。通过将这种方法与一个“水晶球”（预测模型）——即猜测 AI 回答长度的模型——相结合，Astrolb 可以在排队开始形成之前，就将请求路由到最合适的面包师那里。
结果非常令人印象深刻。在测试中，Astrolabe 处理请求的能力与旧有的“跑腿员”模式（迁移）不相上下，但没有产生移动数据的繁琐开销。事实上，当烘焙坊变得极其繁忙时，旧的方法开始崩溃，等待时间从几秒钟飙升至几分钟。然而，Astrolabe 却能保持顺畅。在某些情况下，它将获取第一个字的时间减少了高达 77%，并将订单被中断和重启的次数比竞争对手减少了约 6 倍。
论文还测试了如果“水晶球”并不完美会发生什么。即使预测有些偏差（这在现实生活中经常发生），该系统仍然比旧方法表现得更好。事实证明，由于系统每次只比较两个面包师，预测中的微小错误并不会像预想中那样产生重大影响。如果两个面包师都被预测得很慢，系统只会选择那个“没那么慢”的一个，而数学逻辑依然成立。
作者还检查了如果改变烤箱类型或烘焙蛋糕的种类，效果是否依然有效。他们尝试了不同的模型和不同的设置，Astrolabe 始终保持领先。看起来，这种“猜测并检查”的方法是一种稳健的方式，可以保持 AI 系统的高速运行，即使在工作量混乱且不可预测的情况下也是如此。
简而言之，这篇论文表明，我们不需要构建复杂、沉重的系统来移动工作以平衡负载。相反，一点点随机性和对未来的一个好猜测就能完成这项工作，而且速度更快、效率更高。它提醒我们，有时管理人群最聪明的方法并不是微观管理每一个人，而是给他们几个好的选项，让他们选择最好的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。