ML Inference Scheduling with Predictable Latency
本文指出了现有机器学习推理调度方法的关键局限性，即其粗粒度的干扰预测以及对静态模型的依赖，这导致在动态工作负载下会出现不准确的延迟预测并损害服务水平目标（SLO）。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观：繁忙的餐厅厨房
想象一个高端餐厅的厨房（GPU），它速度极快，但运行成本也非常昂贵。为了节省成本，老板希望同时烹饪尽可能多的餐点（提高利用率）。
在这个厨房里，订单不断涌入，各种各样的菜品（比如机器学习模型）。为了提高效率，厨师会将相似的订单组合在一起，形成一个“批次”（batch）同时烹饪。例如，与其先做一个汉堡，再做两份薯条，最后再做一个汉堡，不如直接在一个托盘里同时烤五个汉堡。
然而，厨房面临一个问题：干扰（Interference）。
如果厨师试图在同一个炉灶上同时烤一大盘汉堡和一大盘精致的舒芙蕾，它们可能会互相干扰。热量可能会变得不均匀，或者厨师可能需要频繁切换工具。这会拖慢整体速度，导致食物上菜变慢。
在 AI 世界中，“上菜晚了”意味着延迟（Latency）。如果自动驾驶汽车或视频通话因为厨房太拥挤而导致响应延迟，那就是一种失败。这篇论文的目标就是研究如何调度这些烹饪批次，使厨房保持忙碌，同时又不让食物变迟。
问题所在：靠猜是危险的
论文指出，目前预测“拥挤程度”（干扰）的方法在两个主要方面存在缺陷：
1. “静态快照”问题（粗粒度）
类比： 想象你是一名交通管制员。你看着地图，看到一辆红卡车和一辆蓝小车目前正在高速公路上行驶。你预测它们会在整个行程中并排行驶。
现实情况： 在厨房里，红卡车（批次 1）可能在 10 秒后就驶离了高速公路，而一辆巨大的半挂卡车（批次 3）可能会在几秒钟后驶入并停留 5 分钟。
论文的观点： 现在的 AI 调度器就像那个交通管制员。它们观察当前厨房里有什么，就假设情况会一直保持下去。它们忽略了批次在不同时间到达和离开的事实。
- 结果： 预测失准。系统认为厨房很平静，但突然间一个新的、沉重的批次到达，导致了交通拥堵和交付延迟。
2. “旧地图”问题（非自适应/静态模型）
类比： 想象你训练了一个机器人厨师，它使用去年的菜单来预测烹饪时间。去年，大家都在点汉堡；而今年，大家都在点复杂的海鲜。
现实情况： 机器人厨师仍然认为：“哦，这只是汉堡，”并预测烹饪时间会很快。但由于菜单变了，机器人的判断也就错了。
论文的观点： 现在的 AI 模型是“静态”的。它们是在旧数据上训练一次后就再也不更新了。如果请求的类型发生了变化（例如，增加了新的 AI 模型，或者订单数量发生了变化），旧模型就会变得不再准确。
- 结果： 系统会不断做出错误的猜测，因为它使用的是一张过时的、无法适应变化世界的地图。
作者做了什么（实验）
作者搭建了一个测试厨房（使用 NVIDIA GPU），以观察这两个问题到底有多严重。
- 测试“快照”问题： 他们进行了模拟实验，让批次在不同的时间到达和离开。他们发现，如果你忽略这些变化，对任务完成时间的预测可能会出现巨大的偏差（误差有时超过 60%）。这就像是因为不知道前面有个红灯即将亮起，而误判了一段 10 分钟的车程需要 16 分钟。
- 测试“旧地图”问题： 他们用一组菜品训练了一个模型，然后尝试去预测另一组完全不同的菜品的处理时间。旧模型表现得非常糟糕。然而，当他们让模型进行“在线学习”（Online Learning）——即在看到新数据时实时更新其预测时——模型处理变化的能力大大提升。
结论
论文得出结论：为了运行一个高效且不会延迟交付的 AI 厨房，我们需要停止使用那些“愚笨”的调度器，因为它们：
- 忽略了厨房里的拥挤情况每秒都在变化的事实。
- 拒绝从新的订单类型中学习。
相反，我们需要一个智能调度器，它能够：
- 动态地观察厨房（追踪谁在到达，谁在离开）。
- 随着工作负载的变化，实时学习并更新其预测。
通过这样做，我们可以让 GPU（厨房）保持忙碌和高效，同时确保每一份订单（每一个 AI 请求）都能按时得到响应。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。