Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
该论文介绍了 Bevy，一种 MoE 推理系统，它通过采用一种用于交织并发请求的自平衡调度器，从而在不依赖不精确预测的情况下实现专家获取与计算的重叠，其性能优于传统的预取方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在个人电脑静谧的嗡鸣声中，一种新型智能正在扎根。大型语言模型——现代聊天机器人和写作助手背后的引擎——正越来越多地从庞大的数据中心转向桌面电脑和工作站等本地设备。这种转变让用户无需依赖互联网即可运行这些强大的工具，但也引入了一个物理限制：计算机的内存是有限的。为了让这些模型能够适配，研究人员使用了一种被称为“专家混合”（mixture of experts）的技术。想象一个知识渊博的巨大图书馆，对于提出的每一个问题，只有少数特定的书籍会被从书架上取下阅读，而其余的书籍则保持不动。这使得工作过程既快速又高效。然而，在个人设备上，即使是单次任务所需的“少数几本书”也可能无法同时全部装入计算机的活跃内存中。当计算机需要一本不在内存中的书时，它必须暂停思考，从速度较慢的存储驱动器中将其获取，从而导致处理器处于闲置等待状态。
多年来，解决这种“等待游戏”的标准方案一直是预测。系统试图猜测下一步需要哪些书，并在处理器处理当前任务时提前将它们取来。这就像一位图书管理员，在你阅读某一章节时，悄悄地将接下来可能用到的章节从书架上取下，以便在你翻页时准备就绪。但来自首尔大学和耶鲁大学的研究团队发现，当计算机已经在其活跃内存中保留了一个小型“书籍缓存”时，这种策略往往会失效。随着缓存中充满了最有用的书籍，图书管理员的猜测变得不再准确，从而浪费了时间和带宽去获取那些永远不会被打开的书。研究人员发现了一个更好的方法，即不再试图预测未来，而是简单地让工作以不同的顺序进行：通过允许不同的请求以各自的节奏推进，系统可以精确地揭示下一步需要什么，而无需进行猜测，从而将闲置的等待时间转化为生产性的工作。
由 Hongseung Yu 和 Kyunghan Lee 领导的研究团队构建了一个名为 Bevy 的新系统来测试这一想法。他们观察到，当多个请求同时发送给模型时（例如，一个用户在要求代码审查，而软件的另一部分正在检查电子邮件），这些请求并不一定需要同时使用相同的书籍。在传统系统中，计算机必须等待每一个请求都收集齐了所有必要的书籍后，才会开始为其中任何一个请求执行下一步。这造成了一个瓶颈，即处理器在存储驱动器工作时只能坐视不理。Bevy 改变了这种节奏。它允许一个已经集齐书籍的请求立即进入下一步，而其他请求则等待缺失的书籍到达。随着就绪的请求向前推进，它会精确地揭示出下一步需要哪些书。随后，系统会在处理器忙于处理该就绪请求的同时，去获取这些特定的书籍。这创造了一种无缝的重叠，使得存储驱动器和处理器能够同时工作，且无需任何预测。
使这一机制顺畅运行的关键是一个自平衡的调度器，它决定如何对请求进行分组。如果系统只是简单地让每个请求单独运行，处理器就不得不为每个请求重复从内存中读取相同的共享书籍，从而降低整体速度。如果将它们过于僵化地分组，则会失去让快速请求领先一步的优势。Bevy 通过逐层动态分组来解决这个问题。如果许多请求同时就绪，它会将它们打包在一起以实现效率最大化；如果只有少数请求就绪（因为其他请求仍在等待书籍），它则会让这些少数请求以较小的组进行领先。这种灵活性确保了处理器不会因为等待分组而闲置，存储驱动器也不会因为等待请求完成而闲置。系统会根据请求的变化需求进行实时调整，创造出一种计算与获取自然并行发生的流动。
研究人员在两个不同的本地计算平台上测量了这种方法的成果，一个使用 Apple 芯片，另一个使用带有 128 GB 统一内存和三星 9100 PRO 2 TB SSD 的 NVIDIA Jetson AGX Thor 开发套件，并运行着两种不同的大型语言模型。研究人员将 Bevy 与 llama.cpp 等流行软件中使用的标准方法，以及目前最先进的基于预测的系统进行了对比。结果显示，Bevy 的表现始终优于其他系统。在不同数量的并发请求测试中，Bev continuously 表现出色，Bevy 交付的工作量每秒比标准方法高出达 3.46 倍，比最快的基于预测的系统高出达 1.55 倍。当计算机需要同时处理大量请求时，这种提升最为显著。即使在研究人员测试系统已拥有大量内存缓存（此时预测系统因准确性下降而表现不佳）的情况下，Bevy 依然保持了其速度。这是因为 Bevy 从未浪费时间去获取不需要的书籍，它只获取由正在运行的请求明确要求的书籍。
研究还探讨了在 Bevy 之上增加预测是否会有进一步帮助。研究人员尝试将这种新的调度方法与预测系统结合，期望两者能协同工作。然而，他们发现预测并没有带来价值，有时甚至会拖慢速度。因为 Bevy 保持着极高的存储链路繁忙度，用于获取就绪请求所需的精确书籍，因此没有剩余的时间去获取预测的书籍。此外，当系统尝试进行预测时，往往会猜错，从而在从未使用的书籍上浪费带宽。研究人员得出结论，在这种特定的环境下，由于本地缓存已经持有许多所需项，预测行为不仅是不必要的，而且是有害的。最高效的路径是让请求在推进过程中揭示其需求，并调度工作，使系统始终在做有用的事情，无论是计算还是获取。
这项工作表明，本地人工智能的管理方式正在发生根本性的转变。它证明了效率并不总是来自于试图对未来做出更聪明的预判，而是来自于对现状做出更迅速的响应。通过让任务以各自的节奏推进，并仅在合理时进行分组，该系统消除了长期困扰本地 AI 的闲置时间。研究结果基于在多种硬件设置下的吞吐量和计时进行的具体测量，为这种新型调度方法在现实环境下的表现提供了清晰的图景。研究人员并未声称这解决了本地推理的所有问题，但他们证明了对于在个人设备上运行大型、高内存消耗模型的特定挑战，改变操作顺序可以产生巨大的改进。这个名为 Bevy 的系统是一个实用的范例，展示了通过重新思考工作的流程，如何释放现有硬件的全部潜力，让强大的智能在用户的桌面上运行得更快、更灵敏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。