🤖 machine learning

User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling

本文提出了一种用户辅助的协作式分布式推理系统，该系统将专用基础设施与志愿用户资源相结合以实现面向服务质量（QoS）的自动扩缩容，并通过高维马尔可夫模型和仿真实验证明，随着用户规模的增长，该方法在显著降低专用资源消耗的同时，提升了延迟表现和请求完成率。

原作者： Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一座繁忙的大都市，每个人都在不断地寻求帮助。有时他们只需要一个快速的答案，但通常他们是在请求一些极其复杂的东西，比如要求一个超智能机器人写故事、解数学题，或者在照片中识别出一张脸。这被称为“AI 推理”（AI inference）。目前，几乎所有这些繁重的体力活都是在大型中心化数据中心完成的——可以把它们想象成巨大的、堡垒般的工厂，成千上万台强大的计算机在那里协同工作。虽然这些工厂非常出色，但它们的建设和运行成本极高，而且消耗了大量的能源，给我们的地球留下了巨大的碳足迹。这就像试图用一台轰鸣的单体发电机来为整个城市的交通灯供电；虽然可行，但既吵闹又昂贵，而且随着更多人加入道路，很难跟上节奏。

为了解决这个问题，科学家们一直在研究“边缘计算”（edge computing），这就像是将一些工作移到离需要的人更近的地方，比如当地的社区枢纽。但还有另一个更激进的想法：如果我们能从那些正在寻求帮助的人那里借用一点点计算能力呢？这就是“志愿者计算”（volunteer computing）的概念，即当你的手机、笔记本电脑或平板电脑处于闲置状态时，可以将它们剩余的脑力贡献给这个群体。一个核心问题是，我们能否将这两个世界融合在一起？我们能否保留一些强大的服务器来处理基础工作，同时让数百万普通用户参与进来处理剩余的部分，从而创建一个能够随着需求自动扩展、而无需建造更多巨大工厂的系统？

这正是这篇论文的研究人员试图探索的方向。他们提出了一种运行 AI 服务的新方法，称为“用户辅助协作式分布式推理”（User-Assisted Collaborative Distributed Inference）。该系统不再仅仅依赖昂贵的中心化服务器，而是将工作进行拆分。中央服务器充当“队长”，处理基础量的任务以确保运行顺畅，但它也会将庞大的任务分解为较小的“子任务”，并将其发送给当前在线的用户设备。如果用户的手机正处于闲置状态，它可以领取一个子任务，进行计算，并将结果传回。该系统设计得非常聪明：如果用户群体规模较小，服务器会承担大部分工作；如果人群变得庞大，系统会自动更多地依赖于所有这些设备所贡献的志愿力量。

为了确定这个想法是否真的可行且不会导致系统崩溃，作者们并没有仅仅构建一个现实世界的原型并听天由命。相反，他们构建了一个高度详细的“数字孪生”（digital twin）系统——一个复杂的数学模型，用于模拟用户、设备和任务随时间互动的过程。他们将该系统视为一个像生物体一样随秒变化的有机体，用户在不断登录和退出，设备的速度各异，任务所需的时间也各不相同。他们利用这个模型进行了数千次模拟，测试了不同的场景：如果我们有 100 个用户会怎样？如果有 10,000 个用户呢？如果服务器规模很小，而如果它很大呢？他们将这种全新的“协作式”方法与传统的“仅限中心化”方式进行了对比。

模拟结果非常令人鼓舞。研究人员发现，随着用户数量的增加，协作式系统比传统系统表现得明显更好。当用户规模较小时，中心化服务器能够很好地处理事务。但当人群激增到 10,000 人时，中心化系统开始显得吃力，许多请求被取消或耗时过长。相比之下，协作式系统则蓬勃发展。通过将工作分流给用户的设备，它能够完成更多的请求，并保持较低的“尾部延迟”（即最慢请求完成所需的时间）。或许最重要的一点是，协作式系统所需的专用服务器算力要少得多。模拟表明，通过使用适度的服务器容量（大约是基础单元的 30 到 50 倍），该系统就可以通过依靠用户来应对巨大的需求，而中心化系统则需要不断扩大其硬件规模，这既昂贵又低效。

然而，论文谨慎地指出，这目前还是一种模拟，而不是今天就能应用到你手机上的成品。研究人员测试了不同的“策略”，即服务器应该如何分配任务。一种策略是随机地将任务分发给任何可用的用户；另一种策略则试图通过将相似的任务组合在一起交给同一个设备，从而节省时间。事实证明，“随机”方法的效果出奇地好，而“智能分组”方法如果遇到用户设备突然离线的情况，有时会导致整批工作的中断。研究结论认为，虽然这个想法是可行的，且数学逻辑成立，但仍需进一步完善调度规则，以确保系统在现实世界中足够稳健。最终，这篇论文表明，向大众借力可能是让 AI 服务变得更便宜、更绿色，并能在无需建造无尽数据中心的情况下应对未来巨大需求的关键。

技术摘要：面向高效 QoS 感知自动扩缩容的用户辅助协作式分布式推理

问题陈述
本文探讨了与中心化 AI 推理服务相关的运营成本和环境负担不断上升的问题。随着 AI 推理需求的增长，中心化云基础设施的成本也随之成比例增加，导致了高昂的费用和显著的能源消耗（例如二氧化碳排放量和耗水量）。虽然边缘计算和雾计算通过分布式计算提供了部分解决方案，但它们通常依赖于专用基础设施，在广泛采用方面仍面临经济和架构层面的障碍。相反，志愿计算利用了用户设备的闲置资源，但由于资源异构性和可用性的间歇性，通常缺乏消费级 AI 应用所需的稳定性及服务质量（QoS）保证。核心挑战在于设计一个能够有效地在专用服务器和志愿用户资源之间划分推理任务的系统，以实现具备 QoS 约束的可扩展、高成本效益的自动扩缩容。

方法论
作者提出了一种协作式分布式推理系统，其中中央服务器协调跨专用基础设施和志愿用户设备的推理任务。该系统分为三个阶段运行：用户请求推理，服务器根据策略在可用资源上调度子任务，最后服务器聚合结果并返回响应。

为了分析和优化这一动态系统，作者开发了一个具有结构化时间分解的高维生成马尔可夫模型。该模型捕捉了用户、资源、任务和策略之间随机交互的关系。方法论的关键组成部分包括：

系统状态表示：状态 $s_t$ 被定义为一个包含高维变量的元组，包括用户可用性 ( $o_t$ )、推理请求 ( $q_t$ )、已分配资源 ( $a_t$ )、子任务就绪状态 ( $x_t$ )、子任务执行状态 ( $y_t$ ) 以及资源消耗 ( $c_t$ )。
生成建模：
- 可用性：使用参数化生存分布（在线状态使用 Weibull 分布，离线状态使用对数正态分布）来捕捉状态持续时间和转移概率。
- 请求：使用 Pareto 生存函数进行建模，以反映重尾分布的请求间隔时间和用户耐心。
- 资源与消耗：利用拟合了带宽、CPU、内存和存储经验测量值的 ARMA（自回归移动平均）模型，来模拟资源轨迹和消耗模式。
- 执行动态：子任务执行阶段（下载、执行、上传）使用拟合了不同批处理大小和带宽下的计算机视觉子任务轨迹的离散时间风险模型。
决策策略：系统采用了两种策略：服务器端的调度器 ( $\pi$ $π$ ) 和节点端的执行器 ( $\varsigma$ $ς$ )。研究评估了三种调度策略：
1. 中心化：所有任务都在专用服务器上运行。
2. 均匀分布 (Uniform)：任务被随机分配给具有足够容量的在线用户节点。
3. 亲和性 (Affinity-based)：任务被分配给已经托管了相同类型子任务活跃执行过程的节点，以最大化批处理效率。
优化框架：该模型定义了两个优化问题：在固定调度器的情况下最大化 QoS（最小化延迟），以及在满足 QoS 约束（例如 P99 延迟阈值）的前提下最小化专用资源分配。

主要贡献

系统架构：一种新型的协作式分布式推理系统，它在专用服务器和志愿用户设备之间划分工作负载，从而实现无需随之增长的中心化基础设施的自动扩缩容。
生成模型：一个具有时间分解的高维可处理马尔可夫模型，它捕捉了系统变量之间的稀疏依赖关系，从而实现了高效的模拟、推理和策略学习。
实证评估：一项综合性的模拟研究，比较了在不同用户规模、资源容量和服务器配置下，中心化与分布式调度策略的表现。

结果
系统通过运行约 28 小时（100,000 个时间步）的模拟进行了评估，用户规模从 100 到 10,000 不等，并改变了服务器容量。主要发现包括：

可扩展性与完成率：随着用户规模的增长，分布式调度（均匀分布和亲和性调度）的表现日益超越中心化调度。分布式策略保持了更高的请求完成率和更低的取消率，尤其是在用户设备容量翻倍（2x）的情况下。
延迟 (QoS)：在大型用户规模（如 10,000 用户）下，分布式策略实现的 P99 延迟（尾部延迟）明显优于中心化策略。当需求饱和服务器容量时，中心化延迟会恶化，而分布式策略能有效分担工作。
资源效率：分布式调度显著降低了专用资源消耗。模拟表明，大约为基础配置 30 倍至 50 倍的服务器容量，即可配合志愿资源并维持 QoS，而中心化方法则需要高得多的容量才能达到类似性能。
策略对比：在完成率与取消风险的平衡方面，均匀分布策略通常优于亲和性调度策略。虽然亲和性调度提高了批处理效率，但也增加了由于节点退出或资源限制导致子任务同时失败的风险。

意义与主张
本文声称证明了用户辅助协作推理作为一种实现基础设施高效自动扩缩容可行策略的有效性。它确立了将专用基础设施与志愿资源相结合的方法，可以吸收不断增长的需求，而不会导致与传统云扩缩容相关的中心化成本和环境影响成比例增长。

作者强调，其主要贡献在于定义了系统架构并开发了一个用于分析该系统的动态模型，而非部署一个生产级的调度器。他们断言，所提出的模型为未来优化调度算法和 QoS 感知资源分配的工作提供了必要的理论基础。研究结论指出，只要系统有适当的生成模型进行分析和优化，分布式调度为降低专用资源消耗并提高请求完成率及尾部延迟提供了一条切实可行的路径。

类似论文