🤖 machine learning

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

本文介绍了 RepetitionCurse，这是一种低成本的黑盒攻击，它利用混合专家大语言模型中缺乏负载均衡约束的缺陷，通过简单的重复令牌模式迫使路由高度集中，从而造成计算瓶颈，显著降低推理延迟和服务可用性。

原作者： Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一座庞大且高科技的图书馆，其中成千上万本书（即“专家”）被存放在不同的书架（即"GPU"）上。当图书管理员（即“路由器”）收到请求时，他们不会只取一本书，而是挑选几本最合适的书来回答问题。为了加快速度，图书馆将工作拆分：某些书架处理前几本书，其他书架处理下一批，它们同时工作。这就是现代人工智能模型称为**混合专家模型（Mixture-of-Experts, MoE）**的工作原理。它们旨在通过均匀分配工作来实现超高效能。

然而，一篇名为**“重复诅咒（RepetitionCurse）”**的新论文揭示了这座图书馆运作方式中一个隐蔽的缺陷。

问题所在：“复制 - 粘贴”技巧

研究人员发现，如果你使用一种非常奇怪且重复的模式向图书管理员提问（例如反复输入"AI AI AI AI..."），图书管理员就会陷入混乱。

通常情况下，图书管理员会根据你话语的含义来决定挑选哪些书。但当你使用重复模式时，图书管理员不再寻找含义，而是开始像坏掉的唱片一样运作。他们不再将工作分散到所有书架上，而是突然决定只有某一个特定的书架拥有适合这种重复模式的正确书籍。

结果：交通堵塞

接下来会发生以下情况：

瓶颈：所有工作都被倾倒到那个单一的书架上。该书架上的图书管理员们疯狂地奔跑，试图找到所有书籍。
闲置的工人：与此同时，其他所有书架上的图书管理员则无所事事地站着，等待那个繁忙的书架完成任务。
延迟：由于整个系统必须等待那个缓慢的书架赶上进度，才能进入下一步，整座图书馆因此陷入停滞。

在人工智能领域，这种延迟被称为首词生成时间（Time-to-First-Token, TTFT）。它是指人工智能说出第一个词所需的时间。在正常情况下，这非常快。但在“重复诅咒”攻击下，人工智能开始说话的时间可能会延长 2 到 3 倍。

为何这很重要

该论文将这种现象称为拒绝服务（DoS）攻击。这就像有人走进一家快餐店，一次性点了 1,000 个完全相同且复杂的汉堡。厨房因试图制作这些特定汉堡而陷入拥堵，结果，那个只想喝杯简单咖啡的人不得不等待一个小时。

攻击很简单：你不需要是黑客天才。你只需要输入重复的词语。该论文称这是一种“黑盒”攻击，意味着你无需了解人工智能大脑内部的运作机制；你只需要知道重复词语会破坏平衡即可。
它无处不在：研究人员在 139 种不同的人工智能模型上测试了这一点（包括 Mixtral 和 Qwen 等热门模型）。他们发现，几乎所有模型都存在漏洞。
规模越大，问题越严重：具有讽刺意味的是，人工智能系统越强大（使用更多计算机并行工作），就越容易被破坏。研究人员发现，使用更多计算机来拆分工作，实际上在遭遇此类攻击时会使交通堵塞更加严重。

结论

该论文总结道，虽然将工作分配给多台计算机可以加快人工智能的速度，但这同时也创造了一个弱点。如果有人使用简单的重复技巧，他们就能迫使系统忽略其自身的效率规则，导致其速度急剧下降，并可能破坏其对用户的承诺（例如“我们将在 2 秒内回复”）。

作者建议，在人工智能公司找到更好的自动平衡工作分配的方法之前，他们可能需要谨慎控制同时使用的计算机数量，否则他们的系统可能会因一个简单的"AI AI AI"循环而被挟持。

技术摘要：RepetitionCurse

问题陈述

本文指出了在采用专家并行（Expert Parallelism, EP）部署的混合专家（Mixture-of-Experts, MoE）大语言模型（LLMs）中存在的一个关键系统级漏洞。尽管 MoE 架构旨在通过将令牌动态路由到部分专家子集来实现高效扩展，但在推理过程中缺乏显式的负载均衡约束，使其容易受到拒绝服务（DoS）攻击。

具体而言，作者证明了分布外（OOD）输入可以操纵路由器机制，将令牌路由集中到一小部分共享的 top- $k$ 专家上。在将不同专家托管在独立 GPU 上的 EP 部署中，这种集中会导致严重的负载不平衡：少数 GPU 成为计算瓶颈（拖后腿者），而其他 GPU 则处于空闲状态，等待同步（all-reduce）。这将一种效率机制转化为攻击向量，导致首令牌时间（Time-to-First-Token, TTFT）膨胀，违反服务等级协议（SLA），并降低批次中所有用户的服务质量。

方法论：RepetitionCurse

作者提出了RepetitionCurse，这是一种利用训练时平衡与推理时路由之间差异的黑盒攻击策略。

核心机制：该攻击使用简单、重复的令牌模式（例如"AIAI..."）构建提示。
理论基础：路由器的负载均衡依赖于隐藏状态在语义上具有多样性的假设。通过重复令牌，攻击者最小化了层间隐藏表示的方差，将其坍缩为一个近乎退化的簇。这迫使路由器确定性地为整个序列选择相同的 top- $k$ 专家。
黑盒性质：该方法无需访问模型参数、梯度或特定的专家-GPU 映射。它仅基于输入提示进行操作。
攻击强度：该攻击由参数 $\alpha$ 参数化，即批次中攻击样本的比例。研究评估了从混合用户批次（ $0 < \alpha < 1$ ）到纯攻击批次（ $\alpha = 1$ ）的各种场景。

主要贡献

漏洞识别：本文首次证明 MoE 模型中的路由不平衡可以被武器化以发起 DoS 攻击，将焦点从通过长输出导致的资源耗尽，转移到通过路由集中导致的资源利用不足。
攻击提出：引入了 RepetitionCurse，这是一种与模型无关、无需梯度的方法，利用重复令牌放大预填充延迟并降低 TTFT。
全面测量：在 139 种 MoE 配置和 13 种流行模型（包括 Mixtral、Qwen3、DeepSeek 和 Llama 变体）上进行了大规模实证研究，以量化延迟放大的严重程度并识别系统级因素。

实验结果

作者在 8-GPU 集群上评估了该攻击（针对特定模型扩展至 16/32 GPU），使用了 Mixtral-8x7B 和 Qwen3-30B-A3B 等模型。

普遍性：该漏洞是内在且普遍的。词汇表中的几乎任何令牌都可以作为路由集中的触发器。当 EP 大小与专家数量匹配时，大多数模型的“瓶颈覆盖率”（即随机令牌诱导最大集中的概率）接近 1.0。
延迟放大：
- 在常见的 8-GPU EP 设置下，TTFT 增加了20% 至 148%（例如，Mixtral-8x7B 最高达 2.48 $\times$ ）。
- 对于像 Qwen3-30B-A3B 这样更稀疏的模型（EP 大小 = 32），TTFT 增加了高达115%。
- 该攻击显著降低了 SLA 保证；例如，在攻击下，P99 SLA 合规率从 99% 下降到 86.4% 至 98.6% 之间。
EP 大小的影响：更高程度的专家并行性显著增加了易感性。随着 EP 大小的增长，攻击面扩大，造成了一种部署困境，即效率增益放大了安全风险。
防御局限性：作者调查了“漏洞感知”的专家-GPU 映射（将易受攻击的专家放置在不同的 GPU 上）。虽然这对于具有中等数量专家的模型提供了有条件的缓解，但在高度稀疏的模型或极高的 EP 大小下该策略失效，证实了在黑盒场景中，无论映射策略如何，该漏洞依然存在。
鲁棒性：该攻击对提示长度（100 到 16k 令牌）和上下文变化具有鲁棒性，表明该漏洞是 MoE 架构处理重复嵌入的系统性缺陷。

意义与主张

本文声称揭示了 MoE 架构中并行化效率与系统鲁棒性之间的根本权衡。随着行业越来越多地采用高度稀疏的 MoE 模型以实现具有成本效益的扩展，依赖缺乏推理时平衡的动态路由造成了系统性弱点。

作者将 RepetitionCurse 主要定位为研究人员和系统提供商评估其服务基础设施鲁棒性的诊断工具。他们强调，当前的部署策略（特别是大型 EP 大小）无意中使系统的并行性反过来攻击其自身。这些发现为云服务提供商敲响了警钟，促使其重新考虑 EP 规模，并开发更好的推理时负载均衡策略，以防止违反 SLA 和服务降级。