🤖 machine learning

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

本論文は、単純な反復トークンパターンを用いてルーティングの集中を強制的に引き起こし、計算ボトルネックを発生させることで推論遅延とサービス可用性を著しく低下させる、混合専門家（Mixture-of-Experts）大規模言語モデルにおけるロードバランシング制約の欠陥を悪用する低コストのブラックボックス攻撃「RepetitionCurse」を導入する。

原著者： Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大でハイテクな図書館を想像してください。そこには、数千冊の書籍（「専門家」）が異なる棚（「GPU」）に保管されています。司書（「ルーター」）がリクエストを受け取ると、1 冊の本だけを手に取るのではなく、質問に答えるために上位数冊のベストな本を選びます。速度を上げるため、図書館は作業を分割します。いくつかの棚が最初の数冊を処理し、他の棚が次のバッチを処理し、それらすべてが同時に作業を行います。これが、Mixture-of-Experts (MoE) と呼ばれる現代の AI モデルの仕組みです。これらは、作業を均等に分散させることで、極めて効率的に設計されています。

しかし、「RepetitionCurse」 という新しい論文が、この図書館の運営方法に巧妙な欠陥を明らかにしました。

問題：「コピー＆ペースト」のトリック

研究者たちは、非常に奇妙で反復的なパターン（「AI AI AI AI...」と繰り返し入力するなど）を使って司書に質問すると、司書が混乱することを発見しました。

通常、司書は言葉の意味を見てどの本を選ぶかを決めます。しかし、反復的なパターンを使用すると、司書は意味を探さなくなり、壊れたレコードのように動き出します。すべての棚に作業を分散させる代わりに、司書は突然、たった 1 つの特定の棚だけがこの反復パターンに適切な本を持っていると判断します。

結果：交通渋滞

次に何が起こるでしょうか：

ボトルネック：すべての作業がその単一の棚に投げ込まれます。その棚の司書たちは必死に走り回り、すべての本を見つけようとします。
遊休中の労働者：一方、他のすべての棚にいる司書たちは、忙しい棚が完了するのを待って、何もしずに立ち尽くしています。
遅延：システム全体が次のステップに進む前に、その遅い 1 つの棚が追いつくのを待たなければならないため、図書館全体が停止します。

AI の世界では、この遅延はTime-to-First-Token (TTFT) と呼ばれます。これは、AI が最初の単語を言うまでの時間です。通常の条件下では、これは高速です。しかし、この「RepetitionCurse」攻撃の下では、AI が話し始めるまでに 2〜3 倍の時間がかかる可能性があります。

なぜこれが重要なのか

この論文は、これをサービス不能 (DoS) 攻撃と呼んでいます。これは、ファストフード店に 1,000 個の同じ複雑なバーガーを一度に注文しに来る人がいるようなものです。厨房はそれらの特定のバーガーを作るのに追われて詰まり、突然、単なるコーヒーを注文しただけの人が 1 時間待たされることになります。

攻撃は単純です：ハッカーの天才である必要はありません。単に反復的な単語を入力するだけで済みます。この論文はこれを「ブラックボックス」攻撃と呼んでおり、AI の脳が内部でどのように機能しているかを理解する必要はなく、単語を繰り返すことがバランスを崩すことだけを知っていればよいことを意味します。
どこでも機能します：研究者たちは、Mixtral や Qwen などの人気モデルを含む 139 種類の異なる AI モデルでこれをテストしました。その結果、ほぼすべてが脆弱であることがわかりました。
スケールすればするほど悪化します：皮肉なことに、AI システムが強力であればあるほど（より多くのコンピューターを並列で使用するほど）、それを壊しやすくなります。研究者たちは、作業を分割するためにより多くのコンピューターを使用することが、この攻撃が使用された場合、かえって交通渋滞を悪化させることを発見しました。

結論

この論文は、多くのコンピューター間で作業を分割することは AI を高速化しますが、同時に弱点も生み出すと結論付けています。誰かが単純な反復的なトリックを使用すれば、システムに独自の効率ルールを無視させ、劇的に遅延させ、ユーザーへの約束（「2 秒以内に返信します」など）を破る可能性があります。

著者たちは、AI 企業が作業を自動的にバランスさせるより良い方法を見つけるまで、一度に使用するコンピューターの数に注意する必要があると示唆しています。さもなければ、単純な「AI AI AI」ループによってシステムが人質に取られるリスクがあります。

技術的概要：RepetitionCurse

問題定義

本論文は、Expert Parallelism（EP）を備えて展開された Mixture-of-Experts（MoE）大規模言語モデル（LLM）における、システムレベルの重大な脆弱性を特定している。MoE アーキテクチャは、トークンを Expert のサブセットへ動的にルーティングすることで効率的にスケーリングするように設計されているが、推論時の明示的な負荷分散制約の欠如は、サービス拒否（DoS）攻撃への脆弱性を生み出している。

具体的には、著者らは分布外（OOD）入力がルーティングメカニズムを操作し、トークンのルーティングを少数の共有トップ- $k$ Expert へ集中させることを実証している。異なる Expert が個別の GPU 上にホストされる EP 展開において、この集中は深刻な負荷不均衡を引き起こす。一部の GPU が計算ボトルネック（ストレイラー）となり、他は同期（all-reduce）を待ってアイドル状態となる。これにより、効率化メカニズムが攻撃ベクトルへと転じ、Time-to-First-Token（TTFT）が膨張し、サービスレベル合意（SLA）に違反してバッチ内の全ユーザーに対するサービス品質が低下する。

手法：RepetitionCurse

著者らは、訓練時の負荷分散と推論時のルーティングの間の不一致を悪用するブラックボックス攻撃戦略であるRepetitionCurseを提案する。

中核メカニズム: この攻撃は、「AIAI...」のような単純で反復的なトークンパターンを用いてプロンプトを構築する。
理論的基盤: ルーターの負荷分散は、隠れ状態が意味的に多様であるという仮定に依存している。トークンを反復させることで、攻撃者は層ごとの隠れ表現の分散を最小化し、これらをほぼ退化したクラスターへと収束させる。これにより、ルーターはシーケンス全体に対して同じトップ- $k$ Expert を決定的に選択することを余儀なくされる。
ブラックボックス性: この手法は、モデルパラメータ、勾配、または特定の Expert-GPU マッピングへのアクセスを一切必要としない。入力プロンプトのみで動作する。
攻撃強度: 攻撃は、バッチ内の攻撃サンプルの割合である $\alpha$ によってパラメータ化される。本研究では、混合ユーザーバッチ（ $0 < \alpha < 1$ ）から攻撃専用バッチ（ $\alpha = 1$ ）までのシナリオを評価している。

主要な貢献

脆弱性の特定: 本論文は、MoE モデルにおけるルーティングの不均衡が DoS 攻撃に悪用可能であることを初めて実証し、焦点を長出力によるリソース枯渇から、ルーティング集中によるリソース未利用へとシフトさせた。
攻撃の提案: 反復トークンを用いてプリフィリング遅延を増幅し TTFT を劣化させる、モデル非依存かつ勾配不要な手法である RepetitionCurse の導入。
包括的な測定: 遅延増幅の深刻さを定量化し、システムレベルの要因を特定するための、139 の MoE 構成と 13 の人気モデル（Mixtral、Qwen3、DeepSeek、Llama 変種を含む）にわたる大規模な実証研究。

実験結果

著者らは Mixtral-8x7B や Qwen3-30B-A3B などのモデルを用いて、8-GPU クラスター（特定のモデルについては 16/32 GPU へスケーリング）上で攻撃を評価した。

普遍性: この脆弱性は内在的かつ普遍的である。語彙内のほぼ任意のトークンがルーティング集中のトリガーとなり得る。「ボトルネックカバレッジ」（ランダムなトークンが最大集中を引き起こす確率）は、EP サイズが Expert 数と一致する場合、ほとんどのモデルで 1.0 に近づく。
遅延増幅:
- 一般的な 8-GPU EP 設定において、TTFT は**20% から 148%**増加した（例：Mixtral-8x7B では最大 2.48 $\times$ ）。
- EP サイズ = 32 の Qwen3-30B-A3B のようなスパースなモデルでは、TTFT は最大**115%**増加した。
- この攻撃は SLA 保証を著しく劣化させる。例えば、攻撃下では P99 SLA 遵守率が 99% から 86.4% から 98.6% の範囲へ低下した。
EP サイズの影響: Expert Parallelism の度合いが高いほど、脆弱性は大幅に増大する。EP サイズが増大するにつれて攻撃対象領域が拡大し、効率性の向上がセキュリティリスクを増幅させるという展開ジレンマが生じる。
防御の限界: 著者らは「脆弱性認識型」の Expert-GPU マッピング（脆弱な Expert を異なる GPU 上に配置する）を検証した。中程度の Expert 数を持つモデルでは条件付きの緩和効果が見られたが、非常にスパースなモデルや非常に高い EP サイズでは崩壊し、ブラックボックスシナリオではマッピング戦略に関わらず脆弱性が存続することを確認した。
堅牢性: この攻撃はプロンプト長（100 から 16k トークン）やコンテキストの変化に対して堅牢であり、この脆弱性が MoE アーキテクチャの反復的埋め込みの扱いにシステム的に起因することを示している。

意義と主張

本論文は、MoE アーキテクチャにおける並列化効率とシステム堅牢性の間の根本的なトレードオフを明らかにしたと主張している。業界がコスト効果の高いスケーリングのために高度にスパースな MoE モデルをますます採用するにつれ、推論時の負荷分散なしの動的ルーティングへの依存が、システム的な弱点を生み出している。

著者らは、RepetitionCurse を主に研究者やシステムプロバイダーが自らのサービングインフラの堅牢性を評価するための診断ツールとして位置づけている。現在の展開戦略（特に大規模な EP サイズ）が、誤ってシステムの並列性をそれ自体に対して作用させていることを強調している。これらの知見は、クラウドサービスプロバイダーに対して、EP サイズの再考と SLA 違反およびサービス劣化を防ぐためのより良い推論時負荷分散戦略の開発を促す、時宜を得た警告として機能する。