🤖 machine learning

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

Dieser Beitrag stellt RepetitionCurse vor, einen kostengünstigen Black-Box-Angriff, der das Fehlen von Lastverteilungsbeschränkungen in Mixture-of-Experts-LLMs ausnutzt, indem er einfache repetitive Token-Muster verwendet, um eine starke Routing-Konzentration zu erzwingen, wodurch Rechenengpässe entstehen und die Inferenz-Latenz sowie die Dienstverfügbarkeit erheblich beeinträchtigt werden.

Ursprüngliche Autoren: Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, hochtechnologische Bibliothek vor, in der Tausende von Büchern (die „Experten") auf verschiedenen Regalen (den „GPUs") gespeichert sind. Wenn eine Bibliothekarin (der „Router") eine Anfrage erhält, greift sie nicht nur nach einem Buch; sie wählt die wenigen besten Bücher aus, um die Frage zu beantworten. Um die Geschwindigkeit zu erhöhen, teilt die Bibliothek die Arbeit auf: Einige Regale bearbeiten die ersten Bücher, andere die nächste Gruppe, und alle arbeiten gleichzeitig. So funktionieren moderne KI-Modelle, die als Mixture-of-Experts (MoE) bezeichnet werden. Sie sind darauf ausgelegt, durch eine gleichmäßige Verteilung der Arbeit extrem effizient zu sein.

Ein neues Papier mit dem Titel „RepetitionCurse" enthüllt jedoch einen heimtückischen Fehler in der Funktionsweise dieser Bibliothek.

Das Problem: Der „Kopieren-Einfügen"-Trick

Die Forscher entdeckten, dass die Bibliothekarin verwirrt wird, wenn man sie mit einem sehr seltsamen, repetitiven Muster fragt (wie etwa durch ständiges Tippen von „KI KI KI KI...").

Normalerweise betrachtet die Bibliothekarin die Bedeutung Ihrer Worte, um zu entscheiden, welche Bücher sie auswählt. Doch wenn Sie ein repetitives Muster verwenden, hört die Bibliothekarin auf, nach Bedeutung zu suchen, und beginnt, wie eine kaputte Schallplatte zu agieren. Anstatt die Arbeit auf alle Regale zu verteilen, entscheidet die Bibliothekarin plötzlich, dass nur ein bestimmtes Regal die richtigen Bücher für dieses repetitive Muster hat.

Das Ergebnis: Ein Stau

Hier ist, was als Nächstes passiert:

Der Flaschenhals: Die gesamte Arbeit wird auf dieses einzelne Regal geworfen. Die Bibliothekarinnen auf diesem Regal rennen verzweifelt herum und versuchen, alle Bücher zu finden.
Die untätigen Arbeiter: Inzwischen stehen die Bibliothekarinnen auf allen anderen Regalen herum und tun nichts, während sie warten, dass das beschäftigte Regal fertig wird.
Die Verzögerung: Da das gesamte System warten muss, bis dieses eine langsame Regal nachholt, bevor es zum nächsten Schritt übergehen kann, kommt die gesamte Bibliothek zum Stillstand.

In der Welt der KI nennt man diese Verzögerung Time-to-First-Token (TTFT). Es ist die Zeit, die die KI benötigt, um ihr erstes Wort zu sagen. Unter normalen Bedingungen ist dies schnell. Unter diesem „RepetitionCurse"-Angriff kann die KI 2- bis 3-mal länger brauchen, um mit dem Sprechen zu beginnen.

Warum dies wichtig ist

Das Papier bezeichnet dies als Denial-of-Service (DoS)-Angriff. Es ist, als würde jemand in ein Fast-Food-Restaurant gehen und sofort 1.000 identische, komplizierte Burger bestellen. Die Küche gerät beim Herstellen dieser spezifischen Burger ins Stocken, und plötzlich muss die Person, die nur einen einfachen Kaffee wollte, eine Stunde warten.

Der Angriff ist einfach: Sie müssen kein Hacker-Genie sein. Sie müssen nur wiederholte Wörter tippen. Das Papier nennt dies einen „Black-Box"-Angriff, was bedeutet, dass Sie nicht wissen müssen, wie das Gehirn der KI im Inneren funktioniert; Sie müssen nur wissen, dass das Wiederholen von Wörtern das Gleichgewicht zerstört.
Es funktioniert überall: Die Forscher testeten dies an 139 verschiedenen KI-Modellen (einschließlich beliebter Modelle wie Mixtral und Qwen). Sie stellten fest, dass fast alle davon anfällig sind.
Je mehr Sie skalieren, desto schlimmer wird es: Ironischerweise ist es umso leichter, das System zu brechen, je leistungsfähiger es ist (wenn mehr Computer parallel arbeiten). Die Forscher fanden heraus, dass die Verwendung weiterer Computer zur Aufteilung der Arbeit den Stau tatsächlich verschlimmert, wenn dieser Angriff angewendet wird.

Das Fazit

Das Papier kommt zu dem Schluss, dass die Aufteilung der Arbeit auf viele Computer die KI zwar schneller macht, aber auch eine Schwachstelle schafft. Wenn jemand einen einfachen, repetitiven Trick anwendet, kann er das System zwingen, seine eigenen Effizienzregeln zu ignorieren, was zu einer dramatischen Verlangsamung führt und möglicherweise seine Versprechen an die Nutzer bricht (wie etwa „wir antworten innerhalb von 2 Sekunden").

Die Autoren schlagen vor, dass KI-Unternehmen, bis sie einen besseren Weg finden, die Arbeit automatisch auszugleichen, möglicherweise vorsichtig damit sein müssen, wie viele Computer sie gleichzeitig einsetzen, oder sie riskieren, dass ihre Systeme von einer einfachen „KI KI KI"-Schleife als Geisel genommen werden.

Technische Zusammenfassung: RepetitionCurse

Problemstellung

Die Arbeit identifiziert eine kritische System-Schwachstelle in Mixture-of-Experts (MoE) Large Language Models (LLMs), die mit Expert Parallelism (EP) bereitgestellt werden. Während MoE-Architekturen entwickelt wurden, um durch dynamisches Routing von Tokens auf eine Teilmenge von Experten effizient zu skalieren, führt das Fehlen expliziter Lastverteilungsbeschränkungen während der Inferenz zu einer Anfälligkeit für Denial-of-Service (DoS)-Angriffe.

Insbesondere zeigen die Autoren, dass Out-of-Distribution (OOD)-Eingaben den Router-Mechanismus manipulieren können, um das Token-Routing auf eine kleine, gemeinsame Teilmenge der Top- $k$ -Experten zu konzentrieren. In einer EP-Bereitstellung, bei der unterschiedliche Experten auf separaten GPUs gehostet werden, verursacht diese Konzentration ein schwerwiegendes Lastungleichgewicht: Wenige GPUs werden zu rechenintensiven Engpässen (Stragglers), während andere untätig bleiben und auf die Synchronisation (All-Reduce) warten. Dies verwandelt einen Effizienzmechanismus in einen Angriffsvektor, der die Time-to-First-Token (TTFT) erhöht, Service-Level-Agreements (SLAs) verletzt und die Dienstqualität für alle Benutzer in einem Batch verschlechtert.

Methodik: RepetitionCurse

Die Autoren schlagen RepetitionCurse vor, eine Black-Box-Angriffsstrategie, die die Diskrepanz zwischen dem Balancing während des Trainings und dem Routing während der Inferenz ausnutzt.

Kernmechanismus: Der Angriff konstruiert Prompts unter Verwendung einfacher, repetitiver Token-Muster (z. B. "AIAI...").
Theoretische Grundlage: Das Lastbalancing des Routers basiert auf der Annahme, dass die Hidden States semantisch divers sind. Durch das Wiederholen von Token minimiert der Angreifer die Varianz in den layerweisen Hidden-Repräsentationen und kollabiert sie zu einem nahezu entarteten Cluster. Dies zwingt den Router, deterministisch dieselben Top- $k$ -Experten für die gesamte Sequenz auszuwählen.
Black-Box-Charakter: Die Methode erfordert keinen Zugriff auf Modellparameter, Gradienten oder die spezifische Expert-GPU-Zuordnung. Sie operiert ausschließlich auf Eingabe-Prompts.
Angriffsintensität: Der Angriff wird durch $\alpha$ parametrisiert, dem Anteil von Angriffsproben innerhalb eines Batches. Die Studie bewertet Szenarien von gemischten Benutzer-Batches ( $0 < \alpha < 1$ ) bis hin zu reinen Angriffs-Batches ( $\alpha = 1$ ).

Hauptbeiträge

Identifizierung der Schwachstelle: Die Arbeit ist die erste, die demonstriert, dass Routing-Ungleichgewichte in MoE-Modellen zur Durchführung von DoS-Angriffen missbraucht werden können, wobei der Fokus von der Ressourcenerschöpfung durch lange Ausgaben auf die Unterauslastung von Ressourcen durch Routing-Konzentration verschoben wird.
Angriffsvorschlag: Einführung von RepetitionCurse, einer modellunabhängigen, gradientenfreien Methode, die die Latenz beim Prefilling verstärkt und die TTFT durch repetitive Token verschlechtert.
Umfassende Messung: Eine groß angelegte empirische Studie über 139 MoE-Konfigurationen und 13 populäre Modelle (einschließlich Mixtral, Qwen3, DeepSeek und Llama-Varianten), um die Schwere der Latenzverstärkung zu quantifizieren und systemische Faktoren zu identifizieren.

Experimentelle Ergebnisse

Die Autoren bewerteten den Angriff auf 8-GPU-Clustern (und skalierten für spezifische Modelle auf 16/32 GPUs) unter Verwendung von Modellen wie Mixtral-8x7B und Qwen3-30B-A3B.

Universalität: Die Schwachstelle ist inhärent und universell. Fast jedes Token im Vokabular kann als Auslöser für Routing-Konzentration dienen. Die "Bottleneck-Abdeckung" (die Wahrscheinlichkeit, dass ein zufälliges Token maximale Konzentration auslöst) nähert sich bei den meisten Modellen dem Wert 1,0 an, wenn die EP-Größe der Anzahl der Experten entspricht.
Latenzverstärkung:
- Unter gängigen 8-GPU-EP-Einstellungen stieg die TTFT um 20 % bis 148 % (z. B. bis zu 2,48 $\times$ für Mixtral-8x7B).
- Für sparsere Modelle wie Qwen3-30B-A3B mit EP-Größe = 32 stieg die TTFT um bis zu 115 %.
- Der Angriff verschlechtert SLA-Garantien erheblich; beispielsweise sank die P99-SLA-Einhaltung von 99 % unter Angriff auf Werte zwischen 86,4 % und 98,6 %.
Auswirkung der EP-Größe: Höhere Grade an Expert Parallelism erhöhen die Anfälligkeit erheblich. Die Angriffsfläche erweitert sich mit wachsender EP-Größe, was ein Bereitstellungs-Dilemma schafft, bei dem Effizienzgewinne die Sicherheitsrisiken verstärken.
Grenzen der Verteidigung: Die Autoren untersuchten eine "verwundbarkeitsbewusste" Expert-GPU-Zuordnung (Platzierung verwundbarer Experten auf verschiedenen GPUs). Während dies eine bedingte Milderung für Modelle mit moderater Expertenanzahl bot, scheiterte es bei hochgradig spärlichen Modellen oder sehr hohen EP-Größen, was bestätigt, dass die Schwachstelle unabhängig von Zuordnungsstrategien in Black-Box-Szenarien bestehen bleibt.
Robustheit: Der Angriff ist robust gegenüber Prompt-Längen (100 bis 16k Token) und Kontextvariationen, was darauf hindeutet, dass die Schwachstelle systemisch für den Umgang der MoE-Architektur mit repetitiven Embeddings ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen fundamentalen Zielkonflikt zwischen Parallelisierungseffizienz und Systemrobustheit in MoE-Architekturen aufzudecken. Da die Branche zunehmend hochgradig spärliche MoE-Modelle für eine kosteneffiziente Skalierung einsetzt, schafft die Abhängigkeit von dynamischem Routing ohne Lastverteilung während der Inferenz eine systemische Schwäche.

Die Autoren positionieren RepetitionCurse primär als Diagnosewerkzeug für Forscher und Systemanbieter, um die Robustheit ihrer Bereitstellungsinfrastruktur zu bewerten. Sie betonen, dass aktuelle Bereitstellungsstrategien (insbesondere große EP-Größen) das System unabsichtlich gegen sich selbst wenden. Die Ergebnisse dienen als zeitnaue Warnung für Cloud-Dienstleister, die EP-Größe zu überdenken und bessere Lastverteilungsstrategien während der Inferenz zu entwickeln, um SLA-Verletzungen und Dienstverschlechterungen zu verhindern.