Technische Samenvatting: RepetitionCurse

Probleemstelling

Het artikel identificeert een kritieke kwetsbaarheid op systeemniveau in Mixture-of-Experts (MoE) Large Language Models (LLMs) die worden ingezet met Expert Parallelism (EP). Hoewel MoE-architecturen zijn ontworpen om efficiënt te schalen door tokens dynamisch te routeren naar een subset van experts, creëert het ontbreken van expliciete load-balancing beperkingen tijdens inferentie een vatbaarheid voor Denial-of-Service (DoS)-aanvallen.

Specifiek tonen de auteurs aan dat out-of-distribution (OOD) input de routeringsmechanismen kan manipuleren om token-routing te concentreren op een kleine, gedeelde subset van top-$k$ experts. In een EP-implementatie waarbij verschillende experts op afzonderlijke GPU's worden gehost, veroorzaakt deze concentratie ernstige load-ongelijkheid: een paar GPU's worden computatieknelpunten (stragglers) terwijl anderen inactief blijven, wachtend op synchronisatie (all-reduce). Dit zet een efficiëntiemechanisme om in een aanvalsvector die de Time-to-First-Token (TTFT) opblaast, Service-Level Agreements (SLA's) schendt en de servicekwaliteit voor alle gebruikers in een batch degradeert.

Methodologie: RepetitionCurse

De auteurs stellen RepetitionCurse voor, een black-box aanvalsstrategie die misbruik maakt van het verschil tussen load-balancing tijdens training en routing tijdens inferentie.

• Kernmechanisme: De aanval bouwt prompts op met eenvoudige, repetitieve tokenpatronen (bijvoorbeeld "AIAI...").
• Theoretische Basis: De load-balancing van de router rust op de aanname dat verborgen staten semantisch divers zijn. Door tokens te herhalen, minimaliseert de aanvaller de variantie in laag-voor-laag verborgen representaties, waardoor deze instorten tot een bijna-degeneratieve cluster. Dit dwingt de router om deterministisch dezelfde top-$k$ experts te selecteren voor de volledige sequentie.
• Black-Box Aard: De methode vereist geen toegang tot modelparameters, gradiënten of de specifieke Expert-GPU-toewijzing. Het werkt puur op input-prompts.
• Aanvalskracht: De aanval wordt geparametriseerd door $\alpha$, het aandeel aanvalssamples binnen een batch. De studie evalueert scenario's variërend van gemengde gebruikersbatches ($0 < \alpha < 1$) tot aanvalsbatches alleen ($\alpha = 1$).

Belangrijkste Bijdragen

1. Identificatie van Kwetsbaarheid: Het artikel is het eerste dat aantoont dat routing-ongelijkheid in MoE-modellen kan worden gewapend om DoS-aanvallen te lanceren, waarbij de focus verschuift van hulpbronnenuitputting via lange output naar hulpbronnenondbenutting via routingconcentratie.
2. Aanvalvoorstel: Introductie van RepetitionCurse, een model-agnostische, gradiëntvrije methode die prefilling-latentie versterkt en TTFT degradeert met behulp van repetitieve tokens.
3. Uitgebreide Meting: Een grootschalige empirische studie over 139 MoE-configuraties en 13 populaire modellen (waaronder Mixtral, Qwen3, DeepSeek en Llama-varianten) om de ernst van latentie-versterking te kwantificeren en systeemniveau-factoren te identificeren.

Experimentele Resultaten

De auteurs evalueerden de aanval op 8-GPU-clusters (en schaalde dit op naar 16/32 GPU's voor specifieke modellen) met modellen zoals Mixtral-8x7B en Qwen3-30B-A3B.

• Universaliteit: De kwetsbaarheid is inherent en universeel. Bijna elk token in het vocabulair kan dienen als trigger voor routingconcentratie. De "knelpuntdekking" (de waarschijnlijkheid dat een willekeurig token maximale concentratie induceert) nadert 1,0 voor de meeste modellen wanneer de EP-grootte overeenkomt met het aantal experts.
• Latentie-versterking:
  • Onder gebruikelijke 8-GPU EP-instellingen nam TTFT toe met 20% tot 148% (bijvoorbeeld tot 2,48$\times$ voor Mixtral-8x7B).
  • Voor sparser modellen zoals Qwen3-30B-A3B met EP-grootte = 32, nam TTFT toe met maximaal 115%.
  • De aanval degradeert SLA-garanties aanzienlijk; bijvoorbeeld, P99 SLA-naleving daalde van 99% naar tussen 86,4% en 98,6% onder aanval.
• Invloed van EP-grootte: Hogere gradaties van Expert Parallelism verhogen de vatbaarheid aanzienlijk. Het aanvalsoppervlak breidt zich uit naarmate de EP-grootte groeit, wat een implementatiedilemma creëert waarbij efficiëntiewinsten veiligheidsrisico's versterken.
• Beperkingen van Defensie: De auteurs onderzochten "kwetsbaarheidsbewuste" Expert-GPU-toewijzing (het plaatsen van kwetsbare experts op verschillende GPU's). Hoewel dit conditionele mitigatie bood voor modellen met een gematigd aantal experts, stortte dit in voor zeer sparser modellen of zeer hoge EP-groottes, wat bevestigt dat de kwetsbaarheid blijft bestaan ongeacht toewijzingsstrategieën in black-box scenario's.
• Robuustheid: De aanval is robuust voor promptlengte (100 tot 16k tokens) en contextvariaties, wat aangeeft dat de kwetsbaarheid systemisch is voor de verwerking van repetitieve embeddings door de MoE-architectuur.

Betekenis en Claims

Het artikel claimt een fundamentele afweging te onthullen tussen parallelisatie-efficiëntie en systeemrobustheid in MoE-architecturen. Naarmate de industrie steeds meer gebruikmaakt van zeer sparser MoE-modellen voor kosteneffectieve schaling, creëert de afhankelijkheid van dynamische routing zonder load-balancing tijdens inferentie een systemische zwakte.

De auteurs positioneren RepetitionCurse primair als een diagnostisch hulpmiddel voor onderzoekers en systeembieders om de robuustheid van hun serving-infrastructuur te evalueren. Zij benadrukken dat huidige implementatiestrategieën (specifiek grote EP-groottes) het systeemperallelisme onbedoeld tegen zichzelf laten werken. De bevindingen dienen als een tijdige waarschuwing voor cloudserviceproviders om EP-grootte te heroverwegen en betere load-balancing-strategieën tijdens inferentie te ontwikkelen om SLA-schendingen en service-degradatie te voorkomen.