🤖 machine learning

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

Ce papier présente RepetitionCurse, une attaque boîte noire peu coûteuse qui exploite l'absence de contraintes d'équilibrage de charge dans les modèles de langage à mélange d'experts en utilisant de simples motifs de tokens répétitifs pour forcer une concentration sévère du routage, créant ainsi des goulots d'étranglement computationnels et dégradant significativement la latence d'inférence et la disponibilité du service.

Auteurs originaux : Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Publié 2026-05-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une immense bibliothèque high-tech où des milliers de livres (les « experts ») sont stockés sur différentes étagères (les « GPU »). Lorsqu'un bibliothécaire (le « routeur ») reçoit une demande, il ne saisit pas un seul livre ; il sélectionne les quelques meilleurs livres pour répondre à la question. Pour accélérer les choses, la bibliothèque divise le travail : certaines étagères traitent les premiers livres, d'autres la prochaine série, et elles travaillent toutes simultanément. C'est ainsi que fonctionnent les modèles d'IA modernes appelés Mélange d'Experts (MoE). Ils sont conçus pour être ultra-efficaces en répartissant le travail de manière uniforme.

Cependant, une nouvelle étude intitulée « RepetitionCurse » révèle un défaut sournois dans le fonctionnement de cette bibliothèque.

Le Problème : L'Astuce « Copier-Coller »

Les chercheurs ont découvert que si vous posez une question au bibliothécaire en utilisant un motif très étrange et répétitif (comme taper « IA IA IA IA... » encore et encore), le bibliothécaire se trompe.

Normalement, le bibliothécaire examine le sens de vos mots pour décider quels livres choisir. Mais lorsque vous utilisez un motif répétitif, le bibliothécaire cesse de chercher du sens et commence à agir comme un disque rayé. Au lieu de répartir le travail sur toutes les étagères, le bibliothécaire décide soudainement que seule une étagère spécifique possède les bons livres pour ce motif répétitif.

Le Résultat : Un Embouteillage

Voici ce qui se passe ensuite :

Le Goulot d'Étranglement : Tout le travail est rejeté sur cette unique étagère. Les bibliothécaires de cette étagère courent frénétiquement, essayant de trouver tous les livres.
Les Travailleurs Inactifs : Pendant ce temps, les bibliothécaires de toutes les autres étagères restent debout sans rien faire, attendant que l'étagère occupée termine.
Le Délai : Parce que l'ensemble du système doit attendre que cette unique étagère lente rattrape son retard avant de pouvoir passer à l'étape suivante, toute la bibliothèque s'arrête net.

Dans le monde de l'IA, ce délai est appelé Temps jusqu'au Premier Token (TTFT). C'est le temps qu'il faut à l'IA pour prononcer son premier mot. Dans des conditions normales, c'est rapide. Sous cette attaque « RepetitionCurse », l'IA peut mettre 2 à 3 fois plus de temps pour commencer à parler.

Pourquoi Cela Compte

L'étude qualifie cela d'attaque par Déni de Service (DoS). C'est comme si quelqu'un entrait dans un restaurant rapide et commandait 1 000 burgers identiques et compliqués d'un coup. La cuisine se retrouve engorgée en essayant de préparer ces burgers spécifiques, et soudain, la personne qui voulait simplement un café doit attendre une heure.

L'Attaque est Simple : Vous n'avez pas besoin d'être un génie du piratage. Il vous suffit de taper des mots répétitifs. L'étude qualifie cela d'attaque « boîte noire », ce qui signifie que vous n'avez pas besoin de savoir comment fonctionne le cerveau de l'IA à l'intérieur ; vous avez juste besoin de savoir que répéter des mots brise l'équilibre.
Cela Fonctionne Partout : Les chercheurs ont testé cela sur 139 modèles d'IA différents (y compris des modèles populaires comme Mixtral et Qwen). Ils ont constaté que presque tous sont vulnérables.
Plus Vous Mettez à l'Échelle, Plus Cela empire : Ironiquement, plus le système d'IA est puissant (utilisant plus d'ordinateurs pour travailler en parallèle), plus il est facile à briser. Les chercheurs ont découvert que l'utilisation de plus d'ordinateurs pour diviser le travail rend en fait l'embouteillage plus grave lorsque cette attaque est utilisée.

La Conclusion

L'étude conclut que, bien que la répartition du travail entre de nombreux ordinateurs rende l'IA plus rapide, cela crée aussi un point faible. Si quelqu'un utilise une astuce simple et répétitive, il peut forcer le système à ignorer ses propres règles d'efficacité, le ralentissant considérablement et risquant potentiellement de rompre ses promesses aux utilisateurs (comme « nous répondrons dans les 2 secondes »).

Les auteurs suggèrent que, tant que les entreprises d'IA ne trouveront pas un meilleur moyen d'équilibrer le travail automatiquement, elles devront peut-être faire attention au nombre d'ordinateurs qu'elles utilisent simultanément, sous peine de voir leurs systèmes tenus en otage par une simple boucle « IA IA IA ».

Résumé Technique : RepetitionCurse

Énoncé du Problème

L'article identifie une vulnérabilité critique au niveau système dans les modèles de langage de grande taille (LLM) de type Mixture-of-Experts (MoE) déployés avec du parallélisme d'experts (EP). Bien que les architectures MoE soient conçues pour évoluer efficacement en acheminant dynamiquement les jetons vers un sous-ensemble d'experts, l'absence de contraintes explicites d'équilibrage de charge lors de l'inférence crée une susceptibilité aux attaques par déni de service (DoS).

Plus précisément, les auteurs démontrent que des entrées hors distribution (OOD) peuvent manipuler le mécanisme de routage pour concentrer l'acheminement des jetons sur un petit sous-ensemble partagé d'experts top- $k$ . Dans un déploiement EP où des experts distincts sont hébergés sur des GPU séparés, cette concentration provoque un déséquilibre de charge sévère : quelques GPU deviennent des goulots d'étranglement computationnels (stragglers) tandis que d'autres restent inactifs, attendant la synchronisation (all-reduce). Cela transforme un mécanisme d'efficacité en un vecteur d'attaque qui gonfle le temps jusqu'au premier jeton (TTFT), violant les accords de niveau de service (SLA) et dégradant la qualité de service pour tous les utilisateurs d'un lot.

Méthodologie : RepetitionCurse

Les auteurs proposent RepetitionCurse, une stratégie d'attaque en boîte noire qui exploite l'écart entre l'équilibrage lors de l'entraînement et le routage lors de l'inférence.

Mécanisme Central : L'attaque construit des invites utilisant des motifs de jetons simples et répétitifs (par exemple, "AIAI...").
Fondement Théorique : L'équilibrage de charge du routeur repose sur l'hypothèse que les états cachés sont sémantiquement diversifiés. En répétant des jetons, l'attaquant minimise la variance des représentations cachées au niveau des couches, les effondrant dans un cluster quasi-dégénéré. Cela force le routeur à sélectionner de manière déterministe les mêmes experts top- $k$ pour toute la séquence.
Nature en Boîte Noire : La méthode ne nécessite aucun accès aux paramètres du modèle, aux gradients ou à la correspondance spécifique Expert-GPU. Elle opère purement sur les invites d'entrée.
Intensité de l'Attaque : L'attaque est paramétrée par $\alpha$ , la fraction d'échantillons d'attaque au sein d'un lot. L'étude évalue des scénarios allant de lots d'utilisateurs mixtes ( $0 < \alpha < 1$ ) à des lots dédiés uniquement à l'attaque ( $\alpha = 1$ ).

Contributions Clés

Identification de Vulnérabilité : L'article est le premier à démontrer que le déséquilibre de routage dans les modèles MoE peut être weaponisé pour lancer des attaques DoS, déplaçant le focus de l'épuisement des ressources via des sorties longues vers la sous-utilisation des ressources via la concentration de routage.
Proposition d'Attaque : Introduction de RepetitionCurse, une méthode agnostique au modèle et sans gradient qui amplifie la latence de préremplissage et dégrade le TTFT en utilisant des jetons répétitifs.
Mesure Complète : Une étude empirique à grande échelle sur 139 configurations MoE et 13 modèles populaires (incluant Mixtral, Qwen3, DeepSeek et des variantes Llama) pour quantifier la sévérité de l'amplification de latence et identifier les facteurs au niveau système.

Résultats Expérimentaux

Les auteurs ont évalué l'attaque sur des clusters de 8 GPU (et étendu à 16/32 GPU pour des modèles spécifiques) en utilisant des modèles tels que Mixtral-8x7B et Qwen3-30B-A3B.

Universalité : La vulnérabilité est intrinsèque et universelle. Presque n'importe quel jeton du vocabulaire peut servir de déclencheur pour la concentration de routage. La "couverture des goulots d'étranglement" (la probabilité qu'un jeton aléatoire induise une concentration maximale) approche 1,0 pour la plupart des modèles lorsque la taille EP correspond au nombre d'experts.
Amplification de Latence :
- Dans des configurations EP courantes sur 8 GPU, le TTFT a augmenté de 20 % à 148 % (par exemple, jusqu'à 2,48 $\times$ pour Mixtral-8x7B).
- Pour des modèles plus épars comme Qwen3-30B-A3B avec une taille EP = 32, le TTFT a augmenté jusqu'à 115 %.
- L'attaque dégrade considérablement les garanties SLA ; par exemple, la conformité SLA P99 est tombée de 99 % à entre 86,4 % et 98,6 % sous attaque.
Impact de la Taille EP : Des degrés plus élevés de parallélisme d'experts augmentent substantiellement la susceptibilité. La surface d'attaque s'étend à mesure que la taille EP croît, créant un dilemme de déploiement où les gains d'efficacité amplifient les risques de sécurité.
Limites de la Défense : Les auteurs ont investigué une correspondance "consciente de la vulnérabilité" Expert-GPU (plaçant des experts vulnérables sur différents GPU). Bien que cela ait offert une mitigation conditionnelle pour des modèles avec un nombre modéré d'experts, cela s'est effondré pour des modèles très épars ou des tailles EP très élevées, confirmant que la vulnérabilité persiste indépendamment des stratégies de correspondance dans des scénarios en boîte noire.
Robustesse : L'attaque est robuste à la longueur des invites (100 à 16k jetons) et aux variations de contexte, indiquant que la vulnérabilité est systémique au traitement des embeddings répétitifs par l'architecture MoE.

Signification et Revendications

L'article prétend révéler un compromis fondamental entre l'efficacité du parallélisme et la robustesse du système dans les architectures MoE. Alors que l'industrie adopte de plus en plus des modèles MoE très épars pour une mise à l'échelle rentable, la dépendance au routage dynamique sans équilibrage de charge lors de l'inférence crée une faiblesse systémique.

Les auteurs positionnent RepetitionCurse principalement comme un outil de diagnostic pour les chercheurs et les fournisseurs de systèmes afin d'évaluer la robustesse de leur infrastructure de service. Ils soulignent que les stratégies de déploiement actuelles (spécifiquement les grandes tailles EP) retournent involontairement le parallélisme du système contre lui-même. Les résultats servent d'avertissement opportun pour les fournisseurs de services cloud afin de reconsidérer le dimensionnement EP et de développer de meilleures stratégies d'équilibrage de charge lors de l'inférence pour prévenir les violations de SLA et la dégradation du service.