🤖 machine learning

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

Questo articolo introduce RepetitionCurse, un attacco black-box a basso costo che sfrutta la mancanza di vincoli di bilanciamento del carico nei LLM Mixture-of-Experts utilizzando semplici pattern di token ripetitivi per forzare una forte concentrazione del routing, creando così colli di bottiglia computazionali e degradando significativamente la latenza di inferenza e la disponibilità del servizio.

Autori originali: Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Pubblicato 2026-05-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina una biblioteca enorme e ad alta tecnologia dove migliaia di libri (gli "esperti") sono conservati su scaffali diversi (le "GPU"). Quando un bibliotecario (il "router") riceve una richiesta, non prende semplicemente un libro; seleziona i pochi migliori libri per rispondere alla domanda. Per velocizzare le cose, la biblioteca divide il lavoro: alcuni scaffali gestiscono i primi libri, altri gestiscono il successivo gruppo, e tutti lavorano contemporaneamente. È così che funzionano i moderni modelli di intelligenza artificiale chiamati Mixture-of-Experts (MoE). Sono progettati per essere super efficienti distribuendo il lavoro in modo uniforme.

Tuttavia, un nuovo studio intitolato "RepetitionCurse" rivela un difetto subdolo nel funzionamento di questa biblioteca.

Il Problema: Il Trucco "Copia-Incolla"

I ricercatori hanno scoperto che se chiedi al bibliotecario una domanda utilizzando un pattern molto strano e ripetitivo (come digitare "AI AI AI AI..." all'infinito), il bibliotecario si confonde.

Normalmente, il bibliotecario guarda il significato delle tue parole per decidere quali libri selezionare. Ma quando utilizzi un pattern ripetitivo, il bibliotecario smette di cercare il significato e inizia ad agire come un disco rotto. Invece di distribuire il lavoro su tutti gli scaffali, il bibliotecario decide improvvisamente che solo uno scaffale specifico possiede i libri giusti per questo pattern ripetitivo.

Il Risultato: Un Ingorgo

Ecco cosa succede dopo:

Il Collo di Bottiglia: Tutto il lavoro viene scaricato su quel singolo scaffale. I bibliotecari su quello scaffale corrono freneticamente, cercando di trovare tutti i libri.
I Lavoratori Inattivi: Nel frattempo, i bibliotecari su tutti gli altri scaffali stanno in piedi senza fare nulla, in attesa che lo scaffale occupato finisca.
Il Ritardo: Poiché l'intero sistema deve attendere che quel singolo scaffale lento recuperi il ritardo prima di poter procedere al passaggio successivo, l'intera biblioteca si blocca.

Nel mondo dell'IA, questo ritardo è chiamato Time-to-First-Token (TTFT). È il tempo necessario affinché l'IA pronunci la sua prima parola. In condizioni normali, questo è veloce. Sotto questo attacco "RepetitionCurse", l'IA potrebbe impiegare da 2 a 3 volte più tempo per iniziare a parlare.

Perché Questo È Importante

Lo studio definisce questo un attacco di Denial-of-Service (DoS). È come se qualcuno entrasse in un ristorante fast-food e ordinasse 1.000 hamburger identici e complicati tutti insieme. La cucina si intasa nel tentativo di preparare quegli hamburger specifici e, all'improvviso, la persona che voleva solo un semplice caffè deve aspettare un'ora.

L'Attacco è Semplice: Non devi essere un genio dell'hacking. Devi solo digitare parole ripetitive. Lo studio definisce questo un attacco "black-box", il che significa che non hai bisogno di sapere come funziona il cervello dell'IA all'interno; ti basta sapere che ripetere le parole rompe l'equilibrio.
Funziona Ovunque: I ricercatori hanno testato questo su 139 diversi modelli di IA (inclusi quelli popolari come Mixtral e Qwen). Hanno scoperto che quasi tutti sono vulnerabili.
Più Scalate, Peggio Diventa: Ironia della sorte, più potente è il sistema di IA (utilizzando più computer per lavorare in parallelo), più facile è romperlo. I ricercatori hanno scoperto che utilizzare più computer per dividere il lavoro rende effettivamente l'ingorgo peggiore quando viene utilizzato questo attacco.

La Conclusione

Lo studio conclude che, sebbene dividere il lavoro tra molti computer renda l'IA più veloce, crea anche un punto debole. Se qualcuno utilizza un trucco semplice e ripetitivo, può costringere il sistema a ignorare le proprie regole di efficienza, causandogli un rallentamento drammatico e potenzialmente rompendo le sue promesse agli utenti (come "risponderemo entro 2 secondi").

Gli autori suggeriscono che, finché le aziende di IA non troveranno un modo migliore per bilanciare automaticamente il lavoro, potrebbero dover fare attenzione a quanti computer utilizzano contemporaneamente, altrimenti rischiano che i loro sistemi vengano presi in ostaggio da un semplice ciclo "AI AI AI".

Riepilogo Tecnico: RepetitionCurse

Enunciato del Problema

Il documento identifica una vulnerabilità critica a livello di sistema nei Modelli Linguistici di Grande Dimensione (LLM) basati su Mixture-of-Experts (MoE) distribuiti con Parallelismo degli Esperti (EP). Sebbene le architetture MoE siano progettate per scalare in modo efficiente instradando dinamicamente i token a un sottoinsieme di esperti, l'assenza di vincoli espliciti di bilanciamento del carico durante l'inferenza crea una suscettibilità agli attacchi di Denial-of-Service (DoS).

Nello specifico, gli autori dimostrano che input fuori distribuzione (OOD) possono manipolare il meccanismo di instradamento per concentrare il routing dei token su un piccolo sottoinsieme condiviso di esperti top- $k$ . In una distribuzione EP in cui esperti distinti sono ospitati su GPU separate, questa concentrazione provoca uno squilibrio di carico grave: poche GPU diventano colli di bottiglia computazionali (stragglers) mentre altre rimangono inattive, in attesa della sincronizzazione (all-reduce). Ciò trasforma un meccanismo di efficienza in un vettore di attacco che gonfia il Time-to-First-Token (TTFT), violando gli Accordi sul Livello di Servizio (SLA) e degradando la qualità del servizio per tutti gli utenti in un batch.

Metodologia: RepetitionCurse

Gli autori propongono RepetitionCurse, una strategia di attacco in black-box che sfrutta la discrepanza tra il bilanciamento durante l'addestramento e l'instradamento durante l'inferenza.

Meccanismo Principale: L'attacco costruisce prompt utilizzando pattern di token semplici e ripetitivi (ad esempio, "AIAI...").
Base Teorica: Il bilanciamento del carico del router si basa sull'assunzione che gli stati nascosti siano semanticamente diversificati. Ripetendo i token, l'attaccante minimizza la varianza nelle rappresentazioni nascoste a livello di strato, collassandole in un cluster quasi degenere. Ciò costringe il router a selezionare deterministicamente gli stessi esperti top- $k$ per l'intera sequenza.
Natura Black-Box: Il metodo non richiede accesso ai parametri del modello, ai gradienti o alla specifica mappatura Expert-GPU. Opera esclusivamente sui prompt di input.
Intensità dell'Attacco: L'attacco è parametrizzato da $\alpha$ , la frazione di campioni di attacco all'interno di un batch. Lo studio valuta scenari che vanno da batch misti di utenti ( $0 < \alpha < 1$ ) a batch composti esclusivamente da attacchi ( $\alpha = 1$ ).

Contributi Chiave

Identificazione della Vulnerabilità: Il documento è il primo a dimostrare che lo squilibrio di instradamento nei modelli MoE può essere armato per lanciare attacchi DoS, spostando il focus dall'esaurimento delle risorse tramite output lunghi al sottoutilizzo delle risorse tramite concentrazione di instradamento.
Proposta di Attacco: Introduzione di RepetitionCurse, un metodo agnostico rispetto al modello e privo di gradienti che amplifica la latenza di prefilling e degrada il TTFT utilizzando token ripetitivi.
Misurazione Completa: Uno studio empirico su larga scala su 139 configurazioni MoE e 13 modelli popolari (inclusi Mixtral, Qwen3, DeepSeek e varianti di Llama) per quantificare la gravità dell'amplificazione della latenza e identificare fattori a livello di sistema.

Risultati Sperimentali

Gli autori hanno valutato l'attacco su cluster da 8 GPU (e scalato a 16/32 GPU per modelli specifici) utilizzando modelli come Mixtral-8x7B e Qwen3-30B-A3B.

Universalità: La vulnerabilità è intrinseca e universale. Quasi qualsiasi token nel vocabolario può servire da trigger per la concentrazione di instradamento. La "copertura del collo di bottiglia" (la probabilità che un token casuale induca una concentrazione massima) si avvicina a 1,0 per la maggior parte dei modelli quando la dimensione EP corrisponde al numero di esperti.
Amplificazione della Latenza:
- In impostazioni EP comuni da 8 GPU, il TTFT è aumentato del 20% al 148% (ad esempio, fino a 2,48 $\times$ per Mixtral-8x7B).
- Per modelli più sparsi come Qwen3-30B-A3B con dimensione EP = 32, il TTFT è aumentato fino al 115%.
- L'attacco degrada significativamente le garanzie SLA; ad esempio, la conformità P99 SLA è scesa dal 99% a valori compresi tra l'86,4% e il 98,6% sotto attacco.
Impatto della Dimensione EP: Gradi più elevati di Parallelismo degli Esperti aumentano sostanzialmente la suscettibilità. La superficie di attacco si espande all'aumentare della dimensione EP, creando un dilemma di distribuzione in cui i guadagni di efficienza amplificano i rischi per la sicurezza.
Limiti della Difesa: Gli autori hanno investigato la mappatura "consapevole delle vulnerabilità" Expert-GPU (posizionando esperti vulnerabili su GPU diverse). Sebbene ciò offrisse una mitigazione condizionale per modelli con un numero moderato di esperti, è collassato per modelli altamente sparsi o dimensioni EP molto elevate, confermando che la vulnerabilità persiste indipendentemente dalle strategie di mappatura in scenari black-box.
Robustezza: L'attacco è robusto rispetto alla lunghezza del prompt (da 100 a 16k token) e alle variazioni del contesto, indicando che la vulnerabilità è sistemica alla gestione degli embedding ripetitivi nell'architettura MoE.

Significato e Affermazioni

Il documento afferma di aver scoperto un compromesso fondamentale tra efficienza di parallelizzazione e robustezza del sistema nelle architetture MoE. Mentre l'industria adotta sempre più modelli MoE altamente sparsi per una scalabilità economicamente vantaggiosa, la dipendenza dall'instradamento dinamico senza bilanciamento durante l'inferenza crea una debolezza sistemica.

Gli autori posizionano RepetitionCurse principalmente come strumento diagnostico per ricercatori e fornitori di sistemi per valutare la robustezza della loro infrastruttura di servizio. Sottolineano che le attuali strategie di distribuzione (in particolare le grandi dimensioni EP) trasformano involontariamente il parallelismo del sistema contro se stesso. I risultati servono come un avvertimento tempestivo per i fornitori di servizi cloud a riesaminare il dimensionamento EP e sviluppare migliori strategie di bilanciamento del carico durante l'inferenza per prevenire violazioni degli SLA e degradazione del servizio.