Resumo Técnico: RepetitionCurse

Declaração do Problema

O artigo identifica uma vulnerabilidade crítica de nível de sistema em Modelos de Linguagem de Grande Escala (LLMs) com Arquitetura de Mistura de Especialistas (MoE) implantados com Paralelismo de Especialistas (EP). Embora as arquiteturas MoE sejam projetadas para escalar de forma eficiente, roteando dinamicamente tokens para um subconjunto de especialistas, a ausência de restrições explícitas de balanceamento de carga durante a inferência cria uma suscetibilidade a ataques de Negação de Serviço (DoS).

Especificamente, os autores demonstram que entradas fora da distribuição (OOD) podem manipular o mecanismo de roteamento para concentrar o roteamento de tokens em um pequeno subconjunto compartilhado dos $k$ principais especialistas. Em uma implantação EP onde especialistas distintos são hospedados em GPUs separadas, essa concentração causa um desequilíbrio severo de carga: algumas GPUs tornam-se gargalos computacionais (atrasados), enquanto outras permanecem ociosas, aguardando sincronização (all-reduce). Isso converte um mecanismo de eficiência em um vetor de ataque que infla o Tempo até o Primeiro Token (TTFT), violando Acordos de Nível de Serviço (SLAs) e degradando a qualidade do serviço para todos os usuários em um lote.

Metodologia: RepetitionCurse

Os autores propõem o RepetitionCurse, uma estratégia de ataque de caixa-preta que explora a discrepância entre o balanceamento durante o treinamento e o roteamento durante a inferência.

• Mecanismo Central: O ataque constrói prompts usando padrões de tokens simples e repetitivos (por exemplo, "AIAI...").
• Base Teórica: O balanceamento de carga do roteador baseia-se na suposição de que os estados ocultos são semanticamente diversos. Ao repetir tokens, o atacante minimiza a variância nas representações ocultas por camada, colapsando-as em um cluster quase degenerado. Isso força o roteador a selecionar deterministicamente os mesmos $k$ principais especialistas para toda a sequência.
• Natureza de Caixa-Preta: O método não requer acesso aos parâmetros do modelo, gradientes ou ao mapeamento específico Especialista-GPU. Opera puramente sobre prompts de entrada.
• Intensidade do Ataque: O ataque é parametrizado por $\alpha$, a fração de amostras de ataque dentro de um lote. O estudo avalia cenários que variam de lotes mistos de usuários ($0 < \alpha < 1$) a lotes exclusivos de ataque ($\alpha = 1$).

Contribuições Principais

1. Identificação de Vulnerabilidade: O artigo é o primeiro a demonstrar que o desequilíbrio de roteamento em modelos MoE pode ser weaponizado para lançar ataques DoS, deslocando o foco do esgotamento de recursos via saídas longas para a subutilização de recursos via concentração de roteamento.
2. Proposta de Ataque: Introdução do RepetitionCurse, um método agnóstico ao modelo e livre de gradientes que amplifica a latência de pré-preenchimento e degrada o TTFT usando tokens repetitivos.
3. Medição Abrangente: Um estudo empírico em larga escala em 139 configurações MoE e 13 modelos populares (incluindo variantes de Mixtral, Qwen3, DeepSeek e Llama) para quantificar a severidade da amplificação de latência e identificar fatores de nível de sistema.

Resultados Experimentais

Os autores avaliaram o ataque em clusters de 8 GPUs (e escalaram para 16/32 GPUs para modelos específicos) usando modelos como Mixtral-8x7B e Qwen3-30B-A3B.

• Universalidade: A vulnerabilidade é intrínseca e universal. Quase qualquer token no vocabulário pode servir como gatilho para concentração de roteamento. A "cobertura de gargalo" (a probabilidade de um token aleatório induzir concentração máxima) aproxima-se de 1,0 para a maioria dos modelos quando o tamanho EP corresponde ao número de especialistas.
• Amplificação de Latência:
  • Sob configurações comuns de EP de 8 GPUs, o TTFT aumentou entre 20% e 148% (por exemplo, até 2,48$\times$ para Mixtral-8x7B).
  • Para modelos mais esparsos como Qwen3-30B-A3B com tamanho EP = 32, o TTFT aumentou em até 115%.
  • O ataque degrada significativamente as garantias de SLA; por exemplo, a conformidade do SLA P99 caiu de 99% para entre 86,4% e 98,6% sob ataque.
• Impacto do Tamanho EP: Graus mais altos de Paralelismo de Especialistas aumentam substancialmente a suscetibilidade. A superfície de ataque expande-se à medida que o tamanho EP cresce, criando um dilema de implantação onde os ganhos de eficiência amplificam os riscos de segurança.
• Limitações de Defesa: Os autores investigaram o mapeamento "consciente de vulnerabilidade" de Especialista-GPU (colocando especialistas vulneráveis em GPUs diferentes). Embora isso oferecesse mitigação condicional para modelos com contagens moderadas de especialistas, colapsou para modelos altamente esparsos ou tamanhos EP muito altos, confirmando que a vulnerabilidade persiste independentemente das estratégias de mapeamento em cenários de caixa-preta.
• Robustez: O ataque é robusto ao comprimento do prompt (100 a 16k tokens) e variações de contexto, indicando que a vulnerabilidade é sistêmica ao tratamento de embeddings repetitivos pela arquitetura MoE.

Significado e Alegações

O artigo afirma revelar uma troca fundamental entre eficiência de paralelização e robustez do sistema em arquiteturas MoE. À medida que a indústria adota cada vez mais modelos MoE altamente esparsos para escalonamento econômico, a dependência de roteamento dinâmico sem balanceamento de carga durante a inferência cria uma fraqueza sistêmica.

Os autores posicionam o RepetitionCurse principalmente como uma ferramenta de diagnóstico para pesquisadores e provedores de sistemas avaliarem a robustez de sua infraestrutura de serviço. Eles enfatizam que as estratégias atuais de implantação (especificamente grandes tamanhos EP) transformam inadvertidamente o paralelismo do sistema contra si mesmo. As descobertas servem como um aviso oportuno para provedores de serviços em nuvem reconsiderarem o dimensionamento EP e desenvolverem melhores estratégias de balanceamento de carga durante a inferência para prevenir violações de SLA e degradação do serviço.