🤖 machine learning

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

Este artículo presenta RepetitionCurse, un ataque de caja negra de bajo costo que explota la falta de restricciones de equilibrio de carga en los modelos de lenguaje de gran escala con mezclas de expertos mediante el uso de patrones simples de tokens repetitivos para forzar una concentración severa del enrutamiento, creando así cuellos de botella computacionales y degradando significativamente la latencia de inferencia y la disponibilidad del servicio.

Autores originales: Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Publicado 2026-05-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una biblioteca masiva y de alta tecnología donde miles de libros (los "expertos") están almacenados en diferentes estanterías (las "GPUs"). Cuando un bibliotecario (el "enrutador") recibe una solicitud, no toma solo un libro; selecciona los mejores libros para responder a la pregunta. Para agilizar las cosas, la biblioteca divide el trabajo: algunas estanterías manejan los primeros libros, otras la siguiente tanda, y todas trabajan al mismo tiempo. Así funcionan los modelos de IA modernos llamados Mezcla de Expertos (MoE). Están diseñados para ser súper eficientes al distribuir el trabajo de manera uniforme.

Sin embargo, un nuevo artículo titulado "RepetitionCurse" revela un fallo astuto en cómo opera esta biblioteca.

El Problema: El Truco de "Copiar y Pegar"

Los investigadores descubrieron que si le haces una pregunta al bibliotecario usando un patrón muy extraño y repetitivo (como escribir "IA IA IA IA..." una y otra vez), el bibliotecario se confunde.

Normalmente, el bibliotecario examina el significado de tus palabras para decidir qué libros elegir. Pero cuando usas un patrón repetitivo, el bibliotecario deja de buscar significado y empieza a actuar como un disco rayado. En lugar de distribuir el trabajo entre todas las estanterías, el bibliotecario decide repentinamente que solo una estantería específica tiene los libros adecuados para este patrón repetitivo.

El Resultado: Un Embotellamiento

Esto es lo que sucede a continuación:

El Cuello de Botella: Todo el trabajo se descarga en esa única estantería. Los bibliotecarios de esa estantería corren frenéticamente, intentando encontrar todos los libros.
Los Trabajadores Ociosos: Mientras tanto, los bibliotecarios de todas las demás estanterías están de pie sin hacer nada, esperando a que la estantería ocupada termine.
El Retraso: Como todo el sistema debe esperar a que esa única estantería lenta se ponga al día antes de poder pasar al siguiente paso, toda la biblioteca se detiene por completo.

En el mundo de la IA, este retraso se llama Tiempo hasta el Primer Token (TTFT). Es el tiempo que tarda la IA en decir su primera palabra. En condiciones normales, esto es rápido. Bajo este ataque de "RepetitionCurse", la IA podría tardar de 2 a 3 veces más en empezar a hablar.

Por Qué Esto Importa

El artículo califica esto como un ataque de Denegación de Servicio (DoS). Es como si alguien entrara en un restaurante de comida rápida y pidiera 1,000 hamburguesas idénticas y complicadas a la vez. La cocina se atasca intentando preparar esas hamburguesas específicas, y de repente, la persona que solo quería un café simple tiene que esperar una hora.

El Ataque es Simple: No necesitas ser un genio hacker. Solo necesitas escribir palabras repetitivas. El artículo lo llama un ataque de "caja negra", lo que significa que no necesitas saber cómo funciona el cerebro de la IA por dentro; solo necesitas saber que repetir palabras rompe el equilibrio.
Funciona en Todas Partes: Los investigadores probaron esto en 139 modelos de IA diferentes (incluyendo populares como Mixtral y Qwen). Descubrieron que casi todos son vulnerables.
Cuanto Más Escalas, Peor Se Pone: Irónicamente, cuanto más potente es el sistema de IA (usando más computadoras para trabajar en paralelo), más fácil es romperlo. Los investigadores descubrieron que usar más computadoras para dividir el trabajo en realidad empeora el embotellamiento cuando se usa este ataque.

La Conclusión

El artículo concluye que, aunque dividir el trabajo entre muchas computadoras hace que la IA sea más rápida, también crea un punto débil. Si alguien usa un truco simple y repetitivo, puede obligar al sistema a ignorar sus propias reglas de eficiencia, provocando que se ralentice drásticamente y potencialmente rompa sus promesas a los usuarios (como "responderemos dentro de 2 segundos").

Los autores sugieren que, hasta que las empresas de IA encuentren una mejor manera de equilibrar el trabajo automáticamente, podrían necesitar tener cuidado con cuántas computadoras usan a la vez, o arriesgarse a que sus sistemas sean tomados rehenes por un simple bucle de "IA IA IA".

Resumen Técnico: RepetitionCurse

Enunciado del Problema

El artículo identifica una vulnerabilidad crítica a nivel de sistema en los Modelos de Lenguaje Grandes (LLM) de Mezcla de Expertos (MoE) desplegados con Paralelismo de Expertos (EP). Si bien las arquitecturas MoE están diseñadas para escalar de manera eficiente mediante el enrutamiento dinámico de tokens a un subconjunto de expertos, la ausencia de restricciones explícitas de equilibrio de carga durante la inferencia crea una susceptibilidad a ataques de Denegación de Servicio (DoS).

Específicamente, los autores demuestran que las entradas fuera de distribución (OOD) pueden manipular el mecanismo de enrutamiento para concentrar el enrutamiento de tokens en un pequeño subconjunto compartido de los $k$ mejores expertos. En un despliegue EP donde expertos distintos se alojan en GPUs separadas, esta concentración causa un desequilibrio de carga severo: unas pocas GPUs se convierten en cuellos de botella computacionales (retrasados) mientras otras permanecen inactivas, esperando la sincronización (all-reduce). Esto convierte un mecanismo de eficiencia en un vector de ataque que infla el Tiempo hasta el Primer Token (TTFT), violando los Acuerdos de Nivel de Servicio (SLA) y degradando la calidad del servicio para todos los usuarios en un lote.

Metodología: RepetitionCurse

Los autores proponen RepetitionCurse, una estrategia de ataque de caja negra que explota la discrepancia entre el equilibrio de carga durante el entrenamiento y el enrutamiento durante la inferencia.

Mecanismo Central: El ataque construye prompts utilizando patrones de tokens simples y repetitivos (por ejemplo, "AIAI...").
Base Teórica: El equilibrio de carga del enrutador se basa en la suposición de que los estados ocultos son semánticamente diversos. Al repetir tokens, el atacante minimiza la varianza en las representaciones ocultas por capa, colapsándolas en un clúster casi degenerado. Esto obliga al enrutador a seleccionar determinísticamente los mismos $k$ mejores expertos para toda la secuencia.
Naturaleza de Caja Negra: El método no requiere acceso a los parámetros del modelo, gradientes o al mapeo específico Experto-GPU. Opera puramente sobre los prompts de entrada.
Intensidad del Ataque: El ataque se parametriza mediante $\alpha$ , la fracción de muestras de ataque dentro de un lote. El estudio evalúa escenarios que van desde lotes de usuarios mixtos ( $0 < \alpha < 1$ ) hasta lotes exclusivos de ataque ( $\alpha = 1$ ).

Contribuciones Clave

Identificación de Vulnerabilidad: El artículo es el primero en demostrar que el desequilibrio de enrutamiento en modelos MoE puede ser weaponizado para lanzar ataques DoS, desplazando el enfoque del agotamiento de recursos mediante salidas largas hacia la subutilización de recursos mediante concentración de enrutamiento.
Propuesta de Ataque: Introducción de RepetitionCurse, un método agnóstico al modelo y libre de gradientes que amplifica la latencia de prellenado y degrada el TTFT utilizando tokens repetitivos.
Medición Exhaustiva: Un estudio empírico a gran escala en 139 configuraciones MoE y 13 modelos populares (incluyendo variantes de Mixtral, Qwen3, DeepSeek y Llama) para cuantificar la severidad de la amplificación de latencia e identificar factores a nivel de sistema.

Resultados Experimentales

Los autores evaluaron el ataque en clústeres de 8 GPUs (y escalados a 16/32 GPUs para modelos específicos) utilizando modelos como Mixtral-8x7B y Qwen3-30B-A3B.

Universalidad: La vulnerabilidad es intrínseca y universal. Casi cualquier token en el vocabulario puede servir como desencadenante para la concentración de enrutamiento. La "cobertura de cuello de botella" (la probabilidad de que un token aleatorio induzca una concentración máxima) se aproxima a 1.0 para la mayoría de los modelos cuando el tamaño EP coincide con el número de expertos.
Amplificación de Latencia:
- Bajo configuraciones EP comunes de 8 GPUs, el TTFT aumentó entre un 20% y un 148% (por ejemplo, hasta 2.48 $\times$ para Mixtral-8x7B).
- Para modelos más dispersos como Qwen3-30B-A3B con tamaño EP = 32, el TTFT aumentó hasta un 115%.
- El ataque degrada significativamente las garantías de SLA; por ejemplo, el cumplimiento del SLA P99 cayó del 99% a entre 86.4% y 98.6% bajo ataque.
Impacto del Tamaño EP: Grados más altos de Paralelismo de Expertos aumentan sustancialmente la susceptibilidad. La superficie de ataque se expande a medida que crece el tamaño EP, creando un dilema de despliegue donde las ganancias de eficiencia amplifican los riesgos de seguridad.
Limitaciones de Defensa: Los autores investigaron el mapeo Experto-GPU "consciente de la vulnerabilidad" (colocar expertos vulnerables en GPUs diferentes). Si bien esto ofreció una mitigación condicional para modelos con conteos moderados de expertos, colapsó para modelos altamente dispersos o tamaños EP muy altos, confirmando que la vulnerabilidad persiste independientemente de las estrategias de mapeo en escenarios de caja negra.
Robustez: El ataque es robusto frente a la longitud del prompt (de 100 a 16k tokens) y variaciones de contexto, lo que indica que la vulnerabilidad es sistémica al manejo de los MoE de las incrustaciones repetitivas.

Significado y Afirmaciones

El artículo afirma descubrir una compensación fundamental entre la eficiencia de paralelización y la robustez del sistema en las arquitecturas MoE. A medida que la industria adopta cada vez más modelos MoE altamente dispersos para un escalado rentable, la dependencia del enrutamiento dinámico sin equilibrio de carga durante la inferencia crea una debilidad sistémica.

Los autores posicionan a RepetitionCurse principalmente como una herramienta de diagnóstico para investigadores y proveedores de sistemas para evaluar la robustez de su infraestructura de servicio. Enfatizan que las estrategias de despliegue actuales (específicamente tamaños EP grandes) convierten inadvertidamente el paralelismo del sistema en su contra. Los hallazgos sirven como una advertencia oportuna para los proveedores de servicios en la nube para reconsiderar el dimensionamiento EP y desarrollar mejores estrategias de equilibrio de carga durante la inferencia para prevenir violaciones de SLA y degradación del servicio.