Resumen Técnico: GEM – Asignación de Expertos a GPU Consciente de la Variabilidad para Modelos de Mezcla de Expertos

1. Declaración del Problema

Los modelos de Mezcla de Expertos (MoE) mejoran la eficiencia de inferencia activando solo un subconjunto de sub-redes "experto" por token. Sin embargo, su rendimiento en entornos de servicio del mundo real se ve severamente limitado por las GPUs rezagadas. En la ejecución paso a paso, un lote debe esperar a que la GPU más lenta termine de procesar una capa antes de proceder.

El artículo identifica dos causas principales de los rezagados que las soluciones existentes no abordan simultáneamente:

1. Desequilibrio de Expertos: Ciertos expertos se utilizan de manera desproporcionadamente más frecuente que otros. Si estos expertos "muy utilizados" están co-ubicados en una sola GPU, esa GPU se convierte en un cuello de botella.
2. Variabilidad de Hardware: Las GPUs modernas exhiben una variabilidad inherente de rendimiento debido a variaciones en el proceso, factores ambientales y gestión de energía. Incluso con cargas de tokens perfectamente equilibradas, una GPU físicamente más lenta actuará como un rezagado.

Trabajos anteriores intentan resolver esto introduciendo ya sea una uniformidad artificial en la utilización de expertos (degradando la precisión del modelo) o redistribuyendo dinámicamente los expertos (incurren en sobrecargas de memoria). Crucialmente, estos enfoques son agnósticos a la variabilidad de hardware, a menudo colocando expertos muy utilizados en las GPUs más lentas disponibles, perpetuando así el problema de los rezagados.

2. Metodología: Marco GEM

Los autores proponen GEM (Asignación de Expertos Consciente de la Variabilidad de GPU), un marco diseñado para mapear expertos a GPUs considerando explícitamente tanto las cargas de tokens específicas de la tarea como las características de rendimiento del hardware. GEM opera mediante una tubería de cuatro pasos:

Paso 1: Rastreo de Utilización de Expertos

GEM captura los patrones de enrutamiento de tokens de una tarea específica durante la inferencia en línea. Cuenta el número de tokens enrutados a cada experto para construir un rastro de utilización.

• Insight: El artículo distingue entre expertos consistentes (utilizados frecuentemente en la mayoría de los pasos de tiempo) y expertos temporales (utilizados infrecuentemente pero intensamente en ráfagas específicas y correlacionadas).
• Optimización: Los experimentos muestran que una longitud de rastro de 16 pasos de tiempo es suficiente para capturar tanto patrones consistentes como temporales sin retrasar el despliegue.

Paso 2: Perfilado de Variabilidad de Rendimiento

GEM perfila la latencia de las capas MoE en diferentes GPUs en función de la carga de tokens.

• Desafío: El perfilado de granularidad fina (cada conteo de tokens) es demasiado lento (horas), mientras que el muestreo grueso pasa por alto la naturaleza de "escalera" de la latencia MoE (donde la latencia salta en tamaños de lote específicos).
• Solución: GEM muestrea conteos de tokens solo en límites de baldosas (múltiplos de 32 o 64 tokens, donde ocurren los saltos de latencia). Esto reduce el tiempo de perfilado de horas a minutos (por ejemplo, 3 minutos para Llama-4-Scout) manteniendo la precisión.

Paso 3: Asignación de Expertos Consciente de la Variabilidad

GEM utiliza una búsqueda heurística iterativa para encontrar la asignación óptima de experto a GPU.

• Función de Puntuación: En lugar de equilibrar los conteos de tokens, GEM minimiza la suma de latencias de rezagados a través de todos los pasos de tiempo. La puntuación $S(M)$ se calcula como:
  $$S(M) = \sum_{t \in T} \max_{g} (C_g(n_g(M, t)))$$
  Donde $C_g$ es el costo de latencia para la GPU $g$ dado el conteo de tokens $n_g$, derivado de los perfiles de variabilidad.
• Insights Clave Aplicados:
  1. Equilibrio de Carga No Uniforme: Las GPUs más rápidas se asignan proporcionalmente más tokens que las GPUs más lentas para que todas las GPUs terminen de procesar una capa aproximadamente al mismo tiempo.
  2. Manejo de Correlación: GEM detecta expertos temporales correlacionados (expertos utilizados simultáneamente en ráfagas) y asegura que se coloquen en diferentes GPUs. Además, evita colocar estos expertos de alta carga en las GPUs más lentas.
• Algoritmo de Búsqueda: El sistema comienza con múltiples asignaciones iniciales (añadiendo ruido a las métricas de utilización para asegurar diversidad) e intercipa iterativamente pares de expertos para reducir la puntuación total de latencia de rezagados hasta la convergencia.

Paso 4: Despliegue

Una vez determinada la asignación óptima, GEM carga los pesos de los expertos en sus GPUs asignadas en el momento de carga del modelo. El enrutador MoE continúa despachando tokens como de costumbre, pero la ubicación física de los expertos ahora está optimizada para el clúster de hardware específico.

3. Contribuciones Clave

1. Identificación de Doble Cuello de Botella: El artículo destaca que los rezagados surgen de la combinación de una utilización de expertos no uniforme y la variabilidad inherente del hardware de GPU, un problema pasado por alto por los métodos de equilibrio estáticos o dinámicos anteriores.
2. Marco GEM: El primer marco para realizar asignación de expertos consciente de la variabilidad de hardware para modelos MoE.
3. Estrategia de Asignación Novel:
   • Equilibrio Basado en Latencia: Alejarse de la distribución igual de tokens hacia una distribución proporcional de tokens basada en la velocidad de la GPU.
   • Detección de Expertos Temporales: Identificar y separar expertos temporales correlacionados para evitar picos de carga simultáneos en GPUs individuales.
4. Perfilado Eficiente: Una estrategia de muestreo en límites de baldosas que captura perfiles de variabilidad de hardware en minutos en lugar de horas.

4. Resultados Experimentales

Los autores evaluaron GEM en cinco modelos MoE de última generación (Mixtral-8x7B, Mixtral-8x22B, Llama-4-Scout, Hunyuan-A13B, Qwen3-30B-A3B) utilizando los conjuntos de datos ShareGPT y CodeContests. Emularon tres niveles de variabilidad de GPU (Bajo, Moderado, Alto) en un nodo de 4 GPUs.

• Latencia de Extremo a Extremo: GEM mejoró la latencia en un promedio de 7.9% y hasta un 16.5% en comparación con la línea base (mapeo lineal predeterminado de vLLM).
  • Los configuraciones de alta variabilidad vieron las ganancias más significativas (hasta 16.5%).
  • Incluso en configuraciones de baja variabilidad, GEM proporcionó mejoras (hasta 4.5%) optimizando para expertos temporales correlacionados.
• Latencia de Cola (p90 TPOT): GEM redujo el tiempo por token de salida en el percentil 90 en un promedio de 9.1% (hasta 16.9%), mejorando significativamente la capacidad de respuesta percibida.
• Sobrecarga de Perfilado: El proceso de perfilado de variabilidad y asignación toma menos de 4 minutos en total, lo cual es negligible en comparación con las horas o días de inferencia servidos en producción.

5. Significado y Afirmaciones

El artículo afirma que GEM es el primer marco de asignación de expertos consciente de la variabilidad de hardware para inferencia MoE. Su importancia radica en transformar la variabilidad de hardware de una responsabilidad en una restricción de asignación que puede ser explotada para mejorar el rendimiento.

Los autores enfatizan que:

• Simplemente equilibrar los conteos de tokens es insuficiente porque ignora la heterogeneidad del hardware.
• Ignorar los expertos temporales (que a menudo están correlacionados) conduce a asignaciones subóptimas incluso si las cargas promedio están equilibradas.
• A medida que aumentan las escalas del sistema (por ejemplo, de 4 a 64 GPUs), la brecha entre las GPUs más rápidas y las más lentas se amplía monótonamente, haciendo que la asignación consciente de la variabilidad sea cada vez más crítica para implementaciones a gran escala.

El trabajo demuestra que al alinear la colocación de expertos tanto con la naturaleza estadística del enrutamiento de tokens como con la realidad física del rendimiento de la GPU, se pueden lograr reducciones significativas de latencia sin reentrenar modelos ni incurrir en sobrecargas de memoria sustanciales.