Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

Resumen Técnico: ¿Qué fallos de expertos valen la pena esperar?

Planteamiento del problema
Los modelos de lenguaje de Mezcla de Expertos (MoE), como Qwen3-Next-80B-A3B, ofrecen una alta capacidad pero requieren almacenar todos los expertos en la memoria, excediendo la VRAM de las GPU de consumo (p. ej., 24 GB). El volcado de expertos a la memoria de la CPU o a los SSD permite que estos modelos se ejecuten en hardware de consumo, pero introduce latencia cuando se necesitan expertos con "fallo de caché" (aquellos que no están actualmente en la memoria de la GPU). Las soluciones tradicionales incluyen buscar cada fallo (alta latencia), computar en la CPU (aritmética lenta) o realizar pre-lectura/prefetching (riesgo de mala predicción). Los enfoques alternativos cambian la computación mediante la sustitución de un experto fallido por uno residente. Sin embargo, no está claro qué sustituciones causan una pérdida de calidad significativa en modelos con cientos de expertos por capa, si un único métrica puede guiar las políticas de caché, y cuándo una caché debe admitir un experto que es sustituido repetidamente.

Metodología
El estudio se centra en Qwen3-Next-80B-A3B (512 expertos por capa, seleccionando 10) con aproximadamente el 25% de los expertos residentes en la memoria de la GPU. La investigación emplea tres herramientas distintas para evaluar las políticas de sustitución:

1. Emulación: Una implementación en PyTorch que computa los resultados del modelo exactamente para todas las políticas sobre las mismas secuencias de tokens, idealizando la latencia de búsqueda para aislar el impacto de la sustitución en la calidad (medida por la perplejidad de forzado por el profesor/teacher-forced perplexity).
2. Simulador de Logit del Router: Una herramienta en C++ que reproduce los logits del router para comparar políticas rápidamente sin computar el modelo completo, estimando el tiempo por token y los estados de la caché.
3. Motor (Engine): Una implementación modificada de llama.cpp que realiza la búsqueda real de expertos, la sustitución y el almacenamiento en caché en GPUs de consumo (RTX 3090).

El estudio define la masa de la puerta sustituida ($m$) como la suma de los pesos normalizados de la puerta de los expertos sustituidos. Prueba varias políticas:

• Buscar cada fallo: La línea de base de referencia.
• Regla 0.15: Busca sincrónicamente los expertos fallidos si son la primera opción del router o si tienen un peso de puerta $\ge 0.15$; el resto se sustituye.
• Regla de Primera Opción: Busca solo el primer fallo de elección; sustituye todos los demás.
• Admisión en Segundo Plano (Background Admission): Una regla que acumula la masa de la puerta de los expertos sustituidos a lo largo del tiempo y los admite en la caché una vez que se alcanza un umbral (p. ej., 0.5).

Contribuciones Clave y Hallazgos

1. Fuente de Pérdida de Calidad: En la emulación, la mayor parte de la pérdida de calidad proviene de la sustitución de unos pocos expertos con gran peso (primeras opciones o aquellos con altos pesos de puerta), más que del número total de sustituciones. Para Qwen3-Next, la regla 0.15 sustituyó el 7.5% de las llamadas (frente al 8.5% al buscar cada fallo) pero redujo el aumento de la perplejidad del 5.67% al 0.35%. Esto sugiere que proteger los expertos de alto peso es crítico, incluso si se sustituyen muchos expertos de bajo peso.
2. La Masa como Métrica Comparativa: El estudio propone la "Hipótesis de la Masa": entre las políticas que siempre buscan la primera opción, una mayor masa de puerta sustituida se correlaciona con mayores aumentos de perplejidad en los mismos inputs. En el motor, esta correlación fue fuerte (Pearson $r \approx 0.92$) a través de diferentes políticas en los mismos datos. Sin embargo, la masa no predijo qué inputs específicos perderían calidad, ni se mantuvo al comparar políticas que sustituyeran las primeras opciones.
3. Composición de las Sustituciones: Un experimento (Experimento B) que variaba la composición de las sustituciones con una masa igual de sustituciones encontró que unas pocas sustituciones pesadas causaban más pérdida que muchas ligeras, aunque la regla de decisión estadística planificada no arrojó un juicio definitivo debido a la baja masa realizada en la condición primaria.
4. Política de Admisión en Segundo Plano: Una regla que admite un experto en la caché una vez que su masa sustituida acumulada alcanza un umbral de 0.5 redujo la perplejidad entre un 0.3 y un 1.5%, ocurriendo las ganancias más significativas inmediatamente después de los cambios de tema.
5. Rendimiento de las Políticas Seleccionadas: Se seleccionaron dos políticas basadas en estos resultados:
   • Prioridad de Calidad (Quality-First): Regla 0.15 + expulsión basada en frecuencia + admisión en segundo plano ($\beta=0.5$).
   • Prioridad de Velocidad (Speed-First): Regla de Primera Opción + expulsión basada en frecuencia + admisión en segundo plano ($\beta=0.5$).
     En dos hosts, estas políticas fueron 2.5–3.0× más rápidas por token que buscar cada fallo, con un aumento de perplejidad de solo 0.7–1.5%. Comparada con la regla 0.15 sola, la política de Prioridad de Calidad redujo la perplejidad aún más (en ~0.5–0.8%) con un ligero coste de tiempo, mientras que la de Prioridad de Velocidad redujo el tiempo en un ~5% sin un aumento estadísticamente significativo en la perplejidad.
6. Comparación con el llama.cpp Estándar: En una máquina con ~16 GB de RAM disponible, el motor usando la regla 0.15 decodificó 2.8–3.0× más rápido que el llama.cpp estándar configurado para usar la misma VRAM, con un aumento de perplejidad de solo 1.6%.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera medición directa de qué sustituciones de expertos causan pérdida de calidad en MoEs con cientos de expertos por capa. Establece que:

• Estrategia de Sustitución: Proteger los expertos de alto peso (mediante la regla 0.15) es más efectivo que simplemente reducir el número total de sustituciones.
• Utilidad de la Métrica: La masa de la puerta sustituida es una métrica útil para comparar políticas en los mismos inputs, pero no es un predictor de pérdida entre diferentes inputs.
• Eficiencia Práctica: Es posible ejecutar grandes MoEs en GPUs de consumo con una degradación de calidad mínima (aumento de perplejidad de 0.7–1.5%) logrando aceleraciones de 2.5–3.0× sobre las estrategias de volcado estándar.

Limitaciones y Modestia
El autor establece explícitamente que sus conclusiones son modestas y condicionales:

• Alcance: Los resultados se basan principalmente en Qwen3-Next-80B-A3B y en la perplejidad de forzado por el profesor. La prueba de generación (GSM8K y HumanEval) apoyó las predicciones solo parcialmente; por ejemplo, la correlación entre la masa y el acuerdo en HumanEval falló.
• Causalidad: El estudio no separa los efectos del rango del experto del peso, ni afirma que el peso de la puerta en sí mismo cause la pérdida.
• Comparaciones: Las políticas no se compararon contra pre-lectura (prefetching) o métodos de menor precisión.
• Generalizabilidad: Las relaciones de velocidad y los valores específicos de perplejidad se informan para los hosts de hardware específicos medidos y pueden no sostenerse en otras máquinas.
• Estado Experimental: Aparte de la prueba de generación y el Experimento B, los análisis son exploratorios. El artículo reporta predicciones fallidas (p. ej., respecto a las correlaciones de masa a nivel de problema) y conclusiones que cambiaron a medida que aumentaban los tamaños de muestra (p. ej., la correlación entre masa y pérdida).

En resumen, el trabajo demuestra que las políticas de sustitución inteligente y de admisión en segundo plano pueden mitigar significativamente la latencia del volcado de grandes MoEs en hardware de consumo, siempre que se priorice la obtención de los expertos de alto peso.