💬 NLP

MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs

MoE-Prism es un marco de trabajo de diseño conjunto modelo-sistema que permite la elasticidad de cómputo a nivel de solicitud en el servicio de Mezcla de Expertos (MoE) mediante la descomposición de expertos monolíticos en subexpertos de grano fino y la implementación de un tiempo de ejecución con conocimiento de $k$ , mejorando significativamente el rendimiento y reduciendo la latencia para cargas de trabajo heterogéneas.

Autores originales: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que diriges una biblioteca masiva y superinteligente donde los libros no son escritos por humanos, sino por un cerebro digital gigante llamado Modelo de Lenguaje Extenso (LLM). Estos cerebros se vuelven cada vez más grandes e inteligentes, pero también son increíblemente hambrientos de electricidad y potencia informática. Para hacerlos más rápidos y económicos de ejecutar, los científicos inventaron un truco ingenioso llamado "Mezcla de Expertos" (Mixture-of-Experts o MoE). Piensa en un modelo MoE no como un único cerebro gigante, sino como un equipo de muchos especialistas más pequeños trabajando juntos. Cuando haces una pregunta, el sistema no despierta a todo el equipo; solo llama a unos pocos expertos específicos que son los mejores en ese tema. Esto es como pedirle a un bibliotecario que solo busque libros en la sección de "Ciencia Ficción" en lugar de arrastrar toda la biblioteca hasta tu escritorio.

Sin embargo, hay un inconveniente. Actualmente, estos sistemas son un poco rígidos. No importa si estás haciendo una pregunta sencilla como "¿Cómo está el clima?" o una compleja como "Analice este contrato legal de 50 páginas"; el sistema suele despertar exactamente el mismo número de expertos. Es como contratar a todo un equipo de construcción para colgar un solo marco de fotos, o enviar a un solo pasante para construir un rascacielos. Esto desperdicia energía en tareas fáciles y no otorga suficiente potencia a las tareas difíciles. La gran pregunta que se hacen los investigadores es: ¿Podemos hacer que estos equipos de IA sean más flexibles, permitiéndonos subir o bajar el número de expertos según la dificultad de la tarea, todo esto manteniendo el sistema rápido y eficiente?

Esto es exactamente lo que los investigadores detrás de MOE-PRISM se propusieron resolver. Se dieron cuenta de que, si bien la idea de "subir o bajar" los expertos suena genial, la tecnología actual es demasiado tosca para hacerlo de forma fluida. Descubrieron que el sistema existente trata a cada experto como un ladrillo gigante e indivisible; no puedes usar medio ladrillo. Si necesitas un poco menos de potencia, tienes que eliminar un experto entero, lo cual es un salto enorme que a menudo arruina la calidad de la respuesta. Además, cuando el sistema intenta manejar muchas solicitudes a la vez (como una biblioteca concurrida), tiende a agruparlas todas y utilizar la configuración "más grande" para todos, desperdiciando energía en las tareas fáciles solo para mantener el tamaño del lote (batch size) elevado.

Para solucionar esto, el equipo construyó un nuevo marco de trabajo llamado MOE-PRISM. Abordaron el problema desde dos ángulos: el "modelo" (el cerebro en sí) y el "sistema" (el gerente de la biblioteca).

Primero, en el lado del modelo, inventaron una forma de dividir esos gigantescos "ladrillos de expertos" en piezas más pequeñas y finas. Imagina tomar un bloque de queso grande y pesado y cortarlo en cubos más pequeños. Hicieron esto observando cómo se iluminan las neuronas internas de la IA (las diminutas unidades de procesamiento dentro de un experto) cuando trabaja. Notaron que, para cualquier tarea dada, solo un subconjunto específico de estas neuronas realmente importa. Así que cortaron los expertos en "sub-expertos" más pequeños que agrupan estas neuronas importantes. Esto permite que el sistema pueda elegir, por ejemplo, 12.5 sub-expertos en lugar de verse obligado a elegir entre 12 o 13 expertos completos. Esto les proporciona un "dial" mucho más suave para controlar cuánta potencia de cómputo se utiliza, sin necesidad de reentrenar toda la IA desde cero.

Segundo, en el lado del sistema, crearon un "gerente" más inteligente para la biblioteca. En lugar de simplemente lanzar todas las solicitudes en un gran montón y usar la configuración más alta para todos, este nuevo gerente agrupa las solicitudes que necesitan cantidades de potencia similares. Si llegan un montón de preguntas fáciles, se procesan juntas con una configuración de baja potencia. Si llegan un montón de preguntas difíciles, estas tienen su propio grupo de alta potencia. Esto evita que el sistema desperdicie energía sobre-sirviendo las tareas fáciles solo para mantener el lote lleno. También construyeron un "controlador de tráfico" especial que maneja los gráficos de computadora (gráficos CUDA) de manera eficiente, asegurando que, incluso con todos estos diferentes ajustes, el sistema no se vea estancado por problemas de memoria.

Cuando probaron MOE-PRISM en tres modelos de IA populares, los resultados fueron prometedores. Encontraron que, al usar estos expertos de grano más fino y la programación más inteligente, podían aumentar el número de "ajustes de potencia" disponibles en 4 veces. En sus pruebas, esto condujo a una mejora del 33.9% en la cantidad de solicitudes que el sistema puede manejar a la vez (throughput) para tareas fuera de línea (offline). Para tareas en línea, donde la velocidad es crítica, redujo el tiempo que tarda en obtener la primera palabra de una respuesta (Time-to-First-Token) al lidiar con cargas de trabajo mixtas.

El artículo sugiere que este enfoque no solo ahorra dinero en electricidad; hace que la IA sea más adaptable. Demuestra que puedes tener un único modelo de IA que puede ser "elástico", estirando su potencia de cómputo para tareas difíciles y encogiéndola para tareas fáciles, todo sin romper el banco ni ralentizar el proceso. Si bien las pruebas actuales se realizaron en configuraciones específicas con dos tarjetas gráficas, los resultados indican que este "refactorizado" de la estructura interna de la IA y el "repensar" cómo programamos su trabajo podría ser un paso importante hacia una IA más eficiente y flexible en el mundo real.

Resumen Técnico: MOE-PRISM

1. Planteamiento del Problema

Las arquitecturas de Mezcla de Expertos (MoE) se han vuelto centrales para los modelos de lenguaje de gran tamaño (LLMs) para escalar la capacidad sin incrementos proporcionales en el cómputo. Sin embargo, los sistemas de servicio MoE existentes suelen ejecutar todas las solicitudes bajo una configuración de enrutamiento fija (un top- $k$ estático), fallando al no explotar los requisitos de computación heterogéneos entre diferentes solicitudes. Aunque algunos enfoques logran una "elasticidad de cómputo a nivel de solicitud" mediante el cascadeo de múltiples modelos o el uso de mecanismos de salida temprana (early-exit), estos métodos introducen costos significativos de memoria/despliegue o requieren cambios arquitectónicos y de entrenamiento especializados.

El artículo identifica dos brechas primarias que impiden una elasticidad efectiva a nivel de solicitud dentro de una única instancia de MoE:

Unidades de Enrutamiento de Grano Grueso: El enrutamiento nativo de MoE trata a los expertos enteros como unidades indivisibles. Reducir el presupuesto de enrutamiento $k$ en uno elimina un experto completo, causando una caída brusca y discreta en la calidad del modelo y limitando los puntos operativos disponibles en el espacio de compromiso entre computación y calidad.
Batching Heterogéneo Ineficiente: Los sistemas de servicio como vLLM utilizan batching continuo. Cuando se mezclan solicitudes con diferentes presupuestos de enrutamiento, el sistema típicamente ejecuta el lote al $k$ máximo solicitado para asegurar la calidad, lo que conduce a un "sobre-servicio" (over-serving) y desperdicio de computación. Por el contrario, dividir los lotes para preservar los presupores fragmenta la ejecución, reduciendo el rendimiento (throughput).

2. Metodología: MOE-PRISM

MOE-PRISM es un marco de soporte de modelo y sistema diseñado para permitir la elasticidad de cómputo a nivel de solicitud dentro de una única instancia de servicio MoE. Aborda el problema a través de dos componentes co-diseñados:

A. Motor de Refactorización de Modelo (Lado del Modelo)

Este componente transforma el modelo para exponer un espectro más denso de puntos operativos de enrutamiento sin requerir un reentrenamiento de extremo a extremo.

Descomposición de Expertos: El motor perfila las activaciones de neuronas intermedias utilizando datos de calibración. Observa que la masa de activación dentro de un experto está concentrada en subconjuntos de neuronas dependientes de los tokens.
Particionamiento de Sub-expertos: Utilizando un resolvedor de optimización de partición (inicialización codiciosa seguida de recocido simulado o simulated annealing), cada experto monolítico se divide en $N$ sub-expertos más finos y disjuntos. El particionamiento busca agrupar neuronas que se co-activan a través de los tokens, asegurando que saltar un sub-experto minimice la pérdida de calidad.
Reconstrucción de la Puerta (Gating): El sistema reconstruye la interfaz de enrutamiento para los nuevos sub-expertos a través de dos vías:
1. Proxy Libre de Entrenamiento: Un mecanismo de selección jerárquica que utiliza estadísticas de co-activación para calificar los sub-expertos, permitiendo un despliegue inmediato.
2. Ajuste Fino Solo de la Puerta (Gate-Only Fine-Tuning): Una adaptación de bajo costo donde solo se ajustan los pesos del enrutador (con el resto del modelo congelado) para alinearse con el espacio expandido de sub-expertos, maximizando la fidelidad.

B. Entorno de Ejecución Consciente de $k$ (Lado del Sistema)

Este componente gestiona la ejecución de presupuestos de enrutamiento heterogéneos de manera eficiente.

Programador de Servicio Consciente de $k$ (k-Aware Serving Scheduler):
- Offline (Orientado al Rendimiento/Throughput): Utiliza separación temporal mediante batching por niveles de calidad. Las solicitudes se ordenan por su presupuesto de enrutamiento ( $k$ ) y se agrupan en niveles. El programador decide si despacha un lote residual inmediatamente o si lo une con el siguiente nivel basándose en una heurística de rendimiento local, minimizando el sobre-servicio mientras mantiene la plenitud del lote.
- Online (Sensible a la Latencia): Utiliza separación espacial mediante enrutamiento basado en carriles (lanes). Los rangos de paralelismo de datos (DP) se particionan en carriles de "bajo- $k$ " y "alto- $k$ " con un límite suave y adaptativo. Esto evita mezclar presupuestos muy distintos en el mismo flujo de ejecución, evitando al mismo tiempo una partición rígida que podría causar acumulación de colas.
Ejecutor de Gráfico Segmentado: Para manejar el aumento de estados de enrutamiento sin que explote el uso de memoria de CUDA Graph, el ejecutor divide el bloque Transformer en la frontera Atención-MoE.
- Segmentos de Atención: Compartidos entre diferentes valores de $k$ (insensibles al enrutamiento).
- Segmentos de MoE: Especializados por el presupuesto de enrutamiento $k$ (sensibles al enrutamiento).
- Este diseño permite que el sistema retenga la eficiencia de CUDA Graph mientras soporta la ejecución dinámica de $k$ .

3. Contribuciones Clave

Método de Refactorización de Modelo: Una técnica para descomponer expertos monolíticos en sub-expertos y reconstruir la red de enrutamiento, permitiendo que un solo modelo exponga puntos operativos de enrutamiento más densos. Soporta despliegue libre de entrenamiento y ajuste fino opcional solo de la puerta.
Entorno de Ejecución Consciente de $k$ : Una extensión de vLLM que combina el programador consciente del presupuesto (separación temporal y espacial) con una ejecución eficiente de $k$ -dinámico mediante un ejecutor de gráfico segmentado.
Integración de Sistema y Evaluación: Integración completa en vLLM y evaluación en tres modelos representativos de MoE (OLMoE, DeepSeek-V2-Lite, Qwen3), demostrando una elasticidad práctica.

4. Resultados Experimentales

Los autores evaluaron MOE-PRISM en tres modelos utilizando el framework vLLM en GPUs A100, RTX A6000 y H800.

Rendimiento (Offline): MOE-PRISM mejoró el rendimiento de inferencia offline hasta en un 33.9% en comparación con las líneas base. Las ganancias provienen tanto de la capacidad de ejecutar un $k$ menor (vía refactorización) como de la capacidad del programador para agrupar solicitudes similares para evitar el sobre-servicio.
Latencia (Online): Bajo cargas de trabajo heterogéneas, MOE-PRISM redujo el Tiempo al Primer Token (TTFT), particularmente en cargas altas donde las líneas base sufren de retrasos de cola y latencia de cola (tail latency).
Precisión: La refactorización del modelo preservó en gran medida la precisión de los modelos originales. En algunos casos (por ejemplo, OLMoE y Qwen3 con presupuestos más bajos), los modelos refactorizados lograron una perplejidad o precisión en tareas de seguimiento modestamente mejor, lo que sugiere que la nueva estructura soporta una selección de expertos efectiva bajo computación restringida.
Estudios de Ablación:
- Refactorización: Confirmó que la descomposición de grano fino reduce significamente el exceso de presupuesto de enrutamiento en comparación con el redondeo de grano grueso.
- Gráfico Segmentado: Mostró que el ejecutor reduce el uso de memoria de gráfico en un ~84% (comparado con un enfoque estándar consciente de $k$ ) con una penalización de rendimiento insignificante (<0.2%).
- Programación (Scheduling): Demostró que la ejecución de $k$ -dinámico por sí sola es insuficiente; se requiere una programación explícita para prevenir la interferencia de cruce de $k$ y alcanzar las ganancias de rendimiento de extremo a extremo.

5. Significado y Reivindicaciones

El artículo afirma que MOE-PRISM demuestra la viabilidad práctica de la elasticidad de cómputo a nivel de solicitud en el servicio de MoE. Al tratar el top- $k$ de enrutamiento como un control de tiempo de ejecución en lugar de un ajuste arquitectónico fijo, el sistema puede:

Servir solicitudes con variaciones en requisitos de calidad/computación dentro de una única instancia de modelo desplegada.
Traducir presupuestos de enrutamiento heterogéneos en mejoras tangibles de latencia y rendimiento de extremo a extremo.
Evitar los costos de memoria y despliegue asociados con el cascadeo de múltiples modelos.

Los autores señalan una limitación: la evaluación está restringida actualmente a bancos de prueba de dos GPUs, lo que representa el entorno mínimo no trivial para validar el mecanismo central. No reclaman una escalabilidad inmediata a clústeres masivos sin ingeniería adicional, pero los resultados establecen los principios fundacionales de co-diseño modelo-sistema para el servicio elástico de MoE.