🤖 machine learning

MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation

MAPLE es un marco de trabajo plug-and-play que optimiza la eficiencia de los modelos preentrenados de Mezcla de Expertos (MoE) mediante la reasignación analítica y genética de presupuestos de expertos de manera heterogénea a través de las capas basándose en la sensibilidad, logrando una precisión superior y reducciones significativas de latencia sin requerir modificaciones de pesos ni reentrenamiento.

Autores originales: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

Publicado 2026-08-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La inteligencia artificial moderna a menudo depende de enormes cerebros digitales llamados Transformers, que procesan el lenguaje pasando la información a través de una larga cadena de capas. Piense en estas capas como una serie de estaciones de procesamiento donde el modelo aprende a comprender el contexto, la gramática y el significado. En años recientes, los ingenieros han hecho que estos modelos sean más eficientes utilizando un diseño llamado Mezcla de Expertos (Mixture-of-Experts). En lugar de que cada estación utilice la misma cantidad de potencia de cómputo, el modelo activa solo unos pocos sub-redes especializadas, o "expertos", para cada fragmento de texto que lee. Esto permite que el sistema sea muy grande y capaz sin requerir cantidades imposibles de energía para funcionar. Sin embargo, una regla estándar ha gobernado cómo se utilizan estos expertos: cada una de las capas en la cadena se ve obligada a activar exactamente el mismo número de expertos, independientemente de si esa capa realmente necesita tanta ayuda.

Un equipo de investigadores de la Universidad de Bristol ha desafiado esta regla uniforme, proponiendo que las diferentes capas de un modelo de IA tienen necesidades muy distintas. Algunas capas son altamente sensibles y requieren muchos expertos para funcionar correctamente, mientras que otras son redundantes y pueden operar con muchos menos sin perder precisión. Desarrollaron un nuevo método llamado MAPLE, que actúa como una herramienta "plug-and-play" (conectar y usar). Esto significa que puede aplicarse a modelos existentes y pre-entrenados sin necesidad de reentrenarlos o cambiar sus pesos internos. El sistema funciona probando primero cuánto cae el rendimiento de cada capa si se reduce el número de expertos que utiliza. Luego, utiliza estas mediciones para crear un mapa personalizado, desplazando el presupuesto de cómputo de las capas que pueden prescindir de él y dirigiendo esos recursos a las capas que más los necesitan.

Los resultados de este enfoque son sorprendentes. Cuando los investigadores probaron MAPLE en cuatro modelos de lenguaje de gran tamaño diferentes, descubrieron que simplemente redistribuir los recursos existentes era más efectivo que utilizarlos todos de manera uniforme. En una prueba específica utilizando un modelo llamado DeepSeek-MoE-16B, el nuevo método logró superar al modelo original, totalmente cargado, utilizando solo el 75% de los expertos disponibles. En varios parámetros de razonamiento, la precisión mejoró significamente; por ejemplo, en una tarea de respuesta a preguntas científicas, la puntuación saltó de 65.09 a 71.40, y en una prueba de razonamiento lógico, aumentó de 48.49 a 51.50. Esto demuestra que la antigua suposición de uniformidad estaba frenando a los modelos, y que una distribución más inteligente e irregular del esfuerzo produce mejores resultados.

Más allá de obtener respuestas más inteligentes, este método también hace que los modelos sean más rápidos y económicos de ejecutar. Debido a que se activan menos expertos, la computadora tiene menos trabajo que hacer para cada pregunta que responde. Cuando los investigadores implementaron MAPLE en un sistema de servicio del mundo real, midieron una reducción del 32.2% en el tiempo que tardaba en generar una respuesta en una sola tarjeta gráfica. Al mismo tiempo, el sistema pudo manejar un 47.4% más de solicitudes por segundo. Estos avances se lograron sin alterar la estructura central del modelo ni descartar ninguno de sus conocimientos aprendidos; el sistema simplemente aprendió a usar sus partes existentes de manera más eficiente. Los investigadores confirmaron que esta mejora no fue una casualidad de una prueba específica, sino un hallazgo robusto que se mantuvo a través de diferentes tipos de tareas de razonamiento e incluso cuando el modelo se escalaba hacia arriba o hacia abajo.

El estudio también exploró cómo este método maneja la compleja tarea del razonamiento de múltiples pasos, donde el modelo debe generar una larga cadena de pensamientos para resolver un problema. Incluso en estos escenarios exigentes, el modelo redistribuido mantuvo su precisión mientras cortaba el tiempo total requerido para resolver los problemas en más de la mitad en algunos casos. Los investigadores demostraron que el método es lo suficientemente flexible como para trabajar con diferentes modelos y que el plan de asignación que crea puede reutilizarse para diversas tareas sin necesidad de recalcularlo cada vez. Al demostrar que un enfoque de "talla única" es subóptimo, este trabajo ofrece una forma práctica y fundamentada de hacer que los sistemas de inteligencia artificial de gran escala sean más eficientes, poderosos y estén listos para su despliegue en el mundo real.

Resumen Técnico: MAPLE – Asignación de Expertos por Capas mediante Plug-and-Play Adaptativo de MoE

Planteamiento del Problema
Los Transformers de Mezcla de Expertos (MoE) de activación dispersa actuales emplean universalmente una estrategia de enrutamiento uniforme, activando el mismo número fijo de expertos en todas las capas. Esta convención ignora la heterogeneidad bien documentada en la redundancia y la importancia de los expertos por capa. Los autores argumentan que esta uniformidad es sistemáticamente subóptima: no logra dirigir la capacidad computacional hacia las capas que son sensibles a las variaciones en el número de expertos, mientras desperdicia recursos en capas redundantes. Las soluciones existentes para mejorar la eficiencia de MoE, como la poda no estructurada, la fusión de expertos o la compresión estructurada, suelen requerir reconstrucción de pesos, datos de calibración adicionales, reentrenamiento o cambios arquitectónicos permanentes, lo que las hace inadecuadas para un despliegue "plug-and-play" en modelos preentrenados.

Metodología
El artículo propone MAPLE (MoE Adaptive Plug-and-Play Layer-wise Expert Allocation), un marco que reasigna el presupuesto de expertos enrutados de forma heterogénea entre las capas de un modelo de Lenguaje Grande (LLM) MoE preentrenado sin modificar los pesos, reentrenar o alterar la arquitectura del modelo. MAPLE opera en tres fases distintas:

Modelado de Sensibilidad por Capa:
El marco sondea cada capa individualmente variando el número de expertos enrutados ( $e$ ) mientras mantiene otras capas fijas en el recuento base ( $k_0$ ). Registra la precisión de validación $A_l(e)$ para cada configuración.
- Óptimo de capa única ( $k^*_l$ ): El recuento de expertos que maximiza la precisión para una capa específica.
- Medidas de Sensibilidad: Para cuantificar con qué fuerza responde una capa a los cambios en el recuento de expertos, MAPLE emplea tres métricas ligeras:
  - $s^{acc}_l$ : El rango de variación de la precisión ( $\max A_l(e) - \min A_l(e)$ ).
  - $s^w_l$ : La varianza de los tensores de parámetros dentro de la capa.
  - $s^{out}_l$ : El Error Cuadrático Medio (MSE) entre la salida de la capa con $e$ expertos y su salida con los $k_0$ expertos base.
- Los autores utilizan por defecto el rango de precisión ( $s^{acc}_l$ ) como la métla de sensibilidad principal.
Asignación de Forma Cerrada Guiada por Sensibilidad:
MAPLE formula la reasignación de expertos como un problema de optimización con restricciones. El objetivo es encontrar un vector de asignación $\mathbf{k} = [k_1, \dots, k_L]$ que se mantenga cerca del óptimo de cada capa única ( $k^*_l$ ), ponderado por la sensibilidad ( $s_l$ ), sujeto a un presupuesto global de expertos $K$ .
- El objetivo minimiza la desviación cuadrática ponderada: $\min \sum w_l (k_l - k^*_l)^2$ donde $w_l = s_l$ .
- Un enfoque de multiplicador de Lagrange produce una solución continua ( $k^{cont}_l$ ). Los expertos excedentes o deficitarios respecto al presupuesto se asignan preferencialmente a las capas de baja sensibilidad.
- La solución continua se recorta a límites factibles $[k_{min}, k_{max}]$ y se convierte en una asignación entera utilizando el método de resto mayor.
Refinamiento Genético Restringido por Sensibilidad:
Para abordar los artefactos de redondeo y las interacciones entre capas, un algoritmo genético ligero refina la solución de forma cerrada.
- Mutación: Los candidatos se generan mediante mutación gaussiana donde la varianza es inversamente proporcional a la sensibilidad de la capa ( $\sigma^2_l \propto 1/s_l$ ), asegurando que las capas de alta sensibilidad reciban perturbaciones menores.
- Selección: Se retienen los dos mejores candidatos (élites) por generación, y la población se regenera sin cruce.
- Este proceso converge rápidamente (a menudo en pocas generaciones) a una asignación final $\mathbf{k}_{best}$ .

Contribuciones Clave

Marco Plug-and-Play: MAPLE es el primer método que propone un marco totalmente post-hoc, libre de pesos, para la asignación heterogénea de expertos en modelos MoE preentrenados. No requiere reentrenamiento, actualizaciones de pesos ni modificaciones arquitectónicas.
Optimización Guiada por Sensibilidad: El artículo introduce una solución analítica de forma cerrada para la reasignación de expertos basada en la sensibilidad por capa, refinada por una búsqueda genética restringida por sensibilidad. Esto evita el costo computacional de la búsqueda exhaustiva o el aprendizaje por refuerzo.
Rendimiento con Presupuesto Reducido: El método demuestra que la asignación heterogénea puede superar a la asignación uniforme incluso cuando el presupuesto total de expertos enrutados se reduce (por ejemplo, al 75%), superando efectivamente el rendimiento de la línea base uniforme original de presupuesto completo.

Resultados Experimentales
Los autores evaluaron MAPLE en cuatro modelos MoE (DeepSeek-MoE-16B, DeepSeek-V2-Lite, Moonlight-16B-A3B y OLMoE-1B-7B) a través de siete benchmarks (ARC-E, ARC-C, BoolQ, PIQA, RTE, GSM8K, BBH).

Ganancias de Precisión: Bajo un presupuesto de expertos enrutados del 75%, MAPLE superó a las líneas base uniformes y a los métodos basados en poda (SparseGPT, Wanda, EPP, MoNE, LExI) en todos los modelos.
- En DeepSeek-MoE-16B, usando solo el 75% de los expertos, MAPLE mejoró la precisión en ARC-E (65.09% $\to$ 71.40%), ARC-C (48.49% $\to$ 51.50%) y BoolQ (80.03% $\to$ 82.38%) en comparación con la línea base uniforme del 100%.
- En OLMoE-1B-7B, MAPLE logró la mejor precisión promedio, mejorando en 4.13 puntos respecto a la línea base de presupuesto completo.
Razonamiento de Formato Largo: En GSM8K y BBH, MAPLE mantuvo una precisión competitiva (dentro de 0.61 puntos en GSM8K) mientras reducía significativamente el tiempo de evaluación (reducción del 53.0% en GSM8K).
Eficiencia de Despliegue: Implementado en SGLang, MAPLE redujo la latencia de servicio de extremo a extremo por un solo GPU en un 32.2% y mejoró el rendimiento (throughput) en un 47.4%. Esto se logra evitando la lógica de despacho de múltiples expertos para las capas asignadas a un único experto activo ( $k=1$ ).
Robustez: Los estudios de ablación confirmaron que la métrica de rango de precisión es la señal de sensibilidad más efectiva. El método mostró estabilidad a través de semillas aleatorias y generalizabilidad entre tareas (transferencia entre tareas), indicando que los patrones de sensibilidad identificados son intrínsecos a las capas del modelo y no un sobreajuste a conjuntos de calibración específicos.

Significancia y Reivindicaciones
El artículo afirma que MAPLE establece un "eje de principios y práctico" para mejorar la eficiencia de MoE. Su principal significancia radica en demostrar que una asignación heterogénea bien diseñada es más efectiva que simplemente activar más expertos. Al probar que la capacidad puede redistribuirse para coincidir con las demandas heterogéneas de diferentes capas sin reentrenamiento, MAPLE ofrece un camino rentable para desplegar modelos MoE más eficientes. Los autores enfatizan que su enfoque evita la sobrecarga de los métodos de poda o compresión existentes, lo que lo hace inmediatamente aplicable a los modelos preentrenados existentes en entornos de producción.

Limitaciones y Trabajo Futuro
Los autores reconocen que su evaluación actual está limitada a entornos GPU específicos (NVIDIA RTX A6000) y motores de servicio (SGLang, vLLM). El trabajo futuro implica evaluar MAPLE en diversas plataformas de hardware (CPUs, dispositivos edge) y bajo escenarios de inferencia del mundo real más amplios para evaluar cómo la reducción de la computación de expertos se traduce en beneficios reales de latencia, memoria y energía bajo diferentes restricciones del sistema.

Más como este