💻 computer science

Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster

Este artículo propone una estrategia de lista de expertos local a la secuencia que fija un pequeño conjunto de expertos por secuencia para reducir drásticamente la huella de memoria y las transferencias de expertos durante el servicio de modelos MoE, logrando un rendimiento cercano a la residencia total con significativamente menos pesos residentes al aplicar esta restricción de manera consistente tanto durante el entrenamiento como durante la inferencia.

Autores originales: ChaeWoo Son

Publicado 2026-08-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: ChaeWoo Son

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los sistemas de inteligencia artificial modernos que generan texto suelen basarse en un diseño llamado mezcla de expertos. Imagine una vasta biblioteca de trabajadores especializados en el conocimiento, donde cada trabajador es un experto en un tema específico y estrecho. Cuando el sistema necesita responder a una pregunta, no activa a todos los trabajadores a la vez. En su lugar, selecciona solo un pequeño puñado de los expertos más relevantes para ese momento específico. Este enfoque permite que el sistema sea increíblemente grande y capaz utilizando relativamente poca potencia de cálculo para cada palabra que produce. Sin embargo, existe un cuello de botella significativo en la forma en que se ejecutan estos sistemas en computadoras estándar. Aunque solo se utiliza un pequeño grupo de expertos en cualquier momento dado, la memoria de la computadora debe contener toda la biblioteca de expertos lista para actuar, porque el sistema no sabe de antemano cuáles serán necesarios después. Este requisito obliga a que el tamaño total de la memoria coincida con el tamaño de toda la biblioteca, en lugar de solo con el pequeño grupo que se está utilizando, lo que dificulta la ejecución de estos modelos potentes en dispositivos con memoria limitada.

Los investigadores han intentado solucionar esto almacenando los expertos no utilizados en un disco duro y cargándolos en la memoria solo cuando son necesarios. Pero esto crea un nuevo problema: debido a que el sistema elige a los expertos de una manera dispersa e impredecible, termina buscando nuevos expertos constantemente, lo que ralentiza el proceso. Un equipo liderado por el investigador independiente ChaeWoo Son planteó una pregunta diferente: en lugar de intentar que la computadora sea más rápida al buscar expertos dispersos, ¿podrían cambiar el sistema para que se adhiera naturalmente a un grupo pequeño y constante de expertos durante la duración de una sola conversación? Querían ver si podían entrenar al sistema para que fuera "secuencialmente local", lo que significa que, una vez iniciada una conversación, el mismo pequeño equipo de expertos gestiona todo el hilo, permitiendo que la computadora mantenga solo a ese equipo en memoria.

Los investigadores primero intentaron enseñar este comportamiento directamente al sistema. Intentaron entrenar al modelo para que favoreciera a los expertos que ya había utilizado en la conversación actual, con la esperanza de que este hábito se convirtiera en una parte permanente de su inteligencia. Descubrieron que, si bien este truco funcionaba mientras se realizaba el entrenamiento, el comportamiento no se mantenía. Tan pronto como se eliminaba la presión del entrenamiento, el sistema volvía a sus viejos hábitos dispersos. Incluso cuando intentaron reforzar el comportamiento haciendo que el sistema aprendiera de sus propias elecciones sesgadas, el proceso se volvió inestable y la calidad del texto sufrió. El estudio concluyó que el sistema no estaba aprendiendo una nueva habilidad, sino que simplemente estaba reaccionando a una regla temporal. Los investigadores se dieron cuenta de que intentar forzar al sistema a interiorizar este comportamiento era el enfoque equivocado.

En lugar de intentar cambiar el cerebro del sistema, los investigadores decidieron cambiar las reglas del juego. Impusieron una regla estricta y permanente que se aplicaba tanto durante el entrenamiento como cuando el sistema se utilizaba realmente. Bajo esta nueva regla, cada conversación recibe un equipo pequeño y fijo de expertos basado en las primeras palabras del texto. Una vez seleccionado este equipo, el sistema no tiene permitido cambiar a nadie más durante el resto de esa conversación. Esta regla actúa como un presupuesto: la computadora solo necesita mantener a ese pequeño equipo específico en su memoria rápida, mientras que el resto de la biblioteca puede permanecer en la unidad de almacenamiento más lenta. Debido a que el equipo es fijo para toda la conversación, la computadora no necesita intercambiar expertos constantemente.

Los resultados de este enfoque fueron sorprendentes. Cuando los investigadores aplicaron esta regla a un modelo de prueba y le dieron un breve periodo de reentrenamiento para adaptarse a las nuevas restricciones, el sistema funcionó casi tan bien como lo hacía sin la regla, pero con una reducción masosa en el uso de memoria. En sus pruebas, pudieron mantener solo una cuarta parte de los expertos totales en memoria y aun así lograr casi la misma velocidad que si hubieran mantenido todos ellos. El sistema redujo el número de veces que tenía que buscar datos en la unidad de almacenamiento lenta por un factor de treinta y dos en comparación con el método anterior. Si bien la calidad del texto disminuyó ligeramente —aproximadamente un cinco por ciento en el escenario de mayor ahorro de memoria—, la compensación permitió que el modelo se ejecutara en hardware mucho más pequeño y accesible.

El estudio también reveló una percepción inesperada sobre cómo aprenden estos sistemas. Los investigadores descubrieron que cuanto más tiempo se entrena un modelo sin estas restricciones de memoria, más difícil resulta forzarlo a este patrón eficiente más adelante. La tendencia natural del sistema a dispersar su atención parece fortalecerse con el tiempo, lo que hace que sea más costoso adaptarlo a los límites de memoria después del hecho. Esto sugiere que, si queremos que estos modelos sean eficientes en los dispositivos cotidianos, es posible que debamos enseñarles a ser eficientes desde el principio, en lugar de intentar arreglar el problema después de que ya han aprendido a ser dispersos.

Este trabajo no pretende haber resuelto el problema para todas las situaciones posibles, y los investigadores fueron cuidadosos al señalar que sus pruebas se realizaron con datos sintéticos y modelos más pequeños. Observaron que si una conversación cambia de tema abruptamente en medio de la misma, el equipo fijo de expertos podría tener dificultades, aunque sus pruebas mostraron que incluso con un cambio de tema, el sistema podía adaptarse con una pequeña penalización en la calidad. El estudio sirve como una prueba de concepto de que, al tratar la restricción de memoria como una regla en lugar de un objetivo de aprendizaje, podemos hacer que estos modelos masivos sean mucho más prácticos de ejecutar. Desplaza el enfoque de construir hardware más rápido hacia el diseño de reglas más inteligentes para cómo el sistema utiliza sus recursos, abriendo la puerta para que la poderosa inteligencia artificial se ejecute en dispositivos que actualmente son demasiado pequeños para contenerla.

Resumen Técnico: Predatory MoE: Servicio de Mezcla de Expertos con un Repertorio de Expertos Local a la Secuencia

Declaración del Problema

Los modelos de Mezcla de Expertos (MoE) de pesos abiertos logran una alta capacidad activando solo una pequeña fracción de sus parámetros totales por cada token. Sin embargo, en entornos de un solo acelerador con restricciones de memoria, servir estos modelos requiere típicamente mantener todos los expertos residentes en memoria, lo que significa que la huella de memoria escala con el conteo total de parámetros en lugar del conteo activo.

Las soluciones estándar implican descargar los expertos inactivos a la memoria del host o al disco y recuperarlos bajo demanda. Los sistemas existentes se adaptan a la demanda de enrutamiento a medida que ocurre (por ejemplo, usando cachés LRU o prefetch predictivo). No obstante, el enrutamiento sin restricciones suele ser "hostil" para las cachés limitadas: los enrutadores a nivel de token pueden seleccionar cualquier experto en cualquier token, causando transferencias frecuentes de pesos. En el banco de pruebas de 32 expertos del autor, un modelo sin restricciones accedió a un promedio de 28 de los 32 expertos por cada secuencia de 256 tokens. El artículo plantea si el patrón de demanda de enrutamiento mismo puede cambiarse para ser local a la secuencia, de modo que cada secuencia sea servida por un repertorio pequeño y fijo de expertos, permitiendo que la memoria residente siga un presupuesto de repertorio en lugar del conteo total de expertos.

Metodología

El artículo investiga dos enfoques principales para lograr la localidad de secuencia: intentar integrarla en los pesos del modelo mediante el entrenamiento o imponerla como una regla de enrutamiento.

1. Intento de Entrenar la Localidad de Secuencia

El autor exploró primero si la localidad de secuencia podría instilarse como un objetivo de entrenamiento utilizando un sesgo de selección de "el rico se hace más rico" (un sesgo de amplificación). Este sesgo favorecía a los expertos que ya habían sido utilizados dentro de una secuencia para el resto de dicha secuencia.

Hallazgos: Aunque el sesgo redujo el tamaño del conjunto de trabajo mientras estaba activo, la localidad resultante no fue persistente.
- Sensibilidad Temporal: El sesgo solo remodeló el enrutamiento de forma duradera cuando se aplicó desde el inicio del entrenamiento; aplicarlo tardíamente solo produjo efectos de selección inmediatos sin una adaptación posterior.
- Reversión: Si el sesgo se eliminaba a mitad del entrenamiento, el entrenamiento continuo sin sesgo causaba que el enrutamiento revertiera a un patrón disperso, restaurando el tamaño original del conjunto de trabajo.
- Fallo de Destilación: Los intentos de internalizar el sesgo mediante autodestilación (entrenar al enrutador para imitar sus propias selecciones sesgadas) resultaron en un objetivo móvil que desestabilizó el enrutamiento y degradó la calidad del modelo.
Conclusión: La localidad de secuencia se comportó como una propiedad del procedimiento de enrutamiento, no de los pesos aprendidos.

2. La Regla de Enrutamiento de Repertorio (Roster Routing Rule)

Basándose en el fallo de los enfoques basados en el entrenamiento, el autor impuso la localidad de secuencia como una regla de enrutamiento aplicada de forma idéntica durante el entrenamiento y el servicio.

Mecanismo:
- Cada secuencia mantiene un conteo acumulado de selecciones de expertos por capa.
- Se forma un repertorio $R$ mediante los $m$ expertos más utilizados.
- Fase de Exploración: Hasta que se utilicen $m$ expertos distintos, no se aplica ningún sesgo.
- Fase de Barrera: Una vez que el repertorio está lleno, los miembros reciben un bono de selección $+\delta$ , y los no miembros reciben $-\delta$ . Los no miembros deben superar un déficit de puntuación de $2\delta$ para entrar en el repertorio, desplazando al miembro menos utilizado.
- Fijación (Servicio): En el despliegue, el repertorio se congela tras un prefijo corto (por ejemplo, el 20% de la secuencia). El decodificado subsiguiente se restringe a este repertorio fijado.
Reajuste (Retrofitting): Para modelos preentrenados, el autor propone una fase de ajuste fino de 600 pasos bajo la regla desplegada (con la fijación activa). Esto permite que los expertos se adapten a los patrones de tráfico creados por la regla sin requerir que el enrutador aprenda la localidad por sí mismo.

Contribuciones Clave

Análisis Empírico de la Localidad Basada en el Entrenamiento: Un análisis controlado que demuestra que la localidad de secuencia resiste ser entrenada como un objetivo persistente debido a su sensibilidad temporal, su reversión bajo el entrenamiento continuo y la inestabilidad autorreferencial de la destilación del enrutador.
Regla de Enrutamiento de Presupuesto de Repertorio: Un mecanismo que trata la localidad como una restricción procedimental con un equilibrio explícito (el presupuesto $m$ ), en lugar de un comportamiento emergente. Esta regla mantiene dinámicas de entrenamiento estables y mantiene los conjuntos de trabajo por secuencia cerca del presupuesto $m$ .
Receta de Reajuste: Un método para adaptar modelos preentrenados a la regla de repertorio mediante un ajuste fino breve (600 pasos). Este proceso iguala el rendimiento de los modelos entrenados desde cero bajo la regla, eliminando efectivamente el costo de calidad al adjuntar la regla a un modelo preentrenado.
Análisis de Servicio: Una simulación basada en trazas que muestra que el patrón de demanda resultante reduce drásticamente las transferencias de expertos en comparación con las estrategias de caché estándar bajo presupuestos de memoria equivalentes.

Resultados

Intercambios entre Calidad y Presupuesto

Entrenamiento desde Cero: Entrenar bajo la regla de repertorio con $m=4$ (de 8 expertos) resultó en un conjunto de trabajo de $\approx 4.18$ con solo un aumento de perplexidad de $+0.27\%$ respecto al modelo base.
Reajuste: Aplicar la regla a un modelo preentrenado sin ajuste fino causó un gran salto en la perplexidad ( $+32\%$ ). Sin embargo, un ajuste fino de 600 pasos bajo la regla fijada redujo este costo a $+0.9\%$ (en $m=4$ ) y $+5.0\%$ (en $m=8$ para un modelo de 32 expertos).
Escala: En el banco de pruebas de 32 expertos, el ajuste fino redujo el costo de fijar $m=8$ (reducción de memoria del 75%) a una perplexidad de $+5.0\%$ , comparado con un multiplicador de perplexidad de $\sim 9\times$ para la implementación sin ajuste previo.
Erosión de la Capacidad de Servicio: El autor observó que el entrenamiento sin restricciones erosiona gradualmente la idoneidad de un modelo para el servicio de repertorio. Incluso después de que la perplexidad converge, el entrenamiento continuo aumenta el costo de servir bajo un repertorio fijado, lo que sugiere que las restricciones de servicio deben exponerse durante el entrenamiento.

Rendimiento de Servicio (Simulación Basada en Trazas)

Bajo presupuestos de memoria emparejados (25% de los pesos de los expertos residentes):

Reducción de Transferencia: El modelo servido por repertorio redujo las transferencias de expertos hasta en 32 $\times$ en comparación con una caché LRU que sirve a un modelo sin restricciones.
Rendimiento (Throughput): El modelo servido por repertorio recuperó el 94% del rendimiento de decodificación de residencia completa, mientras que el modelo sin restricciones servido por LRU solo logró el 33%.
Latencia: El enfoque de repertorio redujo el tiempo de parada a casi cero (0.01 ms/token) en comparación con los 30.3 ms/token de la línea base de LRU.

Significación y Reivindicaciones

El artículo sostiene que la localidad de experto por secuencia se maneja de forma más natural como parte del procedimiento de enrutamiento (especificada, presupuestada y presente durante el entrenamiento) que como un comportamiento que se le pide al modelo aprender.

Impacto Práctico: El método propuesto permite servir grandes modelos MoE con una fracción de la memoria de expertos residente (por ejemplo, 25%) mientras se recupera casi la totalidad del rendimiento de residencia completa, con el costo de un aumento modesto en la perplexidad (por ejemplo, +5.0%).
Alcance y Limitaciones: El autor es explícito en que sus resultados cuantitativos provienen de un banco de pruebas sintético de dominio único (hasta 32 expertos). No afirma que los resultados se generalicen directamente a modelos de escala de producción o al servicio por lotes de múltiples flujos sin mayor validación.
Trabajo Futuro: El artículo esboza un camino para la validación, incluyendo el análisis de trazas de enrutamiento de MoEs de pesos abiertos existentes y el ajuste fino de pequeños MoEs de pesos abiertos con datos reales para probar la receta de reajuste y la hipótesis de "erosión".
Extrapolación: Aunque el autor proporciona estimaciones aritméticas que sugieren que para un modelo de 2.4T de parámetros, el servicio de repertorio podría reducir la huella a una escala de estación de trabajo (por ejemplo, ~97 GB con $m=32$ ), enfatiza que estas son estimaciones de orden de magnitud basadas en supuestos no verificados sobre los patrones de enrutamiento del mundo real y las especificidades de la arquitectura.

En resumen, el artículo propone un cambio de la ingeniería de sistemas para servir demandas de enrutamiento hostiles hacia la ingeniería de la propia demanda de enrutamiento para que sea servible, demostando que una "regla de repertorio" procedimental combinada con un breve ajuste fino puede lograr ganancias significativas de memoria y rendimiento en entornos controlados.