🤖 machine learning

OrderMoE: An expert similarity driven distributed edge MoE inference

OrderMoE es un marco novedoso que acelera la inferencia distribuida de MoE en el borde aprovechando la similitud de los expertos para permitir la sustitución local de expertos remotos, reduciendo así significativamente la latencia y la sobrecarga de comunicación mientras mantiene una calidad de inferencia controlable.

Autores originales: Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Athanasios V. Vasilakos, Song Guo, Haijun Zhang

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Athanasios V. Vasilakos, Song Guo, Haijun Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una ciudad gigante y bulliciosa donde viven computadoras súper inteligentes (llamadas Modelos de Lenguaje Extensos). Estas computadoras son como bibliotecarios brillantes que pueden responder cualquier pregunta, escribir historias o resolver problemas matemáticos. Sin embargo, estos bibliotecarios son tan enormes y pesados que no caben dentro de tu teléfono o de la computadora de la cafetería local. Usualmente, para obtener una respuesta, tu teléfono tiene que gritar una pregunta a través de la ciudad hacia un centro de datos masivo, esperar a que el gigante bibliotecario piense, y luego esperar a que la respuesta grite de vuelta. Esto toma tiempo y consume mucho del "espacio de las carreteras" (ancho de banda) de la ciudad.

Para hacer esto más rápido, los científicos han inventado un nuevo tipo de bibliotecario llamado "Mezcla de Expertos" (MoE, por sus siglas en inglés). En lugar de un cerebro gigante, este bibliotecario es en realidad un equipo de muchos especialistas más pequeños. Cuando haces una pregunta, un gerente inteligente (llamado enrutador) elige rápidamente solo a los dos o tres especialistas necesarios para esa tarea específica e ignora al resto. Esto hace que el bibliotecario sea mucho más rápido y ligero. Pero aquí está la parte complicada: en un sistema de borde distribuido, estos especialistas están esparcidos a través de diferentes servidores locales (como diferentes cafeterías o centros vecinales) en lugar de estar en un solo edificio grande. Si el enrutador elige a un especialista que está trabajando en una cafetería a tres pueblos de distancia, tu teléfono tiene que enviar la pregunta hasta allá y esperar a que la respuesta regrese, lo cual puede ser tan lento como hablar con el gigante centro de datos.

Aquí es donde entra un nuevo estudio llamado OrderMoE. Los investigadores, trabajando con un banco de pruebas real de ocho servidores físicos, se hicieron una pregunta simple pero ingeniosa: ¿Qué pasaría si, en lugar de enviar siempre una pregunta al especialista exacto que el enrutador eligió, pudiéramos usar un especialista diferente que esté justo al lado y haga casi el mismo trabajo?

El artículo sugiere que muchos de estos especialistas, aunque tengan nombres diferentes, en realidad piensan de maneras muy similares. Los autores descubrieron que, al medir qué tan similares son sus "patrones de pensamiento" (usando algo llamado logits inducidos por el enrutador), podían agrupar a estos especialistas en familias. Si el enrutador elige a un especialista que está lejos, OrderMoE verifica si hay un especialista "primo" cercano que sea lo suficientemente similar como para hacer el trabajo. Si lo hay, la pregunta se gestiona localmente, ahorrando el largo y lento viaje a través de la ciudad.

Sin embargo, los investigadores sabían que este era un equilibrio delicado. Usar un primo en lugar del especialista exacto podría ahorrar tiempo, pero también podría significar que la respuesta no sea tan perfecta. Para resolver esto, construyeron un controlador de tráfico inteligente que decide, para cada pregunta, si es seguro usar un primo local o si vale la pena la espera para enviar la pregunta al especialista exacto que está lejos. Este controlador también mira hacia adelante, pensando en hacia dónde podría ir la siguiente pregunta, para no enviar accidentalmente una pregunta a un servidor que sea un mal lugar para el siguiente paso.

Cuando probaron OrderMoE en una red real de ocho servidores con diferentes velocidades y tamaños de memoria, los resultados fueron impresionantes. El sistema logró reducir el tiempo de espera promedio (latencia) en aproximadamente un 40% a 51% en comparación con otros métodos, y redujo drásticamente la cantidad de datos que viajan entre los servidores. Quizás lo más importante es que la calidad de las respuestas apenas cayó, solo una cantidad diminuta y casi imperceptible. El estudio muestra que, al permitir que los servidores locales sustituyan a los expertos similares, podemos hacer que la IA se sienta mucho más rápida y receptiva sin necesidad de construir centros de datos más grandes y costosos. Es un poco como darse cuenta de que no necesitas conducir hasta el siguiente pueblo para conseguir un tipo específico de sándwich; la tienda de la esquina tiene uno muy similar y está listo en segundos.

Resumen Técnico de "OrderMoE: Un Inferencia de MoE Distribuida en el Borde Basada en la Similitud de Expertos"

Planteamiento del Problema
Si bien los modelos de Mezcla de Expertos (MoE) ofrecen una relación favorable entre la capacidad del modelo y el costo computacional para los Grandes Modelos de Lenguaje (LLM), su despliegue en infraestructuras de borde (edge) con recursos limitados y ancho de banda restringido sigue siendo un desafío. Los métodos existentes de servicio de MoE distribuido dependen principalmente de la ubicación exacta de los expertos, el almacenamiento en caché o la programación de la comunicación. Estos enfoques tratan al experto activado para un token como una unidad de computación fija; si el experto enrutado no es local, el token debe transmitirse a un servidor remoto para su ejecución exacta. Este paradigma ignora la similitud funcional entre los expertos dentro de la misma capa de MoE. En entornos de borde caracterizados por recursos heterogéneos, cargas de trabajo dinámicas e interconexiones ordinarias basadas en Internet (en lugar de interconexiones de alta velocidad de centros de datos), la transmisión frecuente de tokens entre servidores introduce una latencia significativa y un rendimiento inestable. El problema central abordado es cómo reducir la transmisión de tokens entre servidores y mantener la computación del token de forma local sin incurrir en una degradación inaceptable de la calidad de la inferencia.

Metodología
El artículo propone OrderMoE, un marco de despliegue distribuido y agrupación de expertos consciente de la similitud. La metodología consta de tres componentes principales:

Modelo de Similitud y Agrupación de Expertos:
- OrderMoE construye un modelo de similitud de expertos basado en las representaciones de logits inducidas por el enrutador. Mide la similitud funcional entre expertos de la misma capa utilizando la similitud de coseno de sus vectores de respuesta de enrutamiento sobre tokens de calibración.
- Reconoce que la similitud de los expertos depende de la capa: las capas más profundas tienden a tener una mayor similitud, mientras que las capas más superficiales exhiben una especialización más fuerte.
- Una estrategia de agrupación sensible a la capa particiona los expertos en grupos de similitud. Las capas más profundas permiten grupos más grandes con umbrales de similitud más laxos, mientras que las capas más superficiales utilizan umbrales más estrictos. Cada grupo contiene un experto dominante (basado en la frecuencia de activación) y expertos no dominantes que pueden servir como sustitutos factibles.
Despliegue Distribuido Consciente de la Similitud:
- El marco emplea una estrategia de despliegue consciente de la importancia para distribuir los expertos a través de servidores de borde heterogéneos bajo restricciones de memoria.
- Cobertura Representativa: Los expertos de un mismo grupo de similitud se dispersan deliberadamente en diferentes servidores para maximizar la probabilidad de que cualquier servidor de borde albergue un sustituto factible para un grupo dado.
- Despliegue Redundante: Utilizando la memoria restante, el sistema despliega redundantemente réplicas de expertos importantes (alta frecuencia de activación y alta representatividad) para cubrir grupos que aún no están disponibles localmente, priorizando los servidores con mayor actividad.
Selección de Tiempo de Ejecución Consciente de la Trayectoria del Token:
- Un algoritmo en línea, consciente de la calidad y de la trayectoria, decide, para cada token en cada capa de MoE, si invocar al experto objetivo remoto o utilizar un sustituto local factible.
- Mecanismo de Mirada Adelante (Look-Ahead): Para evitar decisiones miopes que podrían forzar futuras transmisiones entre servidores, el algoritmo utiliza una recursión de profundidad- $H$ basada en estadísticas de transición de expertos de un conjunto de calibración. Estima el costo futuro (cost-to-go) de la trayectoria del token.
- Presupuesto de Calidad: El algoritmo impone un presupuesto de calidad por usuario. Construye un conjunto de candidatos factibles que incluye el experto objetivo exacto y los sustitutos similares, asegurando que la pérdida acumulada de calidad por sustitución no exceda el presupuesto asignado.
- Adaptación de Pesos: Los pesos de compromiso entre el retraso de inferencia y la pérdida de calidad se adaptan dinámicamente basándose en las observaciones en tiempo de ejecución de las condiciones de la red y la carga de trabajo.

Contribuciones Clave

Formulación del Problema: El artículo formula el problema de la inferencia de MoE distribuida en el borde considerando conjuntamente el despliegue de expertos, la similitud de expertos, la ejecución de sustitutos y la trayectoria del token. A diferencia de los métodos existentes, permite que los tokens utilicen expertos sustitutos de calidad factible y actualiza dinámicamente la ubicación de los tokens.
Estrategia Consciente de la Similitud: Propone una novedosa estrategia de agrupación y despliegue de expertos que aprovecha la similitud funcional para mejorar la sustituibilidad local a través de los servidores de borde, reduciendo la probabilidad de invocación de expertos remotos.
Algoritmo Consciente de la Trayectoria: Diseña un algoritmo de selección de servidor-experto en línea que considera conjuntamente el retraso de transmisión, el retraso de computación, la pérdida de calidad por sustitución, la carga de trabajo del servidor y los costos futuros de movimiento del token.
Implementación y Evaluación: OrderMoE se implementa en un banco de pruebas de borde distribuido real con 8 servidores heterogéneos.

Resultos Experimentales
Los experimentos se realizaron en tres modelos MoE (Switch-Base-8E, Qwen-MoE-A2.7B y Mixtral-8x7B) utilizando un banco de pruebas de borde real. Los resultados indican que OrderMoE:

Latencia: Reduce significativamente la latencia promedio (por ejemplo, 187 ms para Mixtral-8x7B, una reducción del 40.1% comparado con MoE²) y la latencia de cola.
Comunicación: Reduce drásticamente el tráfico entre servidores (por ejemplo, 1.5 GB por cada 1,000 tokens) y las tasas de invocación de expertos remotos.
Rendimiento (Throughput): Logra un mayor rendimiento de inferencia en comparación con las líneas base.
Calidad: Introduce una degradación de la calidad de inferencia pequeña y controlable (por ejemplo, un aumento de la perplejidad de solo 0.3 en WikiText-103), manteniendo una retención de calidad superior al 99.3% en todos los modelos.
Escalabilidad: Demuestra robustez ante el aumento del número de servidores de borde, mientras que las líneas base de ejecución exacta sufren un aumento de la latencia a medida que crece la probabilidad de la ubicación del objetivo remoto.

Significancia y Reivindicaciones
El artículo afirma que OrderMoE es el primer trabajo en explotar la similitud de expertos de la misma capa para el despliegue colaborativo distribuido a través de múltiples servidores de borde. Su significancia radica en transformar el problema del despliegue distribuido de un "acceso remoto exacto al experto" a una "ejecución de sustituto local consciente de la similitud". Al reconocer que los expertos en la misma capa no están aislados, OrderMoE ofrece un nuevo paradigma para la inteligencia de borde que reduce la dependencia de interconexiones de alto ancho de banda. El marco logra equilibrar los objetivos conflictivos de minimizar la sobrecarga de comunicación y preservar la calidad de la inferencia, lo que lo hace particularmente adecuado para entornos de borde dinámicos y con ancho de banda limitado donde las estrategias tradicionales de despliegue distribuido en la nube son ineficaces.

Más como este