🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

Este artículo presenta DECO, una arquitectura dispersa de Mezcla de Expertos que logra un rendimiento comparable al denso con solo un 20% de activación de expertos y una aceleración de inferencia de 3,00× en dispositivos de extremo, aprovechando un enrutamiento basado en ReLU, una escalabilidad aprendible por experto y una función de activación NormSiLU novedosa.

Autores originales: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás dirigiendo un restaurante masivo de alta gama. Quieres servir la mejor comida posible (alto rendimiento) a la mayor cantidad de clientes posible, pero tienes dos reglas estrictas:

Bajo Costo: No puedes permitirte tener a cada chef cocinando cada plato individual para cada cliente (bajo cómputo).
Cocina Pequeña: No tienes suficiente espacio para almacenar cada libro de recetas y cada ingrediente para cada chef (almacenamiento reducido).

Durante mucho tiempo, el estándar de la industria fue contratar a un equipo enorme de chefs (un modelo "Dense") donde todos intentan cocinar todo. Esto sabe genial, pero es increíblemente costoso y requiere una cocina gigantesca.

Luego, la gente probó un enfoque de "Mezcla de Expertos" (MoE). Esto es como tener un equipo enorme de 100 chefs especializados, pero para cada pedido, solo despiertas a 20 de ellos para cocinar. Esto ahorra dinero en tiempo de cocina. Sin embargo, aún tienes que mantener las recetas y los ingredientes de los 100 chefs en tu cocina. Si tu cocina es pequeña (como un teléfono o una computadora portátil), te quedas sin espacio, y el tiempo dedicado a correr de un lado a otro para conseguir los ingredientes del chef correcto ralentiza todo.

Aquí entra DECO.

Los autores de este artículo crearon un nuevo diseño de restaurante llamado DECO. Su objetivo era construir una cocina "dispersa" (donde solo trabajan unos pocos chefs a la vez) que supiera tan bien como la cocina gigante "densa", pero que cupiera en un espacio diminuto y funcionara rápido.

Así es como lo hicieron, usando analogías simples:

1. El Camarero Inteligente (El Enrutador)

En un restaurante MoE normal, el camarero (el enrutador) es un poco rígido. Podría decir: "Para cada mesa, exactamente 2 chefs deben cocinar".

Innovación de DECO: Le dieron al camarero una herramienta flexible y diferenciable (llamada enrutamiento basado en ReLU). Ahora, el camarero puede mirar el pedido específico y decidir: "Este plato necesita 3 chefs" o "Ese solo necesita 1". Es una decisión fluida basada en la comida, no en una regla rígida.
El Factor de Escala: A veces, un chef es naturalmente más fuerte o ruidoso que otro. DECO le da al camarero un conjunto de perillas de volumen ajustables (escalado aprendible) para cada chef. Si el Chef A es naturalmente más silencioso, el camarero sube su volumen para que su contribución esté equilibrada con la de los chefs más fuertes.

2. Los Chefs Especializados (Los Expertos)

Los chefs en DECO están diseñados de manera diferente para ser más estables.

El Delantal "NormSiLU": Los autores notaron que cuando los chefs usan un delantal estándar (función de activación), a veces se confunden o dejan de trabajar por completo (señales que se desvanecen). Inventaron un nuevo delantal llamado NormSiLU. Piensa en esto como un uniforme especial que calibra la energía del chef antes de que comiencen a cocinar. Mantiene su salida constante y evita que se agoten o se vuelvan demasiado silenciosos.
Sin Guardias: La mayoría de los restaurantes usan un chef "guardián" que decide si el chef principal debe siquiera empezar a cocinar. DECO descubrió que, para su camarero flexible, es realmente mejor eliminar al guardián. Los chefs funcionan mejor cuando pueden simplemente empezar a cocinar basándose en la señal del camarero sin una capa extra de "permiso".

3. El Resultado: El "Triángulo Ideal"

El artículo afirma que DECO logra un "santo grial" de tres cosas simultáneamente:

Alto Rendimiento: Sabe tan bien como el restaurante gigante y costoso (modelos Densos).
Bajo Costo: Solo utiliza el 20% de los chefs en cualquier momento dado, ahorrando cantidades masivas de energía.
Almacenamiento Reducido: Debido a que el diseño es tan eficiente, la "huella de cocina" total (parámetros totales) es lo suficientemente pequeña como para caber en dispositivos finales como teléfonos, sin necesidad de intercambiar ingredientes dentro y fuera del almacenamiento constantemente.

4. La Prueba

Pruebas de Degustación: Cuando probaron DECO contra otros modelos, igualó el rendimiento de los modelos gigantes "Densos" y superó a otros modelos "Dispersos", todo mientras usaban la misma cantidad de datos de entrenamiento e ingredientes totales.
Velocidad: Construyeron un motor personalizado (núcleo de aceleración) para ejecutar este restaurante. En hardware real (como una tarjeta gráfica de alta gama y un dispositivo Jetson), DECO fue 3 veces más rápido que la forma estándar de ejecutar estos modelos.

El Problema (Limitaciones)

Los autores son honestos sobre lo que aún no han probado. No han probado este diseño de restaurante para "ajuste fino" (enseñar a los chefs habilidades nuevas específicas después del entrenamiento principal) ni para "aprendizaje por refuerzo" (enseñarles mediante prueba y error). Sospechan que podría haber cierta inestabilidad allí, por lo que actualmente están construyendo una versión más grande para probar esos escenarios específicos.

En resumen: DECO es una reimaginación ingeniosa de cómo funcionan los modelos de IA. Demuestra que no necesitas una cocina gigante y abultada para obtener comida excelente. Con el camarero adecuado, los uniformes adecuados y un enfoque flexible, puedes obtener los mismos resultados de alta calidad con una cocina pequeña, rápida y eficiente.

Resumen Técnico: DECO – Mezcla Escasa de Expertos con Rendimiento Comparable al Denso en Dispositivos de Borde

Enunciado del Problema
Aunque las arquitecturas de Mezcla de Expertos (MoE) escalan la capacidad del modelo sin aumentar proporcionalmente el cómputo, tradicionalmente sufren de huellas masivas de parámetros totales. Esto crea cuellos de botella significativos en el almacenamiento y el acceso a la memoria que dificultan el despliegue eficiente en dispositivos de borde, los cuales requieren alto rendimiento, bajo costo computacional y sobrecarga de almacenamiento mínima. La investigación existente en MoE a menudo prioriza el rendimiento y el bajo cómputo, pero descuida el objetivo de "sobrecarga de almacenamiento". Además, muchos modelos MoE logran sus resultados entrenando con sustancialmente más tokens que las líneas base densas bajo el mismo presupuesto de cómputo, en lugar de igualar la cantidad exacta de tokens. El artículo plantea la pregunta: ¿Puede un modelo MoE escaso lograr un rendimiento comparable al de un modelo denso dado el mismo presupuesto total de parámetros y el mismo número de tokens de entrenamiento?

Metodología
Los autores proponen DECO (Dense-Comparable), una arquitectura MoE escasa diseñada para igualar el rendimiento de los Transformers densos bajo restricciones idénticas. La arquitectura se basa en tres pilares de diseño fundamentales:

Diseño del Enrutador:
- Enrutamiento basado en ReLU: A diferencia del enrutamiento TopK convencional no diferenciable, DECO emplea enrutamiento basado en ReLU. Esto permite ratios de activación flexibles dependientes del token y una aprendibilidad suave.
- Escalado del Enrutador por Experto Aprendible: Para abordar los desequilibrios en la escala de salida entre expertos compartidos y enrutados y acomodar la heterogeneidad de los expertos, DECO reemplaza los factores de escala escalares fijos con factores de escala vectorizados aprendibles ( $\alpha$ ). Esto calibra la contribución de los expertos enrutados individuales.
Diseño del Experto:
- Activación NormSiLU: Los autores identifican que acoplar el enrutamiento basado en ReLU con expertos activados por SiLU estándar conduce a ratios de activación en aumento y magnitudes de salida que se desvanecen. Para resolver esto, introducen NormSiLU, que aplica una normalización de doble etapa antes del operador SiLU:
  - Normalización de la media inter-experto: Centra los pesos de proyección superior del experto alrededor de cero.
  - Normalización RMS intra-experto: Mantiene magnitudes de activación consistentes.
    Esto estabiliza las tendencias de activación, reduce la necesidad de regularización de escasez agresiva y asegura una utilización robusta de los parámetros.
- Expertos MLP sin Puerta: Contrariamente a la preferencia estándar por los MLP con puerta (SwiGLU), DECO utiliza expertos MLP sin puerta. Los resultados empíricos muestran que los expertos sin puerta exhiben tendencias de ratio de activación más estables cuando se emparejan con enrutamiento basado en ReLU, mientras que las variantes con puerta sufren dinámicas de activación inestables y en aumento que requieren una regularización pesada.
Regularización de Escasez Adaptativa:
- DECO emplea una regularización de escasez adaptativa basada en la entropía del enrutador. A diferencia de los coeficientes estáticos, la fuerza de la regularización ( $\lambda$ ) se escala dinámicamente según el nivel de escasez actual en relación con el objetivo, asegurando un ratio de activación estable centrado precisamente en el nivel deseado.

Resultados Clave
Los experimentos se realizaron en cuatro escalas de parámetros (de 0.11B a 1.18B) con una cantidad fija de tokens de entrenamiento (aprox. 40 veces la cantidad de parámetros) y un ratio de activación de expertos enrutados del 20%.

Comparabilidad con Densos: DECO logra paridad de rendimiento con las líneas base de Transformers densos (usando FFNs SwiGLU) en términos de Perplejidad (PPL) en el conjunto de validación C4 y precisión promedio en benchmarks de razonamiento de sentido común, a pesar de activar solo el 20% de los expertos.
Superioridad sobre Líneas Base MoE: DECO supera a las líneas base MoE establecidas (TopP, DeepSeek-V3, ReMoE, BlockFFN) de la misma escala y ratio de activación.
Insights de Ablación:
- El escalado por experto aprendible mejora significativamente el rendimiento sobre el escalado fijo o escalar, abordando la heterogeneidad observada en las normas de salida de los expertos.
- NormSiLU es crítico; eliminar sus pasos de normalización conduce a ratios de activación en aumento y salidas SiLU que se desvanecen, degradando el rendimiento.
- Los expertos sin puerta son superiores a los expertos con puerta específicamente dentro del contexto del enrutamiento basado en ReLU.
Aceleración de Hardware: Se implementó un kernel de aceleración especializado que aprovecha CUTLASS y núcleos tensoriales. En hardware real (NVIDIA RTX 4090 y Jetson AGX), DECO logró una aceleración de 3.00× sobre la inferencia densa estándar explotando la activación escasa para reducir la sobrecarga de acceso a la memoria.

Significado y Afirmaciones
El artículo afirma que DECO realiza con éxito el "triángulo ideal" del despliegue de MoE en dispositivos de borde: alto rendimiento, bajo costo computacional y pequeña sobrecarga de almacenamiento. Su significado radica en demostrar que los modelos MoE escasos pueden igualar el rendimiento denso sin requerir tokens de entrenamiento excesivos o huellas masivas de parámetros.

Los autores atribuyen este éxito a una revisión fundamental del diseño de MoE que alinea el mecanismo de enrutamiento (basado en ReLU), la activación del experto (NormSiLU) y la estructura del experto (sin puerta) para crear una dinámica de entrenamiento estable. Señalan que la comparabilidad con lo denso es condicional, dependiendo de factores como el ratio de activación, la granularidad del experto y la heterogeneidad de los datos. El artículo sugiere que los conjuntos de datos de alta entropía y multi-dominio son particularmente adecuados para esta arquitectura escasa, ya que el modelo puede activar efectivamente subconjuntos especializados de parámetros para diferentes tareas.

Limitaciones
Los autores reconocen que aún no han evaluado DECO en las etapas de ajuste fino supervisado (SFT) o aprendizaje por refuerzo (RL), donde las arquitecturas MoE pueden enfrentar desafíos únicos como la inestabilidad del enrutador. Además, las leyes de escalado para el umbral de ratio de activación requerido para la comparabilidad con lo denso a través de tamaños de modelo más grandes y distribuciones de datos diversas requieren mayor investigación.