🤖 machine learning

MMOE: Modernizing Diffusion Transformers with Efficient Expert Design

El artículo presenta ModernMOE (MMOE), una arquitectura de transformador de difusión modernizada que adapta los principios de escalado eficientes de los LLM —tales como expertos enrutados, expertos ligeros compartidos y enrutamiento residual— para lograr una convergencia más rápida y un equilibrio calidad-coste superior en la generación de AIGC en comparación con las bases densas y esparcidas tradicionales, todo ello dentro de un presupuesto de entrenamiento accesible de una sola máquina.

Autores originales: Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras están aprendiendo a pintar, soñar y crear arte desde cero. Este es el reino de la Inteligencia Artificial, específicamente una rama llamada "IA Generativa", donde las máquinas generan nuevas imágenes, videos e historias. Para hacer esto, utilizan cerebros digitales masivos llamados "Modelos Fundacionales". Piensa en estos modelos como gigantescas bibliotecas de patrones; cuanto más leen libros (datos) y más grandes son sus estantes (parámetros), mejor se vuelven para crear. Sin embargo, hay un inconveniente: hacer que estas bibliotecas sean más grandes suele significar que tardan una eternidad en leer y requieren una supercomputadora para funcionar, lo cual es costoso y lento.

Recientemente, los científicos descubrieron un truco ingenioso utilizado por los modelos de lenguaje (los que escriben texto) para resolver esto. En lugar de leer cada uno de los libros de la biblioteca para cada pregunta, construyeron un sistema con muchos "expertos" diferentes. Cuando llega una pregunta, un portero inteligente decide qué pocos expertos son necesarios para responderla, mientras el resto puede tomarse un descanso para tomar café. Esto se llama "Mezcla de Expertos" (MoE, por sus siglas en inglés). Es como tener un equipo de especialistas donde solo llamas al fontanero cuando hay una fuga, en lugar de despertar a todo el equipo de médicos, chefs y mecánicos. La gran pregunta para los creadores de imágenes fue: ¿Podemos usar este mismo truco de "llamar solo a los expertos que necesitas" para hacer que los generadores de imágenes sean más rápidos y económicos sin que pierdan creatividad?

Este artículo presenta un nuevo sistema llamado MMOE (ModernMOE) para responder a esa pregunta. Los investigadores tomaron un generador de imágenes estándar, que usualmente obliga a cada una de las partes de su cerebro a trabajar en cada uno de los píxeles, y le dieron una actualización moderna. En lugar de simplemente añadir más expertos y esperar lo mejor, rediseñaron el flujo de trabajo del equipo. Añadieron algunos expertos "perezosos" especiales que pueden hacer cosas simples como copiar una imagen o no hacer nada en absoluto, ahorrando energía. También añadieron un sistema de "puerta residual" (gate-residual), que permite al portero recordar lo que decidió en el paso anterior, para que no tenga que repensarlo todo desde cero. Finalmente, permitieron que los expertos compartieran notas entre sí a través de diferentes capas del cerebro, para que la información fluya de manera más fluida.

El equipo probó este nuevo sistema MMOE en una sola computadora potente con ocho tarjetas gráficas, entrenándola durante 400,000 pasos. Compararon el sistema contra modelos "densos" antiguos donde todo funciona todo el tiempo, y otros modelos "dispersos" que simplemente tienen más expertos pero sin atajos inteligentes. Los resultados sugieren que MMOE es el ganador en una carrera de eficiencia. Aprendió a crear imágenes de alta calidad más rápido que los otros, alcanzando una puntuación de error más baja (llamada FID) en cada punto de control. No solo mejoró; mejoró de forma más barata. El análisis mostró que el sistema aprendió a usar sus expertos "perezosos" con frecuencia, especialmente en las etapas iniciales de la creación de una imagen, y que los expertos se especializaron en diferentes tareas sin confundirse.

El artículo sostiene que simplemente hacer los modelos más grandes y complejos no es la única forma de mejorarlos. En su lugar, al tomar prestados trucos de eficiencia inteligentes de los modelos de lenguaje —como el uso de expertos ligeros y el intercambio de información—, el equipo sugiere que podemos construir generadores de imágenes que sean tanto de alta calidad como prácticos de ejecutar con presupuestos más pequeños. Aunque el estudio se limitó a tipos de imágenes específicos y no probó todos los escenarios posibles, los resultados sugieren fuertemente que este enfoque "modernizado" es un camino prometedor, que ofrece un mejor equilibrio entre la calidad de las imágenes que se ven y cuánto cuesta crearlas.

Resumen Técnico: MMOE: Modernización de los Transformers de Difusión con un Diseño de Expertos Eficiente

Planteamiento del Problema
Mientras que los Modelos de Lenguaje de Gran Escala (LLM) han escalado con éxito desacoplando la capacidad total de parámetros de la computación activada mediante el uso de Mezclas de Expertos (MoE) dispersas y mecanismos de eficiencia (por ejemplo, expertos de computación cero, enrutamiento de residuo de puerta), los Modelos Fundacionales de AIGC (AFM), específicamente las arquitecturas base de difusión-transformer, han seguido mayoritariamente una trayectoria diferente. Los esfuerzos actuales para aplicar MoE a los transformers de difusión (por ejemplo, DiT-MoE, Race-DiT) se centran principalmente en ampliar el conjunto total de expertos y las proporciones de dispersión sin importar los mecanismos de eficiencia que hacen que el escalado de los LLM sea práctico. Este enfoque suele dar lugar a modelos que son difíciles de entrenar y desplegar en dispositivos con recursos limitados, fallando al equilibrar la calidad de generación frente a los costes de entrenamiento y despliegue. El artículo plantea la siguiente pregunta: ¿Pueden los principios arquitectónicos detrás del escalado eficiente de los LLM adaptarse a los AFM para mejorar la calidad de la generación sin aumentar proporcionalmente la computación efectiva o la carga de entrenamiento?

Metodología: ModernMOE (MMOE)
Los autores proponen ModernMOE (MMOE), una modernización de los transformers de difusión estilo SiT que integra sistemáticamente cuatro mecanismos de eficiencia probados en los LLM dentro del backbone de difusión. Crucialmente, MMOE mantiene la interfaz externa (objetivo de eliminación de ruido, condicionamiento, representación latente y muestreador) sin cambios, modificando únicamente la computación interna a nivel de bloque.

La arquitectura introduce los siguientes componentes:

Capa de Expertos MoE++: En lugar de los MLPs enrutados estándar, el conjunto de expertos incluye:
- Expertos Pesados (Heavy Experts): MLPs estándar.
- Expertos Ligeros de Computación Cero (Lightweight Zero-Computation Experts): Expertos de tipo "Copia" (identidad), "Cero" (salida cero) y "Constante" (mezcla de vectores aprendidos). Estos permiten al modelo omitir la ejecución completa del MLP para los tokens donde una actualización pesada es innecesaria.
Enrutamiento de Residuo de Puerta (Gate-Residual Routing): El enrutador incorpora un residuo de la decisión de la puerta de la capa de experto anterior, lo que permite que las tendencias de enrutamiento se hereden entre capas, estabilizando las decisiones.
Expertos Compartidos (Shared Experts): Un experto denso compartido está siempre activo para proporcionar una ruta de computación común, junto con expertos enrutados para la especialización dependiente de los tokens.
Agregación de Residuo de Atención (Attention-Residual Aggregation): El modelo reutiliza la información de los estados de bloques completados anteriormente. Antes de las subcapas de atención y MLP, el modelo agrega representaciones de una lista de estados de bloques completados utilizando una pseudo-consulta aprendida, permitiendo la reutilización de información de profundidad cruzada sin nuevos objetivos generativos.

El paso hacia adelante (forward pass) mantiene estados recurrentes (estados de bloques completados, estado parcial actual y residuos de puerta) para facilitar esta agregación y el enrutamiento.

Contribuciones Clave

Formulación de la Modernización de AFM: El artículo enmarca la modernización de los AFM como un problema de modernización, examinando sistemáticamente si los diseños de MoE de los LLM pueden mejorar los transformers de difusión sin simplemente inflar el recuento de parámetros o las proporciones de dispersión.
Arquitectura Unificada: La propuesta de MMOE, que integra expertos enrutados, expertos compartidos, expertos ligeros de computación cero, enrutamiento de residuo de puerta y agregación de residuo de atención en un único backbone de estilo SiT.
Estudio Empírico Controlado: Los autores proporcionan una comparación rigurosa y controlada de la vía de modernización (Dense SiT $\to$ Standard MoE $\to$ Shared MoE $\to$ MoE++ $\to$ AttnRes-MoE $\to$ MMOE) bajo un presupuesto de entrenamiento coincidente y accesible (un solo nodo de ocho GPUs H100, tamaño de lote 256, 400k pasos).

Resultados
Evaluado en la generación de ImageNet-256 condicionada por clase:

Convergencia y Calidad: MMOE logra una menor Distancia de Fréchet Inception (FID) en cada punto de control registrado en comparación con los baselines de SiT densos e intermedios de expertos dispersos. Converge más rápido por paso de entrenamiento, alcanzando un FID de 3.75 en 400k pasos frente a los 5.20 de la base densa.
Eficiencia: Mientras que las variantes de MoE estándar aumentaron el tiempo de entrenamiento de tiempo de ejecución debido a la sobrecarga de enrutamiento, MMOE logró el mejor equilibrio calidad-coste entre las variantes dispersas. Redujo el tiempo de entrenamiento de la variante más costosa (AMOE) de 120 horas a 67 horas manteniendo un FID superior.
Escalabilidad: Las mejoras se mantienen a través de diferentes escalas de modelo (S/2, B/2, L/2) y resoluciones (ImageNet-512), lo que indica que los beneficios no se limitan a la configuración XL/2.
Análisis de Enrutamiento: El análisis del modelo convergido revela:
- Especialización Estable: Una fuerte especialización de expertos por bloque (alto coeficiente de Gini de carga) en lugar de un uso uniforme.
- Uso Ligero Dependiente de la Profundidad: Los expertos ligeros (copia/cero/constante) son utilizados intensamente en los bloques tempranos (44.6% de las rutas) y disminuyen en los bloques posteriores (23.4%), lo que respalda la hipótesis de que los pasos iniciales de eliminación de ruido se benefician de transformaciones baratas.
- Bajas Tasas de Cambio: El conjunto de los dos mejores expertos cambia solo para un ~1.4% a 2.7% de los tokens entre pasos de eliminación de ruido adyacentes, lo que indica decisiones de enrutamiento estables.
Ahorro de Memoria: El uso de expertos ligeros reduce la memoria de activación de la pasada hacia adelante en un ~20% y la memoria de la pasada hacia atrás en un ~32% por bloque en comparación con el MoE de residuo de atención sin expertos ligeros.

Significancia y Reivindicaciones
El artículo afirma que los AFM pueden seguir la "vía de escalado equilibrada" de los LLM importando diseños de eficiencia probados en lugar de simplemente aumentar el número total de parámetros y las proporciones de dispersión. La significancia de MMOE radica en demostrar que:

Equilibrio Calidad-Coste: Se puede lograr una generación de alta calidad con mejores compromisos de calidad-coste combinando el enrutamiento disperso con rutas de expertos baratas y la reutilización de representaciones, en lugar de depender únicamente de conjuntos de expertos más grandes.
mente, que los avances son alcanzables dentro de un presupuesto de una sola máquina (8x H100), haciendo que la investigación avanzada de los transformers de difusión sea más accesible en comparación con trabajos previos que requieren clústeres masivos de múltiples nodos y millones de iteraciones.
Transferencia de Mecanismos: Los mecanismos de eficiencia específicos de los LLM (expertos de computación cero, residuos de puerta, residuos de atención) se transfieren eficazmente a los transformers de difusión, mejorando la velocidad de convergencia y la estabilidad de la especialización.

Los autores se mantienen modestos respecto a sus afirmaciones, señalando que no pretenden alcanzar el estado del arte en FID comparado con métodos entrenados a escalas mucho mayores (por ejemplo, 7M de iteraciones), sino que su contribución es el estudio de modernización controlado y la demostración de un rendimiento superior bajo un presupuesto restringido de un solo nodo. Reconocen limitaciones, incluyendo el enfoque en la generación condicionada por clase y la necesidad de un mayor estudio sobre la eficiencia del entrenamiento distribuido, que actualmente está limitado por la comunicación.

Más como este