💻 computer science

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

Este artículo diagnostica sistemáticamente cinco modos distintos de fallo en el entrenamiento de Mezclas de Expertos dispersas basadas en Token-Choice en Transformers de Difusión para video, propone una "Hipótesis de Redundancia Funcional" para explicar el bloqueo selectivo observado y ofrece una solución de ingeniería completa junto con una hoja de ruta evolutiva para escalar estas arquitecturas.

Autores originales: Haiying Sha

Publicado 2026-05-20

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haiying Sha

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Intentar Mejorar un Generador de Video

Imagina que tienes un editor de video muy talentoso, de una sola persona (un "Modelo Denso"), que puede hacerlo todo: editar clips, añadir texto, cambiar colores y seguir instrucciones. Son excelentes, pero son lentos y costosos de ejecutar.

Los investigadores querían mejorar a este editor convirtiéndolo en un equipo de Mezcla de Expertos (MoE). Piensa en esto como contratar un equipo de especialistas:

El Gerente (Enrutador): Decide qué tarea le toca a quién.
Los Especialistas (Expertos Enrutados): Dos clones del editor original, listos para realizar trabajos específicos.
El Becario (Experto Compartido): Una nueva contratación que aprende conocimientos generales para ayudar a todos.

El objetivo era hacer que el generador de video fuera más inteligente y rápido, haciendo que el Gerente enviara diferentes partes de un video a diferentes Especialistas. Sin embargo, los investigadores descubrieron que esta mejora no funcionó sin problemas. En lugar de un equipo feliz, encontraron un sistema que a menudo se "congelaba" o colapsaba.

Las Tres Reglas de la Mejora (Las "Tres Leyes")

Antes de los experimentos, los investigadores se dieron cuenta de que tenían que seguir tres reglas estrictas para siquiera empezar, o todo el sistema se caería:

No Cambiar los Uniformes (Consistencia Estructural): Los Especialistas deben construirse exactamente como el editor original. Si el original usaba un tipo específico de matemáticas (GELU), los Especialistas deben usar el mismo. Si intentas sustituirlo por un estilo diferente (como SwiGLU), los pesos no encajan y el modelo se rompe inmediatamente.
No Reducir la Señal (Clonación 1:1): Al copiar el cerebro del editor original a los Especialistas, debes copiarlo exactamente. No intentes "escalar hacia abajo" los números para que encajen mejor. Si reduces la señal, la salida del video se desvanece hasta volverse negra porque la señal se pierde capa por capa.
El Becario de "Ruido Microscópico" (Inicialización del Experto Compartido): Esta es la parte más complicada. El "Becario" (Experto Compartido) comienza con casi cero conocimiento.
- La Trampa: Si inicias al Becario con pesos perfectamente cero, las matemáticas de la computadora (específicamente la precisión bfloat16) son tan toscas que redondean las actualizaciones diminutas a cero. El Becario nunca despierta.
- La Solución: Debes darle al Becario una chispa diminuta, casi invisible, de "ruido" (como una pequeña descarga estática) para comenzar. Esto es suficiente para despertarlo sin cambiar la salida del video, pero le permite comenzar a aprender.

Qué Salió Mal: El Diagnóstico del Fracaso

Los investigadores ejecutaron el sistema durante 5.000 pasos y observaron cómo el "Gerente" (Enrutador) asignaba tareas. Encontraron una jerarquía de fallos:

1. El Enrutador Lineal: El Problema de la "Línea Plana"

La Configuración: Usaron un Gerente simple, de línea recta.
El Resultado: El Gerente se confundió. No podía distinguir entre tareas. Terminó enviando todo a ambos Especialistas por igual, pero de una manera que los hacía idénticos.
La Analogía: Imagina un gerente que solo puede dibujar una línea recta en un mapa. Si el terreno es complejo (como un video con muchas tareas), una línea recta no puede separar las áreas. Los dos Especialistas se convirtieron en clones uno del otro (99% similares), y el sistema simplemente añadió costos extra sin añadir ninguna habilidad nueva.

2. El Enrutador MLP: El "Bloqueo Selectivo"

La Configuración: Mejorarón al Gerente para que fuera más inteligente (no lineal/MLP).
El Resultado: La confusión global cesó, pero apareció un nuevo problema, sigiloso, llamado Bloqueo Selectivo.
El Fenómeno: Aproximadamente un tercio de las capas del video dejaron de usar a ambos Especialistas. En su lugar, eligieron un Especialista e ignoraron completamente al otro.
La Analogía: Imagina un equipo de dos trabajadores. El Gerente se da cuenta: "Oye, el Trabajador A está haciendo el 90% del trabajo, y el Trabajador B no está aportando mucho". Así que el Gerente deja de enviar trabajo al Trabajador B. El Trabajador B se queda inactivo. Incluso si le gritas al Gerente (aumentando la penalización por no equilibrar), no cambiará porque el sistema se ha convencido a sí mismo de que un trabajador es suficiente.
El Patrón: Esto no ocurrió aleatoriamente. Ocurrió en forma de U:
- Parte superior de la U (Capas Tempranas): Los "ojos" del modelo (procesando píxeles crudos) se quedaron atascados.
- Parte inferior de la U (Capas Profundas): El "cerebro" del modelo (procesando significado complejo) se quedó atascado.
- Medio: Las capas del medio funcionaron bien.

3. El Enrutador de Atención Cruzada: El Intento de "Autocuración"

La Configuración: Le dieron al Gerente un superpoder: la capacidad de leer las instrucciones de texto mientras miraba el video (usando Atención Cruzada).
El Resultado: Esta fue la mejor configuración. ¡Algunas capas que estaban "muertas" realmente despertaron y comenzaron a trabajar de nuevo!
El Límite: Incluso con este superpoder, unas 9 capas permanecieron obstinadamente atascadas. El Gerente aún no podía descubrir cómo usar a ambos Especialistas en esas capas específicas.

La Teoría de la "Redundancia Funcional": ¿Por Qué Sucedió?

Los investigadores propusieron una teoría para explicar por qué los Especialistas se quedaron atascados. La llaman la Hipótesis de la Redundancia Funcional.

La Metáfora: Imagina un equipo de "Dos Maestros + Un Aprendiz".
- Los Maestros (Expertos Enrutados) son clones idénticos del experto original.
- El Aprendiz (Experto Compartido) comienza con casi ninguna habilidad (ruido microscópico).
El Proceso:
1. Inicio: El Aprendiz no hace nada. Los dos Maestros son idénticos. El Gerente (Puerta) no ve razón para usar a ambos Maestros, así que elige uno e ignora al otro. El Maestro ignorado se convierte en una "reserva estratégica" (bloqueado).
2. Crecimiento: El Aprendiz aprende lentamente habilidades generales.
3. El Despertar: Una vez que el Aprendiz es lo suficientemente bueno para manejar las tareas aburridas y básicas, el Gerente se da cuenta: "¡Puedo darle lo básico al Aprendiz!". Esto libera al Maestro "muerto" para aprender algo nuevo y diferente.
La Conclusión: Las capas "muertas" no están rotas; están esperando. Están esperando a que el Aprendiz (Experto Compartido) crezca lo suficiente para apoyarlos. Hasta que el Aprendiz sea fuerte, el sistema permanece en un "bloqueo" para ahorrar energía.

La Trampa del "Bfloat16"

El artículo también encontró una trampa técnica oculta. Al entrenar con un tipo específico de matemáticas informáticas (bfloat16), si un número es muy pequeño (como el ruido diminuto dado al Becario), la computadora redondea las actualizaciones a cero. Es como intentar medir el crecimiento de una semilla con una regla que solo mide en metros. La semilla crece, pero la regla dice "0".

La Solución: Mantener la "copia maestra" de los pesos en alta precisión (float32) y usar solo las matemáticas más toscas para los pasos reales de generación de video.

La Hoja de Ruta: ¿Hacia Dónde Va Esto?

Basándose en estos hallazgos, los autores proponen un plan de tres pasos para el futuro:

Corto Plazo: Arreglar la generación de texto. Actualmente, el modelo no puede deletrear palabras bien. Planean añadir un "Experto de Texto" específico al equipo que solo maneje letras y formas.
Mediano Plazo: Añadir Sonido. Quieren añadir un "Experto de Audio" para que el modelo pueda generar video y sonido juntos, en lugar de hacerlos por separado.
Largo Plazo: Construir un "Modelo del Mundo". Quieren añadir expertos que entiendan la física (gravedad, colisiones) para que la IA no solo haga imágenes bonitas, sino que entienda cómo funciona realmente el mundo.

La Conclusión Final

El artículo concluye que bajo el sistema actual de "Elección de Tokens" (donde los tokens eligen expertos), el bloqueo es un problema estructural, no un error. No puedes arreglarlo simplemente ajustando números. Para despertar completamente a todos los expertos, necesitas o bien comenzar con un "Becario" (Experto Compartido) más inteligente, o cambiar toda la forma en que está organizado el equipo. Este es uno de los primeros estudios detallados que muestra exactamente por qué estas mejoras de IA de video a menudo fallan en funcionar como se espera.

Resumen Técnico: Diagnóstico de Enrutamiento Visual MoE

1. Declaración del Problema

Aunque la Mezcla de Expertos (MoE) ha escalado con éxito los modelos de lenguaje, su aplicación a la generación de video utilizando Transformadores de Difusión (DiT) sigue siendo incipiente y propensa a fallos. Los intentos existentes a menudo arrojan beneficios limitados debido a diferencias fundamentales entre los tokens visuales y lingüísticos: los tokens visuales exhiben una redundancia espacial extrema, deriva de distribución inducida por los pasos de difusión y señales de enrutamiento conflictivas en entornos de múltiples tareas.

Este trabajo aborda la falta de un diagnóstico sistemático sobre la dinámica de entrenamiento de la MoE dispersa de Elección de Tokens en DiT de video. Específicamente, investiga por qué fallan los mecanismos de enrutamiento, lo que conduce a un "bloqueo" donde capas o expertos específicos dejan de funcionar eficazmente, y busca comprender las condiciones límite del paradigma actual de Elección de Tokens.

2. Metodología

La investigación emplea una configuración experimental rigurosa y minimalista diseñada para eliminar efectos de enmascaramiento de capacidades preentrenadas:

Modelo Base: Un modelo preentrenado denso de generación de video (Kiwi-Edit, ~8 mil millones de parámetros, combinando Wan2.2-TI2V-5B y Qwen2.5-VL-3B) se convierte en una arquitectura MoE.
Estrategia de Conversión (Las "Tres Leyes"):
1. Consistencia Estructural: Los expertos enrutados deben coincidir exactamente con la estructura FFN original (por ejemplo, activación GELU, configuraciones de sesgo).
2. Clonación de Pesos 1:1: Los expertos enrutados se inicializan clonando exactamente los pesos FFN densos sin escalado (a diferencia de las estrategias estándar de inicialización aleatoria).
3. Inicialización de Experto Compartido: Los expertos compartidos se inicializan con pesos todos cero para verificación arquitectónica (asegurando la equivalencia de salida con el modelo denso) y luego se reinicializan con ruido no cero extremadamente pequeño (por ejemplo, $\sigma=10^{-4}$ ) para el entrenamiento, con el fin de romper la simetría y evitar la truncación de hardware.
Arquitecturas de Enrutador: Se comparan tres tipos de enrutadores: Lineal (Softmax), MLP no lineal y Atención Cruzada (aprovechando instrucciones de texto multimodal).
Régimen de Entrenamiento: Se utiliza un conjunto de datos de generación de video multi-tarea 9-en-1 (20k muestras) durante 5.000 pasos en una sola NVIDIA A100. El entrenamiento utiliza precisión mixta bfloat16 con parámetros entrenables (compuertas y expertos compartidos) mantenidos en copias maestras float32.
Monitoreo: Registro detallado del uso de expertos (fracción de expertos minoritarios) a través de 30 capas de Transformador y más de 65 millones de tokens.

3. Hallazgos Clave y Resultados

3.1 Jerarquía de Fallos de Enrutamiento

El estudio identifica una progresión de modos de fallo:

Saturación Suave Global (Enrutadores Lineales): Los enrutadores lineales sufren de saturación suave global donde los gradientes de Softmax se desvanecen, lo que lleva a una homogeneización completa de expertos (similitud coseno >0.99). La MoE degenera en una red densa estructuralmente desigual sin ganancia de capacidad.
Bloqueo Selectivo (Enrutadores MLP): Los enrutadores MLP no lineales resuelven la saturación global pero introducen un "bloqueo selectivo". Aproximadamente un tercio de las capas degeneran en un modo de un solo experto. Aumentar la pérdida auxiliar (hasta 0.2) no logra prevenir esto, lo que indica un problema estructural a nivel de sistema en lugar de un simple problema de equilibrio de carga.
Recuperación Autónoma y Bloqueo Persistente (Enrutadores de Atención Cruzada): Los enrutadores de atención cruzada exhiben un fenómeno único de "recuperación autónoma" donde algunas capas bloqueadas rebotan espontáneamente. Sin embargo, aproximadamente 9 capas permanecen obstinadamente bloqueadas.

3.2 La Distribución de Bloqueo en "U"

Las capas bloqueadas no están distribuidas aleatoriamente, sino que siguen una estructura pronunciada en forma de U:

Capas Superficiales (1–10): Fuertemente concentradas debido a la dificultad de distinguir características visuales de bajo nivel espacialmente redundantes.
Capas Profundas (18–25): Fuertemente concentradas debido a espacios de decisión comprimidos en capas de integración semántica.
Capas Intermedias: Mantienen un uso casi uniforme.

3.3 La Trampa de Precisión bfloat16

Se identificó una trampa numérica crítica: bajo precisión mixta bfloat16, las actualizaciones de peso diminutas para expertos compartidos (inicializados cerca de cero) se truncan a cero por el hardware porque la magnitud de la actualización cae por debajo de la Unidad en el Último Lugar (ULP).

Solución: El trabajo documenta la necesidad de mantener copias maestras de parámetros entrenables en float32 e inicializar expertos compartidos con micro-ruido ( $10^{-4}$ ) en lugar de cero absoluto para asegurar la acumulación de gradientes.

3.4 La Hipótesis de Redundancia Funcional

El trabajo propone la Hipótesis de Redundancia Funcional para explicar el bloqueo selectivo. Postula que el bloqueo es una estrategia racional y faseada de asignación de recursos dentro de un trío de "compuerta, experto compartido, expertos enrutados":

Inicialmente, el experto compartido (aprendiz) tiene una capacidad cercana a cero. El sistema depende de los dos expertos enrutados (maestros), que son idénticos debido a la clonación de pesos.
La compuerta selecciona naturalmente a un maestro para minimizar la redundancia, dejando al otro como una "reserva estratégica" (bloqueado).
A medida que el experto compartido aprende gradualmente conocimiento común, crea nueva redundancia funcional. Esto eventualmente permite que el sistema "libere" al experto enrutado bloqueado para una división especializada del trabajo.
La hipótesis sugiere que eliminar el bloqueo requiere que el experto compartido alcance un umbral crítico de capacidad antes de que el sistema pueda reconfigurarse.

4. Contribuciones de Ingeniería

Tres Leyes de Conversión de Denso a MoE: Un protocolo verificado para convertir modelos densos preentrenados a MoE sin desajuste arquitectónico ni colapso de señal.
Mitigación de Trampa de Precisión: Una solución completa para el problema de truncamiento de actualizaciones bfloat16 en el entrenamiento de MoE.
Condicionamiento en Contexto: Validación de la concatenación de secuencias (frente a la suma) para la fusión de características multimodales para evitar la contaminación de características.
Solución de Renderizado de Texto: Una arquitectura propuesta basada en MoE para la generación de texto que involucra un "experto de texto" dedicado y un codificador Glyph-ByT5 para resolver el colapso a nivel de caracteres.

5. Significado y Afirmaciones

El trabajo afirma proporcionar el primer diagnóstico empírico integral del fallo de enrutamiento en implementaciones reales de MoE para generación de video. Su importancia radica en:

Calibración de Límites: Define con precisión el límite de capacidad del paradigma de Elección de Tokens, concluyendo que, bajo las condiciones actuales de un solo GPU y expertos congelados, la eliminación completa de expertos muertos es estructuralmente imposible independientemente de la complejidad del enrutador.
Perspectiva Teórica: Ofrece un nuevo marco teórico (Redundancia Funcional) fundamentado en biología de sistemas para interpretar la dinámica de entrenamiento de MoE, yendo más allá de las métricas simples de equilibrio de carga.
Hoja de Ruta Evolutiva: Basándose en estos hallazgos, los autores delinean un camino desde la "unificación visual" hacia un "motor de inteligencia general", sugiriendo que el progreso futuro requiere:
1. Mejora en la inicialización de expertos compartidos (conocimiento preentrenado).
2. Diseño diferenciado de pesos de expertos.
3. Migración potencial a paradigmas de Elección de Expertos o enrutamiento dinámico.
4. Integración de priores físicos y razonamiento causal para el modelado del mundo.

El trabajo enfatiza que, aunque la MoE actual de Elección de Tokens enfrenta un bloqueo estructural en dominios visuales, comprender estos modos de fallo proporciona la base necesaria para la próxima generación de modelos generativos multimodales.