Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search

Resumen Técnico: Exploración Sistemática de MoE Heterogéneos de 4 Expertos mediante la Búsqueda de un Pipeline Automatizado

Planteamiento del Problema
El artículo aborda el desafío de explorar el vasto espacio combinatorio de las arquitecturas heterogéneas de Mezcla de Expertos (MoE). Específicamente, se centra en la construcción de ensambles MoE de 4 expertos (MoE4) utilizando el conjunto de datos de redes neuronales LEMUR, el cual contiene 29 familias de arquitecturas base distintas. El espacio de búsqueda teórico para seleccionar 4 familias únicas de entre 29 es $\binom{29}{4} = 23,751$ combinaciones posibles. El trabajo previo dentro del ecosistema LEMUR había diseñado manualmente solo un pequeño número de configuraciones, dejando la mayor parte de este espacio sin explorar. Los autores buscan automatizar el descubrimiento de ensambles heterogéneos de alto rendimiento sin depender de Modelos de Lenguaje de Gran Escala (LLMs) para el bucle de generación, los cuales habían mostrado un éxito limitado en escenarios de 2 expertos.

Metodología
Los autores desarrollaron un pipeline de búsqueda totalmente automatizado de 28 días construido sobre el marco NNGPT, que consta de cuatro etapas secuenciales:

1. Construcción del Pool de Expertos: El sistema consulta la base de datos LEMUR para recuperar 2 vía 29 familias de arquitecturas base establecidas y entrenadas en CIFAR-10. Filtra las mutaciones generadas por LLM, los modelos MoE existentes y los modelos generados con prefijos en minúsculas para asegurar un pool limpio de familias arquitectónicas distintas.
2. Ensamblaje de Código Determinista: Un script generador (AlterHeteroMoE4.py) ensambla programáticamente modelos MoE4 candidatos. Recupera el código fuente de cuatro familias seleccionadas, renombra las clases para evitar colisiones, fusiona las importaciones e instancia una plantilla de envoltorio (wrapper). La arquitectura emplea una HeterogeneousGate (una red de enrutamiento convolucional con escalado de temperatura) para dirigir las entradas. La salida es una suma ponderada de los logits de los expertos: $y = \sum_{i=1}^{4} g_i(x) \cdot f_i(x)$. El entrenamiento utiliza AdamW, aumentación mixup ($\alpha=0.2$), suavizado de etiquetas (label smoothing) y tasas de aprendizaje con decaimiento de coseno (cosine-annealed).
3. Validación de Múltiples Etapas: Antes de la evaluación en GPU, los candidatos pasan por tres filtros:
   • Verificación de Sintaxis: La función compile() de Python verifica la corrección del código.
   • Sonda de Paso hacia Adelante (Forward-Pass) en CPU: Se pasa un lote ficticio (2, 3, 256, 256) a través de la CPU para detectar desajustes de dimensiones que las verificaciones de sintaxis pasan por alto.
   • Deduplicación de Base de Datos: Un checksum MD5 asegura que no se evalúen modelos duplicados.
4. Automatización de la Campaña: Un orquestador tolerante a fallos (CampaignMoE4.py) gestiona el bucle de generación-evaluación sobre 197 lotes. Persiste el estado en archivos JSON, lo que permite la reanudación segura vía SSH tras interrupciones, y tiene como objetivo alcanzar 1,000 evaluaciones exitosas.

Contribuciones Clave
El artículo presenta tres contribuciones de ingeniería primarias:

• Generador de Ensamblaje de Código Determinista: Una herramienta que combina sistemáticamente familias base en modelos MoE4 sintácticamente válidos y verificados mediante un paso hacia adelante, sin requerir llamadas a LLM, reutilizando configuraciones de enrutamiento y entrenamiento probadas.
• Pipeline de Validación de Múltiples Etapas: Un sistema de filtrado previo a la GPU que reduce significativamente el desperdicio de recursos computacionales al capturar errores de sintaxis, desajustes de dimensiones dependientes de la resolución y duplicados.
• Automatización de Campaña Tolerante a Fallos: Un sistema de orquestación robusto que permite la ejecución prolongada y no supervisada (28 días) con gestión de estado persistente.

Result Resultados
La campaña se ejecutó durante 28 días en una NVIDIA RTX 4090, generando 4,463 modelos candidatos y evaluando con éxito 1,021 modelos.

• Sesgo de Cobertura del Espacio de Búsqueda: Un análisis crítico posterior a la campaña reveló un severo sesgo de cobertura. Debido al uso de itertools.combinations sobre una lista ordenada de nombres de modelos, el generador enumeró las combinaciones en orden lexicográfico. Dado que "AirNet" es la primera alfabéticamente, el generador agotó todas las $\binom{28}{3} = 3,276$ combinaciones que contienen AirNet antes de pasar a la siguiente familia. La campaña se detuvo en la combinación 1,146, lo que significa que el 100% del espacio explorado estuvo anclado a AirNet, cubriendo solo el 4.8% del espacio teórico.
• Métricas de Rendimiento: Dentro del alcance anclado a AirNet, el mejor modelo (AirNet + AlexNet + DPN68 + ResNet) alcanzó un 68.0% de precisión Top-1 en CIFAR-10 en un solo ciclo de entrenamiento (epoch). La precisión media entre los modelos exitosos fue de 0.5221.
• Análisis por Familia:
  • Familias de Alto Rendimiento: ShuffleNet (precisión media: 0.632) y MobileNetV3 (precisión media: 0.621) produjeron consistentemente los ensambles de mayor precisión con tasas de éxito >96%.
  • Familias de Bajo Rendimiento: FractalNet tuvo una tasa de éxito de solo 0.7% debido a frecuentes errores de falta de memoria (Out-of-Memory, OOM) y desajustes de forma. MNASNet degradó consistentemente la calidad del ensamble (precisión media: 0.218).
• Análisis de Fallos: El 99.7% de los fallos se debieron a errores de CUDA OOM, causados principalmente por las demandas de memoria de combinar cuatro redes completas a una resolución de 256×256.

Significancia y Reivindicaciones
El artículo afirma que el ensamblaje automatizado de expertos heterogéneos puede producir candidatos competitivos sin ajuste manual, como lo demuestra el 68.0% de precisión alcanzado en un solo ciclo de entrenamiento. Sin embargo, los autores son modestos respecto a la generalizabilidad de los rankings de precisión específicos, señalando que están condicionados por la presencia de AirNet debido al sesgo de cobertura.

La principal contribución científica es la identificación de un punto ciego de cobertura inherente a las búsquedas combinatorias a gran escala que utilizan la enumeración determinista ordenada con condiciones de parada basadas en el rendimiento (throughput). Los autores proponen una solución simple —el barajado aleatorio estratificado (stratified random shuffling) de la lista de combinaciones— para eliminar este sesgo en ejecuciones futuras. También identifican familias arquitectónicas específicas (FractalNet, MNasNet) que deberían excluirse del pool de expertos para mejorar la eficiencia y la calidad en campañas futuras. El pipeline, los artefactos de análisis y el generador corregido se liberan como código abierto.