Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search

Resumo Técnico: Exploração Sistemática de MoE Heterogêneo de 4 Especialistas via Busca de Pipeline Automatizado

Definição do Problema
O artigo aborda o desafio de explorar o vasto espaço combinatório de arquiteturas de Mistura de Especialistas (MoE) heterogêneas. Especificamente, visa a construção de ensembles de MoE de 4 Especialistas (MoE4) utilizando o conjunto de dados de rede neural LEMUR, que contém 29 famílias de arquiteturas base distintas. O espaço de busca teórico para selecionar 4 famílias únicas de 29 é $\binom{29}{4} = 23.751$ combinações possíveis. Trabalhos anteriores dentro do ecossistema LEMUR haviam projetado manualmente apenas um pequeno número de configurações, deixando a maior parte deste espaço inexplorada. Os autores visam automatizar a descoberta de ensembles heterogêneos de alto desempenho sem depender de Grandes Modelos de Linguagem (LLMs) para o loop de geração, o que anteriormente mostrou sucesso limitado em cenários de 2 especialistas.

Metodologia
Os autores desenvolveram um pipeline de busca totalmente automatizado de 28 dias construído sobre o framework NNGPT, consistindo em quatro estágios sequenciais:

1. Construção do Pool de Especialistas: O sistema consulta o banco de dados LEMUR para recuperar 29 famílias de arquiteturas base estabelecidas e treinadas no CIFAR-10. Ele filtra mutações geradas por LLM, modelos MoE existentes e modelos gerados com prefixo de letras minúsculas para garantir um pool limpo de famílias arquiteturais distintas.
2. Montagem de Código Determinística: Um script gerador (AlterHeteroMoE4.py) monta programaticamente modelos MoE4 candidatos. Ele recupera o código-fonte de quatro famílias selecionadas, renomeia classes para evitar colisões, mescla importações e instancia um template de wrapper. A arquitetura emprega um HeterogeneousGate (uma rede de gating convolucional com escalonamento de temperatura) para rotear entradas. A saída é uma soma ponderada dos logits dos especialistas: $y = \sum_{i=1}^{4} g_i(x) \cdot f_i(x)$. O treinamento utiliza AdamW, aumento de mixup ($\alpha=0.2$), suavização de rótulos (label smoothing) e taxas de aprendizado com decaimento de cosseno (cosine-annealed).
3. Validação de Múltiplos Estágios: Antes da avaliação em GPU, os candidatos passam por três filtros:
   • Verificação de Sintaxe: O compile() do Python verifica a correção do código.
   • Probe de Forward-Pass em CPU: Um lote fictício (2, 3, 256, 256) é passado através da CPU para detectar incompatibilidades de dimensões que as verificações de sintaxe ignoram.
   • Deduplicação de Banco de Dados: Um checksum MD5 garante que nenhum modelo duplicado seja avaliado.
4. Automação de Campanha: Um orquestrador tolerante a falhas (CampaignMoE4.py) gerencia o loop de geração-avaliação ao longo de 197 lotes. Ele persiste o estado em arquivos JSON, permitindo a retomada segura via SSH após interrupções, e visa 1.000 avaliações bem-sucedidas.

Principais Contribuições
O artigo apresenta três contribuições de engenharia primárias:

• Gerador de Montagem de Código Determinístico: Uma ferramenta que combina sistematicamente famílias base em modelos MoE4 sintaticamente válidos e verificados em forward-pass, sem exigir chamadas de LLM, reutilizando configurações de gating e treinamento comprovadas.
• Pipeline de Validação de Múltiplos Estágios: Um sistema de filtragem pré-GPU que reduz significativamente o desperdício de recursos computacionais ao capturar erros de sintaxe, incompatibilidades de dimensões dependentes de resolução e duplicatas.
• Automação de Campanha Tolerante a Falhas: Um sistema de orquestração robusto que permite a execução ininterrupta de longa duração (28 dias) com gerenciamento de estado persistente.

Resultos
A campanha rodou por 28 dias em uma NVIDIA RTX 4090, gerando 4.463 modelos candidatos e avaliando com sucesso 1.021 modelos.

• Viés de Cobertura do Espaço de Busca: Uma análise pós-campanha crítica revelou um severo viés de cobertura. Devido ao uso de itertools.combinations em uma lista ordenada de nomes de modelos, o gerador enumerou as combinações em ordem lexicográfica. Como "AirNet" é a primeira alfabeticamente, o gerador esgotou todas as $\binom{28}{3} = 3.276$ combinações contendo a AirNet antes de passar para a próxima família. A campanha parou em 1.146 combinações, o que significa que 100% do espaço explorado estava ancorado na AirNet, cobrindo apenas 4,8% do espaço de busca teórico.
• Métricas de Desempenho: Dentro do escopo ancorado na AirNet, o melhor modelo (AirNet + AlexNet + DPN68 + ResNet) alcançou 68,0% de acurácia Top-1 no CIFAR-10 em um único epoch de treinamento. A acurácia média entre os modelos bem-sucedidos foi de 0,5221.
• Análise por Família:
  • Famílias de Alto Rendimento: ShuffleNet (acurácia média: 0,632) e MobileNetV3 (acurácia média: 0,621) produziram consistentemente os ensembles de maior acurácia com taxas de sucesso >96%.
  • Famílias de Baixo Rendimento: FractalNet teve uma taxa de sucesso de apenas 0,7% devido a frequentes erros de Out-of-Memory (OOM) e incompatibilidades de forma (shape mismatches). MNASNet consistentemente degradou a qualidade do ensemble (acurácia média: 0,218).
• Análise de Falhas: 99,7% das falhas foram causadas por erros de CUDA OOM, primariamente causados pelas demandas de memória de combinar quatro redes completas em resolução de 256×256.

Significância e Alegações
O artigo afirma que a montagem automatizada de especialistas heterogêneos pode produzir candidatos competitivos sem ajuste manual, como evidenciado pela acurácia de 68,0% alcançada em um único epoch. No entanto, os autores são modestos quanto à generalizabilidade dos rankings de acurácia específicos, observando que eles estão condicionados à presença da AirNet devido ao viés de cobertura.

A principal contribuição científica é a identificação de um ponto cego de cobertura inerente a buscas combinatórias de larga escala que utilizam enumeração determinística ordenada com condições de parada baseadas em throughput. Os autores propõem uma correção simples — o embaralhamento aleatório estratificado da lista de combinações — para eliminar este viés em execuções futuras. Eles também identificam famílias arquiteturais específicas (FractalNet, MNASNet) que devem ser excluídas do pool de especialistas para melhorar a eficiência e a qualidade em campanhas futuras. O pipeline, os artefatos de análise e o gerador corrigido são liberados como código aberto.