Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search

Sintesi Tecnica: Esplorazione Sistematica di MoE Eterogenei a 4-Expert tramite Ricerca Automatizzata di Pipeline

Problematica
Il documento affronta la sfida di esplorare il vasto spazio combinatorio delle architetture eterogenee Mixture-of-Experts (MoE). Nello specifico, mira alla costruzione di ensemble MoE a 4-expert (MoE4) utilizzando il dataset di reti neurali LEMUR, che contiene 29 distinte famiglie di architetture base. Lo spazio di ricerca teorico per la selezione di 4 famiglie uniche tra 29 è $\binom{29}{4} = 23.751$ possibili combinazioni. Il lavoro precedente all'interno dell'ecosistema LEMUR aveva progettato manualmente solo un piccolo numero di configurazioni, lasciando la maggior parte di questo spazio inesplorato. Gli autori mirano ad automatizzare la scoperta di ensemble eterogenei ad alte prestazioni senza fare affidamento su Large Language Models (LLLLM) per il ciclo di generazione, che aveva precedentemente mostrato un successo limitato in scenari a 2-expert.

Metodologia
Gli autori hanno sviluppato una pipeline di ricerca completamente automatizzata di 28 giorni basata sul framework NNGPT, composta da quattro fasi sequenziali:

1. Costruzione del Pool di Expert: Il sistema interroga il database LEMUR per recuperare 29 famiglie di architetture base stabilite e addestrate su CIFAR-10. Filtra le mutazioni generate da LLM, i modelli MoE esistenti e i modelli generati con prefisso minuscolo per garantire un pool pulito di distinte famiglie architettoniche.
2. Assemblaggio Deterministico del Codice: Uno script generatore (AlterHeteroMoE4.py) assembla programmaticamente candidati modelli MoE4. Recupera il codice sorgente di quattro famiglie selezionate, rinomina le classi per evitare collisioni, unisce le importazioni e istanzia un template di wrapper. L'architettura utilizza una HeterogeneousGate (una rete di gating convoluzionale con scalatura della temperatura) per instradare gli input. L'output è una somma pesata dei logit degli expert: $y = \sum_{i=1}^{4} g_i(x) \cdot f_i(x)$. L'addestramento utilizza AdamW, augmentazione mixup ($\alpha=0.2$), label smoothing e learning rate con annealing a coseno.
3. Validazione Multi-stadio: Prima della valutazione su GPU, i candidati sono sottoposti a tre filtri:
   • Controllo Sintattico: La funzione compile() di Python verifica la correttezza del codice.
   • Probe Forward-Pass su CPU: Un batch dummy (2, 3, 256, 256) viene passato attraverso la CPU per rilevare discrepanze dimensionali che i controlli sintattici non colgono.
   • Deduplicazione nel Database: Un checksum MD5 assicura che nessun modello duplicato venga valutato.
4. Automazione della Campagna: Un orchestratore tollerante ai guasti (CampaignMoE4.py) gestisce il ciclo generazione-valutazione su 197 batch, persistendo lo stato in file JSON, consentendo la ripresa sicura via SSH dopo interruzioni, e punta a 1.000 valutazioni andate a buon fine.

Contributi Chiave
Il documento presenta tre contributi ingegneristici primari:

• Generatore di Assemblaggio Codice Deterministico: Uno strumento che combina sistematicamente le famiglie base in modelli MoE4 sintatticamente validi e verificati tramite forward-pass, senza richiedere chiamate a LLM, riutilizzando configurazioni di gating e addestramento collaudate.
• Pipeline di Validazione Multi-stadio: Un sistema di filtraggio pre-GPU che riduce significativamente lo spreco di risorse computazionali intercettando errori sintattici, discrepanze dimensionali dipendenti dalla risoluzione e duplicati.
• Automazione della Campagna Fault-Tolerant: Un robusto sistema di orchestrazione che consente l'esecuzione non presidiata e a lungo termine (28 giorni) con gestione dello stato persistente.

Risultati
La campagna è durata 28 giorni su una NVIDIA RTX 4090, generando 4.463 modelli candidati e valutando con successo 1.021 modelli.

• Bias di Copertura dello Spazio di Ricerca: Un'analisi post-campagna critica ha rivelato un severo bias di copertura. A causa dell'uso di itertools.combinations su una lista ordinata di nomi di modelli, il generatore ha enumerato le combinazioni in ordine lessicografico. Poiché "AirNet" è il primo alfabeticamente, il generatore ha esaurito tutte le $\binom{28}{3} = 3.276$ combinazioni contenenti AirNet prima di passare alla famiglia successiva. La campagna si è fermata a 1.146 combinazioni, il che significa che il 100% dello spazio esplorato era ancorato ad AirNet, coprendo solo il 4,8% dello spazio teorico.
• Metriche di Performance: All'interno dello scope ancorato ad AirNet, il miglior modello (AirNet + AlexNet + DPN68 + ResNet) ha raggiunto il 68,0% di accuratezza Top-1 su CIFAR-10 in un singolo epoch di addestramento. L'accuratezza media tra i modelli con successo è stata di 0,5221.
• Analisi a Livello di Famiglia:
  • Famiglie ad Alta Resa: ShuffleNet (accuratezza media: 0,632) e MobileNetV3 (accuratezza media: 0,621) hanno prodotto costantemente gli ensemble con la maggiore accuratezza e tassi di successo >96%.
  • Famiglie a Bassa Resa: FractalNet ha avuto un tasso di successo di solo lo 0,7% a causa di frequenti errori Out-of-Memory (OOM) e discrepanze di forma. MNASNet ha costantemente degradato la qualità dell'ensemble (accuratezza media: 0,218).
• Analisi dei Fallimenti: Il 99,7% dei fallimenti è stato causato da errori CUDA OOM, principalmente dovuti alle richieste di memoria per la combinazione di quattro reti complete a risoluzione 256×256.

Significatività e Rivendicazioni
Il documento sostiene che l'assemblaggio automatizzato di expert eterogenei può produrre candidati competitivi senza tuning manuale, come dimostrato dal 68,0% di accuratezza raggiunto in un singolo epoch. Tuttavia, gli autori sono cauti sulla generalizzabilità delle specifiche classifiche di accuratezza, notando che sono condizionate dalla presenza di AirNet a causa del bias di copertura.

Il principale contributo scientifico è l'identificazione di un punto cieco di copertura inerente alle ricerche combinatorie su larga scala che utilizzano l'enumerazione deterministica ordinata con condizioni di arresto basate sul throughput. Gli autori propongono una soluzione semplice — lo shuffling casuale stratificato della lista delle combinazioni — per eliminare questo bias nelle esecuzioni future. Identificano inoltre specifiche famiglie architettoniche (FractalNet, MNASNet) che dovrebbero essere escluse dal pool di expert per migliorare l'efficienza e la qualità nelle campagne future. La pipeline, gli artefatti di analisi e il generatore corretto vengono rilasciati come open-source.