🤖 machine learning

Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search

Dit artikel presenteert een geautomatiseerde pijplijn voor het verkennen van heterogene 4-Expert Mixture-of-Expert-architecturen binnen de LEMUR-dataset, waarbij een kritische alfabetische enumeratiebias wordt onthuld die de zoekruimte beperkte tot AirNet-centrische combinaties, terwijl ShuffleNet en MobileNetV3 werden geïdentificeerd als optimale partners voor ensembles met een hoge nauwkeurigheid.

Oorspronkelijke auteurs: Yashkumar R Lukhi, Harsh Rameshbhai Moradiya, Radu Timofte, Dmitry Ignatov

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yashkumar R Lukhi, Harsh Rameshbhai Moradiya, Radu Timofte, Dmitry Ignatov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert de ultieme "supersoep" te creëren. Je hebt een voorraadkast (de LEMUR-dataset) gevuld met 29 verschillende soorten kant-en-klare bouillon (zoals kip, rund, groente, enz.). Je doel is om precies vier van deze bouillons met elkaar te mengen om te zien welke combinatie het lekkerst smaakt.

Dit artikel beschrijft een robotchef die probeerde dit automatisch te doen, maar die een grappige fout maakte die de resultaten veranderde. Dit is het verhaal van wat er gebeurde, eenvoudig uitgelegd.

1. Het Doel: Het Bouwen van een "Supersoep"

In de wereld van AI is een Mixture-of-Experts (MoE) als een team van specialisten. In plaats van één gigantisch brein dat een probleem probeert op te lossen, heb je vier kleinere, verschillende breinen die samenwerken.

De Taak: De robot moest 4 verschillende AI-"hersenen" (architecturen) uit de voorraadkast van 29 opties kiezen en ze samenvoegen tot één team.
De Wiskunde: Er zijn 23.751 mogbare manieren om 4 hersenen uit 29 te kiezen. Dat zijn veel soeprecepten om te testen!

2. De Keuken van de Robotchef

De onderzoekers bouwden een geautomatiseerde keuken (een pipeline) om dit werk zonder menselijke hulp te doen.

De Generator: Een robotscript dat de code voor de nieuwe soeprecepten schrijft. Het raadt niet zomaar wat; het assembleert de code zorgvuldig als een Lego-set.
De Veiligheidscontrole: Voordat de soep wordt gekookt, controleert de robot het recept drie keer:
1. Maakt de grammatica zin? (Syntaxcheck)
2. Past de pot op het fornuis? (CPU-test om te zien of de grootte werkt)
3. Hebben we deze soep al eens gemaakt? (Controleren op duplicaten)
Het Koken: Als het recept wordt goedgekeurd, gaat het op een zeer krachtig fornuis (een NVIDIA RTX 4090 grafische kaart) om slechts één dag (één trainings-epoch) te koken. Het doel was niet om een perfecte soep te maken, maar om de meest veelbelovende combinaties snel te vinden.

3. De Grote Fout: De "Alfabetische" Valstrik

De robotchef had de bedoeling om alle 23.751 combinaties te proberen. Echter, maakte het een cruciale fout in de manier waarop het ingrediënten koos.

De robot kreeg de opdracht om combinaties in alfabetische volgorde te kiezen.

Stel je voor dat je voorraadkast alfabetisch gesorteerd is. Het allereerste item is "AirNet."
De robot begon met het kiezen van recepten. Het koos eerst elke mogelijke combinatie die "AirNet" bevatte.
Omdat er zoveel manieren zijn om "AirNet" met drie andere ingrediënten te mengen, besteedde de robot al zijn tijd aan het maken van "AirNet"-soepen.
Het Resultaat: Na 28 dagen koken had de robot 1.146 recepten geprobeerd. Maar raad eens? Elk van hen bevatte "AirNet."
Het heeft zelfs nooit een soep geprobeerd die geen AirNet bevatte. Het heeft slechts 4,8% van de totale mogelijke recepten verkend. Het was alsoal een chef die alleen maar "kip-gebaseerde" soepen maakt en nooit een "rundvlees-gebaseerde" soep probeert, simpelweg omdat "Kip" als eerste op de lijst staat.

4. Wat Ze Vonden (Binnen de "AirNet" Zone)

Hoewel ze alleen naar "AirNet"-soepen keken, vonden ze nog steeds interessante dingen:

De Beste Ingrediënten: Wanneer "AirNet" werd gemengd met ShuffleNet of MobileNetV3, smaakte de soep het best (hoogste nauwkeurigheid). Dit waren de twee "geheime kruiden" die het team goed lieten werken.
De Slechte Ingrediënten:
- FractalNet: Dit ingrediënt was een ramp. Het was zo complex dat het steeds het fornuis liet doorbranden (gebrek aan geheugen/out of memory). Het was een "doodlopende weg."
- MNASNet: Dit ingrediënt liet het fornuis niet doorbranden, maar de soep smaakte verschrikkelijk. Het was een "laag-opbrengst" ingrediënt dat de prestaties van het team verslechterde.
De Kampioen: De beste soep die werd gevonden, was een mix van AirNet + AlexNet + DPN68 + ResNet. Deze behaalde een score van 68% op een standaardtest (CIFAR-10) in slechts één dag koken.

5. De Les die Geleerd is

De onderzoekers realiseerden zich dat hun robot bevooroordeeld was omdat hij te ordelijk was.

De Fix: In plaats van de recepten alfabetisch te kiezen, hadden ze de lijst willekeurig moeten husselen (shuffelen) voordat ze begonnen. Op die manier zou "AirNet" slechts in ongeveer 14% van de recepten voorkomen (wat eerlijk is), en zouden ze een echte smaak krijgen van alle mogelijke combinaties.

Samenvatting

Wat ze deden: Een robot gebouwd om automatisch 4 verschillende AI-modellen te mengen om het beste team te vinden.
Wat er misging: De robot kwam vast te zitten in een "alfabetische lus", waarbij hij alleen combinaties testte die één specifiek model (AirNet) bevatten, waardoor 95% van de mogelijkheden werd gemist.
Wat ze leerden: Ondanks deze fout ontdekten ze dat ShuffleNet en MobileNetV3 geweldige partners zijn voor AI-teams, terwijl FractalNet en MNASNet slechte partners zijn.
De les: Wanneer je op zoek bent naar de beste combinaties, ga dan niet simpelweg in volgorde; meng het willekeurig om te voorkomen dat je de beste opties mist.

De code en de fix voor deze "alfabetische valstrik" zijn vrijgegeven zodat anderen er gebruik van kunnen maken, zodat toekomstige robotchefs dezelfde fout niet maken.

Technische Samenvatting: Systematische Exploratie van 4-Expert Heterogene Mixture-of-Experts via Geautomatiseerde Pipeline-zoektocht

Probleemstelling
Het artikel adresseert de uitdaging van het verkennen van de enorme combinatorische ruimte van heterogene Mixture-of-Experts (MoE) architecturen. Specifiek richt het zich op de constructie van 4-Expert MoE (MoE4) ensembles met behulp van de LEMUR neurale netwerkdataset, die 29 verschillende basisarchitectuurfamilies bevat. De theoretische zoekruimte voor het selecteren van 4 unieke families uit 29 is $\binom{29}{4} = 23.751$ mogelijke combinaties. Voorgaand werk binnen het LEMUR-ecosysteem had slechts een klein aantal configuraties handmatig ontworpen, waardoor het grootste deel van deze ruimte onverkend bleef. De auteurs streven naar de automatisering van de ontdekking van hoogpresterende heterogene ensembles zonder te vertrouwen op Large Language Models (LLMs) voor de generatielus, wat eerder beperkt succes had getoond in 2-expert scenario's.

Methodologie
De auteurs ontwikkelden een volledig geautomatiseerde, 28-daagse zoekpipeline gebouwd op het NNGPT-framework, bestaande uit vier opeenvolgende stadia:

Expert Pool Constructie: Het systeem bevraagt de LEMUR-database om 29 gevestigde basisarchitectuurfamilies op te halen die getraind zijn op CIFAR-10. Het filtert LLM-gegenereerde mutaties, bestaande MoE-modellen en gegenereerde modellen met een lowercase-prefix eruit om een schone pool van onderscheidende architectuurfamilies te waarborgen.
Deterministische Code-assemblage: Een generator-script (AlterHeteroMoE4.py) assembleert programmatisch kandidaat MoE4-modellen. Het haalt broncode op voor vier geselecteerde families, hernoemt klassen om botsingen te voorkomen, voegt imports samen en instantieert een wrapper-template. De architectuur maakt gebruik van een HeterogeneousGate (een convolutioneel gating netwerk met temperatuurschaling) om inputs te routeren. De output is een gewogen som van expert-logits: $y = \sum_{i=1}^{4} g_i(x) \cdot f_i(x)$ . Training maakt gebruik van AdamW, mixup augmentatie ( $\alpha=0.2$ ), label smoothing en cosine-annealed learning rates.
Multi-Stage Validatie: Voordat GPU-evaluatie plaatsvindt, ondergaan kandidaten drie filters:
- Syntax Check: Python's compile() verifieert de correctheid van de code.
- CPU Forward-Pass Probe: Een dummy batch (2, 3, 256, 256) wordt door de CPU geleid om dimensie-mismatches te detecteren die syntax checks missen.
- Database Deduplicatie: Een MD5-checksum zorgt ervoor dat geen dubbele modellen worden geëvalueerd.
Campaign Automatisering: Een fouttolerante orchestrator (CampaignMoE4.py) beheert de genereer-en-evalueer lus over 197 batches. Het bewaart de status in JSON-bestanden, wat SSH-veilige hervatting na onderbrekingen mogelijk maakt, en streeft naar 1.000 succesvolle evaluaties.

Belangrijkste Bijdragen
Het artikel presenteert drie primaire engineering-bijdragen:

Deterministische Code-Assemblage Generator: Een tool die basisfamilies systematisch combineert tot syntactisch geldige, forward-pass-geverifieerde MoE4-modellen zonder LLM-aanroepen te vereisen, waarbij bewezen gating en trainingsconfiguraties worden hergebruikt.
Multi-Stage Validatie Pipeline: Een pre-GPU filtering systeem dat verspilde computationele middelen aanzienlijk vermindert door syntaxfouten, resolutie-afhankelijke dimensie-mismatches en duplicaten op te vangen.
Fouttolerante Campaign Automatisering: Een robuust orchestratiesysteem dat onbeheerde, langdurige (28-daagse) uitvoering mogelijk maakt met persistente statusbeheer.

Resultaten
De campagne draaide 28 dagen op een NVIDIA RTX 4090, genereerde 4.463 kandidaat-modellen en evalueerde succesvol 1.021 modellen.

Zoekruimte Dekkingsbias: Een kritische post-campaign analyse onthulde een ernstige dekkingsbias. Vanwege het gebruik van itertools.combinations op een gesorteerde lijst met modelnamen, enumerateerde de generator combinaties in lexicografische volgorde. Omdat "AirNet" alfabetisch als eerste komt, putte de generator alle $\binom{28}{3} = 3.276$ combinaties die AirNet bevatten uit voordat hij naar de volgende familie overging. De campagne stopte bij 1.146 combinaties, wat betekent dat 100% van de verkende ruimte verankerd was aan AirNet, en slechts 4,8% van de theoretische zoekruimte besloeg.
Prestatie-metrieken: Binnen de AirNet-verankerde scope bereikte het beste model (AirNet + AlexNet + DPN68 + ResNet) 68,0% Top-1 nauwkeurigheid op CIFAR-10 in een enkele trainings-epoch. De gemiddelde nauwkeurigheid over de succesvolle modellen was 0,5221.
Familie-niveau Analyse:
- Hoge Opbrengst Families: ShuffleNet (gem. acc: 0,632) en MobileNetV3 (gem. acc: 0,621) produceerden consistent de hoogste nauwkeurigheid-ensembles met succespercentages >96%.
- Lage Opbrengst Families: FractalNet had een succespercentage van slechts 0,7% vanwege frequente Out-of-Memory (OOM) fouten en vorm-mismatches. MNASNet degradeerde de kwaliteit van de ensembles consequent (gem. acc: 0,218).
Foutanalyse: 99,7% van de fouten werd veroorzaakt door CUDA OOM-fouten, primair door de geheugeneisen van het combineren van vier volledige netwerken bij een resolutie van 256×256.

Betekenis en Claims
Het artikel claimt dat de geautomatiseerde assemblage van heterogene experts competitieve kandidaten kan produceren zonder handmatige afstemming, zoals blijkt uit de 68,0% nauwkeurigheid behaald in een enkele epoch. De auteurs zijn echter bescheiden over de generaliseerbaarheid van de specifieke nauwkeurigheidsrangschikking, en merken op dat deze geconditioneerd is door de aanwezigheid van AirNet vanwege de dekkingsbias.

De primaire wetenschappelijke bijdrage is de identificatie van een coverage blind spot (dekkingsblind vlek) die inherent is aan grootschalige combinatorische zoektochten die gebruikmaken van gesorteerde deterministische enumeratie met throughput-gebaseerde stopvoorwaarden. De auteurs stellen een eenvoudige oplossing voor — gestratificeerde random shuffling van de combinatie-lijst — om deze bias in toekomstige runs te elimineren. Ze identificeren ook specifieke architectuurfamilies (FractalNet, MNASNet) die uit de expert pool verwijderd moeten worden om de efficiëntie en kwaliteit in toekomstige campagnes te verbeteren. De pipeline, analyse-artefacten en de gecorrigeerde generator worden als open-source vrijgegeven.