Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

Technische Samenvatting: Mixture-of-Experts kan Dichte LLM's Overtreffen onder Strikt Gelijke Middelen

Probleemstelling
Hoewel Mixture-of-Experts (MoE) taalmodellen breed worden erkend om modelcapaciteit uit te breiden zonder de berekening per token te verhogen, blijft een kritische vraag onopgelost: kunnen MoE-architecturen dichte architecturen overtreffen wanneer ze strikt worden beperkt door identieke totale parameters ($N$), totale trainingsberekening ($C$) en totaal databudget ($D$)? Vorige vergelijkingen gaven vaak de voorkeur aan MoE door deze beperkingen te versoepelen (bijvoorbeeld door MoE toe te staan meer data te gebruiken of modellen met sterk verschillende aantallen parameters te vergelijken). Dit artikel adresseert het gat in het begrip of architecturale voordelen alleen, onder strikte middelenpariteit, superieure prestaties kunnen opleveren.

Methodologie
De auteurs stellen een nieuw perspectief voor en een rigoureuze drie-staps experimentele methodologie om een eerlijke vergelijking te garanderen onder vaste $N$, $C$ en $D$:

1. Geoptimaliseerde Architectuurzoektocht: Voordat activatiepercentages worden vergeleken, optimaliseren de auteurs systematisch de MoE-ruggengraat. Zij onderzoeken laagindelingen (volledige MoE, verweven, of 1-dicht + MoE), normalisatie van gatescores, toewijzing van parameters (Top-$K$-instellingen) en structurele hyperparameters (modelaspectratio $\zeta$ en FFN-expansieratio's). Zij identificeren een "1dicht + Gedeelde Expert"-configuratie met specifieke structurele ratio's ($\zeta \approx 88$, $\mu \approx 22$) als de optimale ruggengraat.
2. Activatiepercentage (AR) Analyse onder Vaste $N$ en $C$: Met behulp van de geoptimaliseerde ruggengraat trainen de auteurs MoE-modellen met variërende activatiepercentages ($r_a$, de ratio van geactiveerde parameters tot totale parameters) terwijl ze de totale trainingsberekening van een dichte baseline matchen. Om een gelijke $C$ te handhaven, worden MoE-modellen (die een lagere berekening per token hebben) aanvankelijk op proportioneel meer tokens getraind.
3. Datahergebruikstrategie: Om het unieke databudget ($D$) strikt gelijk te stellen, introduceren de auteurs een datahergebruikstrategie. Zij trainen modellen op een kleiner, vast uniek dataset $\hat{D}$ voor meerdere epochen. Zij vergelijken "strikt" hergebruik (exact matchen van $N, C, D$) en "los" hergebruik (vaststellen van epochen op 2) met dichte baselines getraind op unieke data.

Belangrijkste Resultaten
De studie omvatte het trainen van bijna 200 modellen op de 2B-schaal en meer dan 50 op de 7B-schaal, met in totaal 50 biljoen tokens verwerkt.

• Bestaan van een Optimaal Activatiepercentage: De experimenten onthullen een stabiel gebied van "optimaal activatiepercentage" ($R^*_a$) waar MoE-modellen consequent hun dichte tegenhangers overtreffen. Dit optimale percentage is ongeveer 20% ($r_a \approx 0,2$).
• Prestatiesuperioriteit: Onder vaste $N$ en $C$ bereiken MoE-modellen met $r_a \approx 20\%$ een lagere loss (betere prestaties) dan dichte modellen. Specifiek presteert een 2B MoE-model met optimaal AR beter dan een dicht model getraind met dezelfde berekening, en nadert het de prestaties van een dicht model getraind met dubbele berekening.
• Consistentie over Schalen: Het optimale activatiepercentage van ~20% blijft consistent over verschillende modelgroottes (2B, 3B en 7B), wat suggereert dat de bevinding onafhankelijk is van schaal binnen het geteste bereik. Dit staat in contrast met eerder werk dat suggereerde dat optimale sparsiteit schaalt met modelgrootte.
• Effectiviteit van Datahergebruik: De datahergebruikstrategie compenseert succesvol de extra datavereisten van MoE-modellen. Hoewel het hergebruiken van data een lichte prestatievermindering veroorzaakt in vergelijking met trainen op unieke data, overtreffen MoE-modellen met optimaal AR zelfs onder strikte databeperkingen nog steeds dichte baselines.
• Downstream Generalisatie: De superioriteit van MoE-modellen met $r_a \approx 20\%$ generaliseert naar downstream taken (SFT) over benchmarks voor redeneren, kennis, wiskunde en code. Opmerkelijk heeft datahergebruik een minimaal negatief effect op redeneertaken, maar verslechtert het kennisprestaties; echter, bij het optimale AR presteren SFT-MoE's met hergebruikte data nog steeds beter dan dichte modellen getraind op unieke data.

Betekenis en Claims
Het artikel claimt de eerste definitieve bewijzen te leveren dat MoE-architecturen dichte LLM's kunnen overtreffen onder strikt gelijke middelenbeperkingen ($N, C, D$), mits de architectuur is geoptimaliseerd en het activatiepercentage binnen het geïdentificeerde optimale gebied valt.

• Architecturaal Voordeel: De prestatiewinst wordt uitsluitend toegeschreven aan architecturale voordelen in plaats van verschillen in aantal parameters of berekeningsbudget.
• Middelen-efficiëntie: De bevindingen daagden de conventionele wijsheid uit dat dichte modellen superieur zijn wanneer middelen vaststaan, en effenen de weg voor middelen-efficiëntere architecturen in NLP-systemen van de volgende generatie.
• Praktische Strategie: De introductie van een datahergebruikstrategie toont aan dat de extra datavraag van MoE-modellen kan worden gemitigeerd, waardoor de superieure prestaties haalbaar zijn zonder unieke databudgetten die aanzienlijk groter zijn dan die van dichte modellen.

De auteurs erkennen beperkingen, waaronder de beperking om geen modellen groter dan 7B te trainen vanwege rekenkosten en de focus op specifieke MoE-componenten terwijl andere worden gefixeerd. Zij suggereren dat toekomstig werk kan onderzoeken hoe optimale activatiepercentages capaciteiten verbeteren in andere trainingsparadigma's zoals upcycling en MoEfication.