Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching

Technische Samenvatting: Dichte versus Sparse Pretraining op Tiny-Schaal

Probleemstelling
Mixture-of-Experts (MoE) transformers ontkoppelen het totale aantal parameters van de actieve capaciteit per token, wat theoretisch modellen in staat stelt grotere capaciteiten op te slaan terwijl slechts een subset van parameters wordt geactiveerd. Echter, veel van het bewijs dat de superioriteit van MoE ondersteunt, komt uit grootschalige, gedistribueerde omgevingen waar routeringsgedrag, communicatiekosten en systeemontwerp met elkaar verweven zijn, waardoor het moeilijk is om de bijdrage van het model te isoleren. Dit artikel adresseert een eenvoudigere empirische vraag: in een tiny-regime met toegang tot één GPU, levert het vervangen van dichte feed-forward netwerken (FFN's) door sparse gerouteerde experts een echte modelleringwinst op onder strikt gecontroleerde budgetten?

Methodologie
De studie vergelijkt dichte en sparse (MoE) transformers binnen een gedeelde LLaMA-stijl decoder-trainingstack, getraind op de TinyStories-dataset. Het experimentele ontwerp houdt de tokenizer, datapijplijn, optimizer, schema, diepte, contextlengte, normalisatiestijl en evaluatieprotocol constant. De sparse interventie vervangt dichte FFN-blokken door Mixtral-stijl gerouteerde experts.

Om eerlijkheid te waarborgen, hanteren de auteurs twee verschillende vergelijkingscriteria, waarbij de dichte baselines worden aangepast om specifieke budgetten te matchen:

1. Gekoppeld-Actief: De dichte baseline wordt aangepast zodat het aantal actieve parameters per token overeenkomt met het actieve gerouteerde pad van de MoE.
2. Gekoppeld-Totaal: De dichte baseline wordt aangepast zodat het totale opgeslagen aantal parameters overeenkomt met het volledige MoE-model.

De primaire sparse configuratie gebruikt vier experts, top-2 routing, dropless dispatch, Switch-stijl load balancing en router z-loss. Het trainingsdoel combineert next-token cross-entropy met load-balancing en router z-loss hulptermen. De studie opereert in een regime onder de 25 miljoen parameters (ongeveer 14,89 miljoen actief versus 21,06 miljoen totaal voor de MoE).

Belangrijkste Bijdragen

• Ontkoppelen van Eerlijkheidscriteria: Het artikel toont aan dat de conclusie van "dicht versus sparse" superioriteit volledig afhangt van het gebruikte eerlijkheidsmaatstaf. Het scheidt de analyse in gekoppeld-actieve en gekoppeld-totale vergelijkingen, en laat zien dat deze leiden tot verschillende rangordes.
• Stabiliteit van Sparse Training op Tiny-Schaal: De studie identificeert de specifieke ingrediënten die nodig zijn voor stabiele sparse training in kleine modellen. Naïeve top-1 routing stort direct in; Switch-stijl balancing is vereist om instorting te voorkomen, en de overstap naar top-2 routing levert de primaire kwaliteitswinst op. Router z-loss verbetert de routingstabiliteit en diagnostiek, in plaats van de primaire bron van vermindering van de validatieverlies te zijn.
• Routingdiagnostiek: De auteurs bieden uitgebreide routingdiagnostiek (meest bezette expert-fractie, gebruikvariatie, entropie, log-z) om te bevestigen dat de waargenomen winsten geen artefacten zijn van ingestorte of pathologische routing.

Resultaten
De studie presenteert een vergelijking met drie zaden over volledige data voor de drie configuraties:

• Gekoppeld-Actieve Vergelijking: Het MoE-model (ongeveer 14,77 miljoen actieve parameters) presteert significant beter dan de dichte actief-match baseline (ongeveer 14,89 miljoen actieve parameters). De MoE bereikt een beste validatieverlies van 1,5788 ± 0,0020, vergeleken met 1,6545 ± 0,0012 voor de dichte baseline. Dit resulteert in een verschil van 0,0758 ten gunste van de MoE.
• Gekoppeld-Totale Vergelijking: Het dichte model (ongeveer 21,06 miljoen totale parameters) blijft iets sterker dan de MoE (ongeveer 21,06 miljoen totale parameters). De dichte totaal-match baseline bereikt 1,5608 ± 0,0025, terwijl de MoE 1,5788 ± 0,0020 bereikt. Dit resulteert in een verschil van 0,0180 ten gunste van het dichte model.
• Trainingsdynamiek: Over trainingsbudgetten (40,5 miljoen tot 426,3 miljoen tokens) groeit het gekoppeld-actieve voordeel voor de MoE, terwijl het gekoppeld-totale voordeel voor het dichte model sterk afneemt. De MoE zit consequent tussen de twee dichte baselines: beter dan het dichte model met gelijke activiteit, maar iets slechter dan het dichte model met gelijke totale capaciteit.

Betekenis en Claims
Het artikel concludeert dat in dit regime onder de 25 miljoen parameters, conditionele berekening (MoE) het validatieverlies verbetert wanneer eerlijkheid wordt gedefinieerd door actieve parameters per token, maar dat het de dichte training niet overtreft wanneer eerlijkheid wordt gedefinieerd door totale opgeslagen capaciteit.

De auteurs stellen expliciet dat dit een gecontroleerde empirische studie is en geen voorstel voor een nieuwe architectuur. De betekenis ligt in het verduidelijken dat:

1. Sparse training al nuttig is in tiny-schaal regimes als de vergelijking gebaseerd is op actieve capaciteit.
2. Het "MoE-voordeel" geen ruwe superioriteit in totale capaciteit is, maar een voordeel dat voortkomt uit het conditionele gebruik van extra opgeslagen parameters.
3. De resultaten specifiek zijn voor het TinyStories-regime en niet claimen automatisch uit te breiden naar bredere corpora, grotere parameterregimes of downstream transfer-instellingen zonder verder onderzoek.

Het artikel onthoudt zich van het claimen van een wall-clock trainingsoverwinning, merkt op dat doorvoeranyses secundaire context zijn, en vermijdt causale claims over mechanismen van sluimerende capaciteit, en richt zich in plaats daarvan op het in kaart brengen van conclusies naar eerlijkheidscriteria.