Dense2MoE: Pushing the Pareto Frontier of On-Device LLMs via Unified Pruning and Upcycling

Technische Samenvatting: Dense2MoE

Probleemstelling
De implementatie van Large Language Models (LLM's) op randapparatuur met beperkte middelen (bijvoorbeeld autonoom rijden, edge AI) wordt ernstig gehinderd door de "inference memory wall" (inference-geheugengrens). Volgens de hardware Roofline-theorie zijn dichte LLM's geheugenbeperkt tijdens autoregressieve decoding, wat betekent dat het simpelweg verminderen van theoretische FLOPs onvoldoende is om de latentie te verbeteren. Bestaande oplossingen staan voor een fundamentele afweging:

1. Gestructureerde Pruning: Methoden zoals UIDL verminderen de latentie door redundante lagen te verwijderen, maar offeren onvermijdelijk modelnauwkeurigheid op door Multi-Layer Perceptrons (MLP's) te verwijderen, die dienen als de primaire kennisopslag van LLM's.
2. MoE Upcycling: Het converteren van dichte modellen naar Mixture-of-Experts (MoE)-architecturen verhoogt de capaciteit zonder lineair de dynamische berekening te verhogen. Standaard upcycling lijdt echter vaak aan "representation collapse" door homogene expert-initialisatie (het dupliceren van native MLP's), wat enorme continue voortraining vereist om specialisatie te induceren. Bovendien richten recente methoden voor het hergebruiken van sparsiteit zich vaak op intra-lagenredundantie, waardoor ze het macro-niveau van inter-lagen structurele overlappingen die redundante attention- en KV-cache-laadoverhead veroorzaken, niet aanpakken.

Methodologie: Dense2MoE
De auteurs stellen Dense2MoE voor, een unificerend kader dat gestructureerde lagenpruning integreert met MoE upcycling via een nieuwe techniek genaamd Layer-Fusion Upcycling (LF-UC). De methode werkt in drie fasen:

1. Inter-Lagen Similariteitsanalyse: Het kader identificeert structurele redundantie door aangrenzende lagen te analyseren op hoge cosinus-similariteit in zowel decoder-uitgangen als MLP-ingangen. Cruciaal is dat het een strikte feature-norm-matchingbeperking oplegt om ervoor te zorgen dat het hergebruiken van redundante MLP's geen activatie-anomalieën of schaalverschuivingen introduceert.
2. Layer-Fusion Upcycling (LF-UC): In plaats van redundante lagen volledig te verwijderen, pruneert Dense2MoE fysiek alleen de attention-modules (MHA) van deze lagen om geheugenbandbreedte-intensieve bewerkingen te elimineren. De voorgetrainde MLP's van deze gepreunde lagen worden behouden en hergebruikt als heterogene experts binnen de behouden basislagen.
   • Dit creëert een expertpool waarbij "basis-experts" gedupliceerde native MLP's zijn en "aanvullende experts" de behouden MLP's van gepreunde lagen zijn.
   • Een dynamische token-niveau router selecteert tokens voor deze experts of omzeilt ze via residuele paden.
   • Dit ontwerp maakt gebruik van inter-lagen structurele heterogeniteit om de "Winner-Takes-All" routing-collapse die gebruikelijk is bij homogene upcycling, te mitigeren.
3. Continue Voortraining: De gemodificeerde architectie ondergaat een lichtgewicht fase van continue voortraining (225 miljard tokens) om het routeringsmechanisme te optimaliseren en de gefuseerde experts uit te lijnen. Deze begroting verbruikt minder dan 1% van de rekenkracht die nodig is om een MoE-model vanaf nul te trainen.

Om de optimale pruningdiepte te bepalen, maken de auteurs gebruik van een hardware-bewuste beloningsmetriek, geïnspireerd door MnasNet, die pruningbeperkingen afbeeldt op de Pareto-grens van latentie versus nauwkeurigheid voor specifieke doelhardware (bijvoorbeeld NVIDIA Jetson Thor-U).

Belangrijkste Bijdragen

• Unificerend Kader: Dense2MoE integreert naadloos gestructureerde lagenpruning en MoE upcycling, waardoor de afweging tussen inference-efficiëntie en modelnauwkeurigheid wordt opgelost.
• Nieuwe Architectuur (LF-UC): Door attention-flessenhals te pruningen terwijl MLP's worden gerecycleerd als heterogene experts, vermindert de methode het geheugenbandbreedteverbruik zonder de representatieve capaciteit te vernietigen.
• State-of-the-Art Pareto-Optimaliteit: Het kader verbetert de Pareto-grens voor on-device inference-latentie versus modelnauwkeurigheid, en presteert beter dan dichte baselines, state-of-the-art compressiemethoden en standaard upcycling-benaderingen.
• Robuuste Schaalbaarheid: De methode is gevalideerd over verschillende modelschalen (0,5B tot 7B) en verschillende architectuurfamilies (Qwen2.5 en LLaMA2).

Experimentele Resultaten
Geëvalueerd op 9 diverse benchmarks (waaronder MMLU, ARC, GSM8K en HumanEval) met Qwen2.5- en LLaMA2-modellen:

• Prestaties versus Latentie: De optimale Dense2MoE-configuratie (waarbij 19 lagen worden behouden uit een 24-lagen Qwen2.5-0.5B seed) bereikte een fysieke inference-latentie van 271,0 ms op de Thor-U SoC (tegenover 307,5 ms voor het seed-model), terwijl het een gemiddelde benchmarkscore van 47,31 behaalde, wat aanzienlijk beter is dan de dichte baseline (37,53).
• Vergelijking met Baselines: In tegenstelling tot traditionele pruningmethoden (bijvoorbeeld UIDL, LLM-Streamline) en methoden voor sparsere hergebruik (bijvoorbeeld ToMoE, LLaMA-MoE), die leden aan ernstige capaciteitsinval in redenerings- en coderingstaken, behield Dense2MoE een robuuste representatieve retentie. Het presteerde met meer dan 9,78 procentpunten beter dan de dichte baseline in gemiddelde score, terwijl slechts 0,42B parameters werden geactiveerd.
• Schaalbaarheid: Bij toepassing op grotere modellen (Qwen2.5-1.5B en LLaMA2-7B) presteerde Dense2MoE consistent beter dan hun dichte tegenhangers met respectievelijk 3,04 en 3,54 procentpunten, na fine-tuning op hetzelfde 225 miljard-token dataset.

Betekenis
Het artikel beweert dat Dense2MoE een praktische, industriestandaardrecept biedt voor het hergebruiken van open-source dichte LLM's in zeer efficiënte on-device architecturen. Door systematisch gebruik te maken van inter-lagen structurele redundantie, maakt het de gezamenlijke optimalisatie van inference-latentie en modelnauwkeurigheid mogelijk. Het werk toont aan dat het mogelijk is om de inference-geheugengrens te doorbreken en complexe redeneercapaciteiten te behouden zonder de prohibitieve kosten van het trainen van MoE-modellen vanaf nul of de nauwkeurigheidsevaluatie die gepaard gaat met agressieve pruning. Dit biedt een flexibel continuüm van modellen dat optimaal is voor latentie-kritieke edge-implementaties.