Technische Samenvatting: Mellum 2

Probleemstelling

Het landschap van open-weight Large Language Models (LLM's) voor software engineering staat voor een afweging tussen kwaliteit en implementatiekosten. Dense modellen in de range van 4–14B parameters zijn kosteneffectief in gebruik, maar stagneren vaak bij complexe programmeer- en redeneertaken. Daarentegen bereiken zeer grote Mixture-of-Experts (MoE) modellen een frontier-kwaliteit, maar brengen implementatiekosten met zich mee die het dagelijks gebruik onder druk zetten. De uitdaging is om een model te creëren dat de lange staart van programmeerkennis en redeneervermogens absorbeert, terwijl het een per-token rekenkracht behoudt die vergelijkbaar is met een 2–3B dense model, wat praktische implementatie op commodity hardware (specifiek een enkele H100 GPU) mogelijk maakt binnen latentiegevoelige IDE-omgevingen.

Methodologie

Architectuurontwerp

Mellum 2 is een 12B-parameter decoder-only Transformer die gebruikmaakt van een Mixture-of-Experts (MoE) architectuur met 2,5B actieve parameters per token. Het ontwerp is afgeleid van het Qwen3-MoE recept, maar is aangepast met drie specifieke implementatiegerichte optimalisaties die gevalideerd zijn via ablatie-studies:

• Expertconfiguratie: Het model gebruikt 64 totale experts met 8 actieve experts per token (top-8 routing). Deze configuratie is gekozen als de optimale afweging tussen inferentie-latentie en modelkwaliteit, waardoor het model kan schalen naar ~12B totale parameters terwijl het de latentie van een 7B dense baseline evenaart.
• Grouped-Query Attention (GQA): Om de doorvoer onder hoge concurrentie te optimaliseren, gebruikt het model slechts 4 KV-heads (verlaagd ten opzichte van standaardconfiguraties). Ablaties toonden aan dat 8 heads de doorvoer aanzienlijk verslechterden, terwijl 2 heads de kwaliteit in gevaar brachten.
• Sliding Window Attention (SWA): Om de latentie te verminderen zonder het langetermijncontextverlies te vergroten, wordt SWA toegepast op 3 van de 4 lagen met een window size van 1.024 tokens. De resterende lagen gebruiken volledige aandacht (full attention).
• Multi-Token Prediction (MTP): Een enkele hulp-MTP-head voorspelt het volgende token naast de standaard next-token objective. Deze head dient een dubbel doel: als een hulp-pre-training objective en als een ingebouwde draft-model voor speculative decoding tijdens inferentie.

Pre-training

Het model is gepre-trained op ongeveer 10,6 biljoen tokens met behulp van een driefasige curriculum die de datamix progressief verschuift van diverse webcontent naar gecureerde code en wiskundige content:

1. Foundation (58% van de tokens): 70% web/algemene kennis, 23% code, 6% wiskunde.
2. Quality Uplift (26,2%): 44% web, 42% code, 14% wiskunde. Introduceert hoogwaardige gecureerde datasets.
3. Capability Sharpening (15,9%): 23% web, 59% code, 18% wiskunde. Richt zich op hoogwaardige synthetische code en redeneerdata tijdens de learning rate decay.

De training maakte gebruik van de Muon optimizer met FP8 hybrid mixed precision en een Warmup-Hold-Decay (WHD) learning rate schema. De datapijplijn bevatte een "Fill-in-the-Middle" (FIM) objective voor code-completion, waarbij de FIM-rates varieerden per fase (50% in Fase 1, 10% in Fase 2, 50% beperkt tot code in Fase 3).

Long-Context Extensie

De base model werd uitgebreid van een 8.192-token context naar 131.072 tokens (128K) met behulp van layer-selective YaRN. Deze methode past frequentie-remapping alleen toe op de globale (full-attention) lagen, waarbij de sliding window lagen hun originele RoPE-parameters behouden. Deze aanpak bleek beter te presteren dan uniforme RoPE-scaling of het ongewijzigd laten van de parameters.

Post-training

Er zijn twee varianten geproduceerd vanuit de long-context base:

1. Instruct: Een algemene assistent die direct antwoordt.
2. Thinking: Een redenerings-geaugmenteerde assistent die een expliciete chain of thought afgeeft vóór het uiteindelijke antwoord.

Beide varianten ondergingen Supervised Fine-Tuning (SFT) gevolgd door Reinforcement Learning with Verifiable Rewards (RLVR). De RL-fase maakte gebruik van een variant van GRPO (Group Relative Policy Optimization) met asynchrone rollouts en specifieke stabiliteitsmechanismen (IcePop truncatie) om mismatches tussen training en inferentie in de MoE-routers te beheersen. De beloningssignalen waren programmatisch verifieerbaar (bijv. unit tests voor code, symbolische verificatie voor wiskunde), waardoor een apart beloningsmodel overbodig werd.

Belangrijkste Bijdragen

• Efficiëntie-bewuste Architectuur: Een 12B/2,5B-actieve MoE-configuratie die de doorvoer van een 7B dense baseline (Qwen2.5-7B) op een enkele H100 GPU evenaart of overtreft, terwijl het een groter parameter-envelop biedt.
• Driefasige Pre-training Curriculum: Een systematische verschuiving van webdata naar gecureerde code/wiskunde (23% → 42% → 59% code ratio) over 10,6T tokens, geoptimaliseerd met Muon en FP8.
• Productie-schaal Training Recept: Integratie van Muon, FP8 hybrid precision en een Warmup-Hold-Decay schema met lineaire decay naar nul, wat stabiliteit demonstreert over de volledige training run.
• Long-Context Extensie: Succesvolle extensie naar 128K context met layer-selective YaRN, gevalideerd door RULER benchmarks.
• Duale Varianten: Release van zowel de "Instruct" als de "Thinking" varianten, beide verfijnd via RLVR op wiskundige en uitvoerbare coding taken.
• Open Release: Beschikbaarheid van base, instruct en thinking checkpoints onder de Apache 2.0 licentie.

Resultaten

Over benchmarks verspreid over code generatie, wiskunde, redeneren, toolgebruik en veiligheid, demonstreert Mellum 2 competitiviteit met open-weight baselines in de 4B–14B range:

• Code Generatie: De RL-getrainde Instruct variant behaalt 78,4% op EvalPlus (gemiddelde van HumanEval+ en MBPP+), waarmee het Qwen3.5-9B (71,8%) en Seed-Coder-8B (73,8%) overtreft. De Thinking variant bereikt 75,1% op LiveCodeBench v6, de hoogste score in zijn vergelijkingspanel.
• Redeneren & Wiskunde: Mellum 2 behaalt 59,3% op MMLU-Pro (boven de 48,6% van Qwen2.5-7B uit) en 74,9% op BBH. Op GSM-Plus bereikt de Thinking variant 87,0%, vergelijkbaar met grotere modellen.
• Tool Gebruik: De Thinking variant leidt het panel op BFCL v4 (agentic capaciteiten) met 45,6%, waarmee het de Qwen3.5 familie overtreft.
• Efficiëntie: In single-request (sync) modus matcht Mellum 2 Qwen2.5-7B op ~193 tokens/s. In high-concurrency (throughput) modus bereikt het 5.179 tokens/s, een verbetering van 21% ten opzichte van Qwen2.5-7B en 79% ten opzichte van Qwen3-8B.
• Beperkingen: Het model vertoont een bewuste afweging in brede wereldkennis (MMLU-Redux en GPQA Diamond), waarbij het achter de Qwen3.5 serie blijft, wat de focus op code en developer documentatie reflecteert. Veiligheidsmetrieken tonen een bekende "alignment tax" waarbij RL-training de schadelijke rates licht verhoogt vergeleken met de SFT-fase.

Betekenis

Het paper positioneert Mellum 2 als een praktische, open-weight oplossing voor het domein van software engineering, en bewijst dat een zorgvuldig ontworpen MoE-architectuur frontier-niveau coding en redeneervermogens kan leveren tegen een fractie van de inferentie-kosten van dense modellen van vergelijkbare prestaties. Door strikt vast te houden aan een inferentie-budget restrictie tijdens het architectuurontwerp (het matchen van de Qwen2.5-7B latentie), demonstreren de auteurs dat het mogelijk is om de totale parameters significant te schalen (naar 12B) zonder de implementatie haalbaarheid op commodity hardware op te offeren. De release van zowel de "Thinking" als de "Instruct" varianten, samen met het gedetailleerde technische rapport over het trainingsrecept en de datapijplijn, beoogt de community te voorzien van een reproduceerbaar ontwerppunt voor kleine MoE coding modellen.