💬 NLP

Mellum2 Technical Report

Mellum 2 ist ein Open-Weight-Mixture-of-Experts-Sprachmodell mit 12 Mrd. Parametern und 2,5 Mrd. aktiven Parametern pro Token, das auf Software Engineering und agentische Aufgaben spezialisiert ist und durch architektonische Innovationen wie Multi-Token-Prediction und ein dreiphasiges Trainings-Curriculum über 10,6 Billionen Token eine wettbewerbsfähige Leistung im Vergleich zu größeren Modellen erzielt.

Ursprüngliche Autoren: Marko Kojic, Ivan Bondyrev, Aral de Moor, Joseph Shtok, Petr Borovlev, Kseniia Lysaniuk, Madeeswaran Kannan, Ivan Dolgov, Nikita Pavlichenko

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Marko Kojic, Ivan Bondyrev, Aral de Moor, Joseph Shtok, Petr Borovlev, Kseniia Lysaniuk, Madeeswaran Kannan, Ivan Dolgov, Nikita Pavlichenko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen superintelligenten Coding-Assistenten zu bauen, der in Ihrem Computer lebt. Die Herausforderung ist, dass Sie wollen, dass er unglaublich klug ist (wie ein Senior Engineer), aber auch unglaublich schnell und günstig im Betrieb (wie ein Standard-Bürolaptop). Normalerweise muss man sich entscheiden: Entweder ist die „kluge“ Version riesig und langsam, oder die „schnelle“ Version ist zu simpel, um schwierige Probleme zu bewältigen.

Das Team bei JetBrains hat Mellum 2 entwickelt, um genau dieses Problem zu lösen. Hier ist die Erklärung, wie sie es geschafft haben, vereinfacht dargestellt:

1. Das „Schweizer Taschenmesser“-Gehirn (Die Architektur)

Die meisten KI-Modelle sind wie eine einzige, riesige Gehirnzelle, die alles macht. Mellum 2 ist anders. Es ist aufgebaut wie ein Mixture-of-Experts (MoE).

Die Analogie: Stellen Sie sich eine riesige Bibliothek mit 64 verschiedenen spezialisierten Bibliothekaren vor. Wenn Sie eine Frage stellen, weckt das Modell nicht alle 64 Bibliothekare auf. Stattdessen hat es einen smarten Manager, der nur die 8 relevantesten Bibliothekare für Ihre spezifische Frage auswählt.
Das Ergebnis: Das Modell besitzt das gesamte Wissen eines 12-Milliarden-Parameter-„Riesengehirns“, aber für jedes einzelne Wort, das es schreibt, „denkt“ es nur mit der Kraft eines 2,5-Milliarden-Parameter-Gehirns. Das macht es schnell genug, um auf Standard-Hardware zu laufen, während es gleichzeitig sehr intelligent bleibt.

2. Die „Sliding Window“- und „Drafting“-Tricks

Um es noch schneller zu machen, haben sie zwei clevere Abkürzungen hinzugefügt:

Sliding Window (Gleitendes Fenster): Anstatt zu versuchen, sich jedes einzelne Wort zu merken, das Sie jemals in einem Gespräch getippt haben (was langsam wird), konzentriert sich das Modell auf die letzten 1.024 Wörter wie ein gleitendes Fenster auf einem Zug. Es hält den aktuellsten Kontext scharf, während ältere Details verblassen, was eine Menge Energie spart.
Der „Draft“-Assistent: Das Modell hat einen winzigen, eingebauten „Entwurfs-Assistenten“. Bevor es sich festlegt, eine endgültige Antwort zu schreiben, rät dieser kleine Assistent die nächsten paar Wörter. Wenn die Vermutung richtig ist, überspringt das Hauptmodell die Arbeit und akzeptiert sie einfach. Es ist, als ob ein Autor einen Freund hätte, der ihm den nächsten Satz zuflüstert, damit er schneller tippen kann.

3. Das „Drei-Phasen“-Schulcurriculum

Sie haben das Modell nicht einfach mit zufälligen Daten gefüttert. Sie haben es in drei spezifischen Stadien unterrichtet, wie ein Schulcurriculum:

Phase 1 (Der Generalist): Sie begannen mit einer riesigen Mischung aus allgemeinen Internetdaten (70 %) und etwas Code (23 %). Dies gab dem Modell ein breites Verständnis dafür, wie Menschen sprechen und schreiben.
Phase 2 (Der Spezialist): Sie verschoben die Mischung hin zu mehr hochwertigem Code (42 %) und Mathematik. Hier begann das Modell, die spezifischen Regeln der Programmierung zu lernen.
Phase 3 (Der Meister): In der letzten Phase bestand die Mischung fast ausschließlich aus Code und Mathematik (59 % Code). Dies ist das „Bootcamp“, in dem das Modell seine Fähigkeiten schärfte, um ein Experte im Codieren zu werden.

4. Zwei Persönlichkeiten: „Instruct“ und „Thinking“

Aus demselben trainierten Gehirn haben sie zwei Versionen des Modells veröffentlicht:

Das „Instruct“-Modell: Dies ist der direkte Arbeiter. Sie stellen eine Frage, und es liefert sofort die Antwort. Es eignet sich hervorragend für schnelle Aufgaben.
Das „Thinking“-Modell: Dies ist der tiefe Denker. Bevor es Ihnen eine Antwort gibt, schreibt es einen „Reasoning Trace“ (einen Begründungspfad) – eine schrittweise Erklärung, wie es das Problem gelöst hat. Das ist so, als würde ein Schüler seinen Rechenweg bei einer Mathearbeit zeigen. Das Paper stellte fest, dass dieser „Thinking“-Modus das Modell wesentlich besser darin macht, komplexe Logikrätsel und anspruchsvolle Coding-Herausforderungen zu lösen.

5. Der „Beweis“ (Testen)

Sie haben Mellum 2 gegen andere populäre Modelle getestet.

Geschwindigkeit: Es läuft so schnell wie ein 7-Milliarden-Parameter-Modell (welches viel kleiner ist als seine gesamte Größe von 12 Milliarden), ist aber intelligenter als viele Modelle seiner Größenordnung.
Coding: Es zeichnet sich beim Schreiben von Code, beim Debugging und beim Einsatz von Tools (wie der Websuche oder dem Ausführen von Befehlen) aus.
Der Kompromiss: Da sie sich so stark darauf konzentriert haben, ein Coding-Experte zu werden, ist es in Bezug auf allgemeine Weltfakten (wie Geschichte oder Biologie) etwas weniger wissend als Modelle, die als allgemeine Chatbots trainiert wurden. Aber für seinen eigentlichen Job – die Unterstützung von Entwicklern – ist es ein Top-Performer.

Zusammenfassung

Mellum 2 ist ein spezialisierter Coding-Assistent, der eine „Team von Experten“-Architektur nutzt, um sowohl intelligent als auch schnell zu sein. Es wurde durch ein sorgfältig gestaltetes Curriculum trainiert, um Code und Mathematik zu meistern, und es gibt es in zwei Varianten: eine für schnelle Antworten und eine für tiefes, schrittweises Denken. Das Team hat es kostenlos veröffentlicht, damit jeder es nutzen kann, um bessere Software zu entwickeln.

Technisches Resümee: Mellum 2

Problemstellung

Die Landschaft der Open-Weight-Large-Language-Models (LLMs) für das Software Engineering steht vor einem Zielkonflikt zwischen Qualität und Bereitstellungskosten. Dichte Modelle im Bereich von 4–14 Milliarden Parametern sind kosteneffizient im Betrieb, stagnieren jedoch oft bei komplexen Programmier- und Denkaufgaben. Im Gegensatz dazu erreichen sehr große Mixture-of-Experts (MoE)-Modelle eine Spitzenqualität, verursachen jedoch Bereitstellungskosten, die den alltäglichen Einsatz erschweren. Die Herausforderung besteht darin, ein Modell zu schaffen, das das „Long Tail“ des Programmierwissens und der Denkfähigkeiten absorbiert und gleichzeitig einen Rechenaufwand pro Token beibehält, der mit einem dichten 2–3B-Modell vergleichbar ist, um einen praktischen Einsatz auf Standardhardware (speziell einer einzelnen H100-GPU) in latenzsensitiven IDE-Umgebungen zu ermöglichen.

Methodik

Architekturdesign

Mellum 2 ist ein 12-Milliarden-Parameter-Decoder-only-Transformer, der eine Mixture-of-Experts (MoE)-Architektur mit 2,5 Milliarden aktiven Parametern pro Token nutzt. Das Design leitet sich vom Qwen3-MoE-Rezept ab, wurde jedoch mit drei spezifischen, auf die Bereitstellung ausgerichteten Optimierungen modifiziert, die durch Ablationsstudien validiert wurden:

Experten-Konfiguration: Das Modell verwendet insgesamt 64 Experten, wovon 8 pro Token aktiv sind (Top-8-Routing). Diese Konfiguration wurde als optimaler Kompromiss zwischen Inferenzlatenz und Modellqualität ausgewählt, da sie es dem Modell ermöglicht, auf etwa 12B Gesamtparameter zu skalieren und gleichzeitig die Latenz eines dichten 7B-Baselines zu erreichen.
Grouped-Query Attention (GQA): Um den Durchsatz unter hoher Nebenläufigkeit zu optimieren, verwendet das Modell nur 4 KV-Heads (reduziert von Standardkonfigurationen). Ablationen zeigten, dass 8 Heads den Durchsatz signifikant verschlechterten, während 2 Heads die Qualität beeinträchtigten.
Sliding Window Attention (SWA): Um die Latenz zu reduzieren, ohne den Langzeitkontext zu opfern, wird SWA auf 3 von 4 Layern mit einer Fenstergröße von 1.024 Tokens angewendet. Die verbleibenden Layer nutzen Full Attention.
Multi-Token Prediction (MTP): Ein einzelner Hilfs-MTP-Head sagt neben dem Standard-Next-Token-Ziel das nächste Token voraus. Dieser Head dient einem dualen Zweck: als Hilfsziel beim Pre-Training und als eingebautes Draft-Modell für das Speculative Decoding während der Inferenz.

Pre-Training

Das Modell wurde auf etwa 10,6 Billionen Tokens vortrainiert, wobei ein dreiphasiges Curriculum verwendet wurde, das die Datenmischung progressiv von diversen Web-Inhalten zu kuratierten Code- und mathematischen Inhalten verschiebt:

Foundation (58 % der Tokens): 70 % Web/Allgemeinwissen, 23 % Code, 6 % Mathematik.
Quality Uplift (26,2 %): 44 % Web, 42 % Code, 14 % Mathematik. Einführung hochwertiger, kuratierter Datensätze.
Capability Sharpening (15,9 %): 23 % Web, 59 % Code, 18 % Mathematik. Fokus auf hochwertigen synthetischen Code und Reasoning-Daten während des Lernraten-Decays.

Das Training nutzte den Muon-Optimizer mit FP8-Hybrid-Mixed-Precision und einem Warmup-Hold-Decay (WHD) Lernratenplan. Die Datenpipeline beinhaltete ein „Fill-in-the-Middle“ (FIM)-Ziel für die Code-Vervollständigung, wobei die FIM-Raten je nach Phase variierten (50 % in Phase 1, 10 % in Phase 2, 50 % beschränkt auf Code in Phase 3).

Long-Context Extension

Das Basismodell wurde von einem 8.192-Token-Kontext auf 131.072 Tokens (128K) mittels layer-selektivem YaRN erweitert. Diese Methode wendet das Frequenz-Remapping nur auf die globalen (Full-Attention) Layer an, während die Sliding-Window-Layer ihre ursprünglichen RoPE-Parameter behalten. Dieser Ansatz erwies sich als überlegen gegenüber einheitlichem RoPE-Scaling oder dem Beibehalten unveränderter Parameter.

Post-Training

Aus dem Long-Context-Basismodell wurden zwei Varianten erstellt:

Instruct: Ein allgemeiner Assistent, der direkt antwortet.
Thinking: Ein reasoning-augmentierter Assistent, der vor der endgültigen Antwort eine explizite Chain of Thought ausgibt.

Beide Varianten durchliefen Supervised Fine-Tuning (SFT) gefolgt von Reinforcement Learning with Verifiable Rewards (RLVR). Die RL-Phase nutzte eine Variante von GRPO (Group Relative Policy Optimization) mit asynchronen Rollouts und spezifischen Stabilitätsmechanismen (IcePop-Truncation), um Train-Inference-Mismatches in den MoE-Routern zu handhaben. Die Reward-Signale waren programmatisch verifizierbar (z. B. Unit-Tests für Code, symbolische Verifikation für Mathematik), wodurch ein separates Reward-Modell überflüssig wurde.

Zentrale Beiträge

Effizienzbewusste Architektur: Eine 12B/2,5B-aktive MoE-Konfiguration, die den Durchsatz eines dichten 7B-Baselines (Qwen2.5-7B) auf einer einzelnen H100-GPU erreicht oder übertrifft und dabei ein größeres Parameter-Budget bietet.
Dreiphasiges Pre-Training-Curriculum: Ein systematischer Übergang von Web-Daten zu kuratiertem Code/Mathematik (23 % $\rightarrow$ 42 % $\rightarrow$ 59 % Code-Anteil) über 10,6 Bio. Tokens, optimiert mit Muon und FP8.
Produktionsreifes Trainingsrezept: Integration von Muon, FP8-Hybrid-Präzision und einem Warmup-Hold-Decay-Schema mit linearem Decay gegen Null, was die Stabilität über den gesamten Trainingslauf demonstriert.
Long-Context Extension: Erfolgreiche Erweiterung auf 128K Kontext mittels layer-selektivem YaRN, validiert durch RULER-Benchmarks.
Duale Varianten: Veröffentlichung sowohl der „Instruct“- als auch der „Thinking“-Varianten, die beide mittels RLVR auf mathematischen und ausführbaren Coding-Aufgaben verfeinert wurden.
Open Release: Verfügbarkeit von Base-, Instruct- und Thinking-Checkpoints unter der Apache 2.0 Lizenz.

Ergebnisse

Über Benchmarks hinweg, die Code-Generierung, Mathematik, Reasoning, Tool-Nutzung und Sicherheit abdecken, zeigt Mellum 2 eine Wettbewerbsfähigkeit mit Open-Weight-Baselines im Bereich 4B–14B:

Code-Generierung: Die RL-trainierte Instruct-Variante erreicht 78,4 % auf EvalPlus (Durchschnitt aus HumanEval+ und MBPP+), womit sie Qwen3.5-9B (71,8 %) und Seed-Coder-8B (73,8 %) übertrifft. Die Thinking-Variante erreicht 75,1 % auf LiveCodeBench v6, den höchsten Wert in ihrem Vergleichspanel.
Reasoning & Mathematik: Mellum 2 erreicht 59,3 % auf MMLU-Pro (übertrifft Qwen2.5-7B mit 48,6 %) und 74,9 % auf BBH. Auf GSM-Plus erreicht die Thinking-Variante 87,0 %, was mit größeren Modellen vergleichbar ist.
Tool-Nutzung: Die Thinking-Variante führt das Panel auf BFCL v4 (agentische Fähigkeiten) mit 45,6 % an und übertrifft die Qwen3.5-Familie.
Effizienz: Im Single-Request-Modus (Sync) erreicht Mellum 2 ~193 Tokens/s, vergleichbar mit Qwen2.5-7B. Im High-Concurrency-Modus (Throughput) erreicht es 5.179 Tokens/s, eine Verbesserung von 21 % gegenüber Qwen2.5-7B und 79 % gegenüber Qwen3-8B.
Limitierungen: Das Modell zeigt einen bewussten Trade-off bei breitem Weltwissen (MMLU-Redux und GPQA Diamond), wo es hinter der Qwen3.5-Serie zurückbleibt, was den Fokus des Trainings auf Code und Entwicklerdokumentation widerspiegelt. Sicherheitsmetriken zeigen eine bekannte „Alignment Tax“, bei der das RL-Training die Rate schädlicher Inhalte im Vergleich zur SFT-Phase leicht erhöht.

Bedeutung

Das Paper positioniert Mellum 2 als praktische Open-Weight-Lösung für den Bereich Software Engineering und beweist, dass eine sorgfältig konzipierte MoE-Architektur Frontier-Level-Coding- und Reasoning-Fähigkeiten zu einem Bruchteil der Inferenzkosten dichter Modelle ähnlicher Leistung liefern kann. Durch die strikte Einhaltung eines Inferenz-Budget-Constraints während des Architekturdesigns (Angleichung der Latenz an Qwen2.5-7B) demonstrieren die Autoren, dass es möglich ist, die Gesamtparameter signifikant zu skalieren (auf 12B), ohne die Einsatzfähigkeit auf Standardhardware zu gefährden. Die Veröffentlichung sowohl der „Thinking“- als auch der „Instruct“-Varianten sowie des detaillierten technischen Berichts über das Trainingsrezept und die Datenpipeline zielt darauf ab, der Community einen reproduzierbaren Designpunkt für kleine MoE-Coding-Modelle zur Verfügung zu stellen.