Résumé Technique : Mellum 2

Problématique

Le paysage des modèles de langage à poids ouverts (LLM) pour le génie logiciel fait face à un arbitrage entre qualité et coût de déploiement. Les modèles denses dans la plage de 4 à 14 milliards de paramètres sont rentables à servir mais plafonnent souvent sur les tâches complexes de codage et de raisonnement. À l'inverse, les modèles très larges à mélange d'experts (MoE) atteignent une qualité de pointe mais engendrent des coûts de déploiement qui pèsent sur une utilisation quotidienne. Le défi consiste à créer un modèle capable d'absorber la longue traîne des connaissances de programmation et des capacités de raisonnement tout en maintenant un coût de calcul par jeton comparable à un modèle dense de 2 à 3 milliards de paramètres, permettant un déploiement pratique sur du matériel courant (spécifiquement un seul GPU H100) dans des environnements d'IDE sensibles à la latence.

Méthodologie

Conception de l'Architecture

Mellum 2 est un transformeur de type décodeur seul de 12 milliards de paramètres utilisant une architecture de mélange d'experts (MoE) avec 2,5 milliards de paramètres actifs par jeton. La conception est dérivée de la recette Qwen3-MoE mais modifiée par trois optimisations spécifiques orientées vers le déploiement, validées par des études d'ablation :

• Configuration des Experts : Le modèle utilise 64 experts au total avec 8 experts actifs par jeton (routage top-8). Cette configuration a été choisie comme le compromis optimal entre latence d'inférence et qualité du modèle, permettant au modèle de monter jusqu'à ~12 milliards de paramètres totaux tout en égalant la latence d'une ligne de base dense de 7 milliards.
• Attention par Groupes de Requêtes (GQA) : Pour optimiser le débit sous haute concomrence, le modèle n'utilise que 4 têtes KV (contre les configurations standards). Les ablations ont montré que 8 têtes dégradaient significativement le débit, tandis que 2 têtes compromettaient la qualité.
• Attention par Fenêtre Glissante (SWA) : Pour réduire la latence sans sacrifier le contexte à long terme, la SWA est appliquée à 3 couches sur 4 avec une taille de fenêtre de 1 024 jetons. Les couches restantes utilisent une attention complète.
• Prédiction de Multi-Jetons (MTP) : Une tête MTP auxiliaire unique prédit le jeton suivant en plus de l'objectif standard de jeton suivant. Cette tête remplit un double rôle : en tant qu'objectif de pré-entraînement auxiliaire et en tant que modèle de tirage (draft model) intégré pour la décodage spéculatif lors de l'inférence.

Pré-entraînement

Le modèle a été pré-entraîné sur environ 10,6 billions de jetons en utilisant un curriculum en trois phases qui déplace progressivement le mélange de données du contenu web diversifié vers le code et le contenu mathématique curaté :

1. Fondation (58 % des jetons) : 70 % web/connaissances générales, 23 % code, 6 % mathématiques.
2. Amélioration de la Qualité (26,2 %) : 44 % web, 42 % code, 14 % mathématiques. Introduit des jeux de données curatés de haute qualité.
3. Affinement des Capacités (15,9 %) : 23 % web, 59 % code, 18 % mathématiques. Se concentre sur les données de code et de raisonnement synthétiques de haute qualité pendant la décroissance du taux d'apprentissage.

L'entraînement a utilisé l'optimiseur Muon avec une précision hybride mixte FP8 et un calendrier de taux d'apprentissage Warmup-Hold-Decay (WHD). Le pipeline de données comprenait un objectif de "Remplissage au Milieu" (FIM) pour la complétion de code, avec des taux FIM variant par phase (50 % en Phase 1, 10 % en Phase 2, 50 % restreint au code en Phase 3).

Extension de Contexte Long

Le modèle de base a été étendu d'un contexte de 8 192 jetons à 131 072 jetons (128K) en utilisant une méthode YaRN sélective par couche. Cette méthode applique le remappage de fréquence uniquement aux couches globales (attention complète), laissant les couches à fenêtre glissante avec leurs paramètres RoPE originaux. Cette approche s'est avérée plus performante qu'une mise à l'échelle RoPE uniforme ou que le maintien des paramètres inchangés.

Post-entraînement

Deux variantes ont été produites à partir de la base à contexte long :

1. Instruct : Un assistant polyvalent qui répond directement.
2. Thinking : Un assistant augmenté par le raisonnement qui émet une chaîne de pensée explicite avant la réponse finale.

Les deux variantes ont subi un Ajustement Supervisé (SFT) suivi d'un Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). L'étape de RL utilisait une variante de GRPO (Group Relative Policy Optimization) avec des rollouts asynchrones et des mécanismes de stabilité spécifiques (troncation IcePop) pour gérer les décalages entraînement-inférence dans les routeurs MoE. Les signaux de récompense étaient programmatiquement vérifiables (par exemple, tests unitaires pour le code, vérification symbolique pour les mathématiques), éliminant ainsi le besoin d'un modèle de récompense distinct.

Contributions Clés

• Architecture Sensible à l'Efficacité : Une configuration MoE de 12B/2.5B-actif qui égale ou dépasse le débit d'une ligne de base dense de 7B (Qwen2.5-7B) sur un seul H100, tout en offrant une enveloppe de paramètres plus large.
• Curriculum de Pré-entraînement en Trois Phases : Un passage systématique des données web vers le code/maths curatés (ratio code 23 % → 42 % → 59 %) sur 10,6T de jetons, optimisé avec Muon et FP8.
• Recette d'Entraînement à l'Échelle de Production : Intégration de Muon, de la précision hybride FP8 et d'un calendrier Warmup-Hold-Decay avec décroissance linéaire vers zéro, démontrant une stabilité sur l'ensemble de la course d'entraînement.
• Extension de Contexte Long : Extension réussie à 128K de contexte via YaRN sélectif par couche, validée par les benchmarks RULER.
• Variantes Doubles : Publication des versions "Instruct" et "Thinking", toutes deux affinées via RLVR sur des tâches de mathématiques et de codage exécutables.
• Publication Ouverte : Disponibilité des checkpoints de base, instruct et thinking sous licence Apache 2.0.

Résultats

À travers des benchmarks couvrant la génération de code, les mathématiques, le raisonnement, l'utilisation d'outils et la sécurité, Mellum 2 démontre une compétitivité avec les bases de référence à poids ouverts dans la plage 4B–14B :

• Génération de Code : La variante Instruct entraînée par RL atteint 78,4 % sur EvalPlus (moyenne HumanEval+ et MBPP+), surpassant Qwen3.5-9B (71,8 %) et Seed-Coder-8B (73,8 %). La variante Thinking atteint 75,1 % sur LiveCodeBench v6, le score le plus élevé de son panel de comparaison.
• Raisonnement et Mathématiques : Mellum 2 atteint 59,3 % sur MMLU-Pro (dépassant les 48,6 % de Qwen2.5-7B) et 74,9 % sur BBH. Sur GSM-Plus, la variante Thinking atteint 87,0 %, comparable à des modèles plus larges.
• Utilisation d'Outils : La variante Thinking mène le panel sur BFCL v4 (capacités agentiques) avec 45,6 %, surpassant la famille Qwen3.5.
• Efficacité : En mode mono-requête (synchrone), Mellum 2 égale Qwen2.5-7B à environ 193 jetons/s. En mode haute concomrence (débit), il atteint 5 179 jetons/s, soit une amélioration de 21 % par rapport à Qwen2.5-7B et de 79 % par rapport à Qwen3-8B.
• Limitations : Le modèle présente un arbitrage délibéré dans les connaissances générales mondiales (MMLU-Redux et GPQA Diamond), où il est en retrait par rapport à la série Qwen3.5, reflétant un focus d'entraînement sur le code et la documentation de développeur. Les métriques de sécurité montrent une "taxe d'alignement" connue où l'entraînement RL augmente légèrement les taux de contenus préjudiciables par rapport à l'étape SFT.

Signification

L'article positionne Mellum 2 comme une solution pratique à poids ouverts pour le domaine du génie logiciel, prouvant qu'une architecture MoE soigneusement conçue peut offrir des capacités de codage et de raisonnement de niveau frontière pour une fraction du coût d'inférence des modèles denses de performance similaire. En respectant strictement une contrainte de budget d'inférence lors de la conception architecturale (correspondant à la latence de Qwen2.5-7B), les auteurs démontrent qu'il est possible de passer l'échelle des paramètres totaux de manière significative (jusqu'à 12B) sans sacrifier la faisabilité du déploiement sur du matériel courant. La publication des deux variantes "Thinking" et "Instruct", ainsi que le rapport technique détaillé sur la recette d'entraînement et le pipeline de données, vise à fournir à la communauté un point de conception reproductible pour les petits modèles de codage MoE.