Riepilogo Tecnico: Mellum 2

Problema

Il panorama dei modelli linguistici di grandi dimensioni (LLM) a pesi aperti per l'ingegneria del software affronta un compromesso tra qualità e costi di implementazione. I modelli densi nella fascia 4–14B di parametri sono convenienti da servire ma spesso si attestano su un plateau per quanto riguarda compiti complessi di codifica e ragionamento. Al contrario, i modelli Mixture-of-Experts (MoE) molto grandi raggiungono una qualità di frontiera, ma comportano costi di implementazione che mettono sotto pressione l'uso quotidiano. La sfida consiste nel creare un modello che assorba la "coda lunga" della conoscenza della programmazione e delle capacità di ragionamento, mantenendo al contempo un costo computazionale per token paragonabile a un modello denso da 2–3B, consentendo un'implementazione pratica su hardware comune (specificamente una singola GPU H100) all'interno di ambienti IDE sensibili alla latenza.

Metodologia

Design dell'Architettura

Mellum 2 è un decoder-only Transformer da 12 miliardi di parametri che utilizza un'architettura Mixture-of-Experts (MoE) con 2,5 miliardi di parametri attivi per token. Il design deriva dalla ricetta di Qwen3-MoE, ma è stato modificato con tre specifiche ottimizzazioni orientate all'implementazione, validate tramite studi di ablazione:

• Configurazione degli Esperti: Il modello impiega 64 esperti totali con 8 attivi per token (routing top-8). Questa configurazione è stata selezionata come il compromesso ottimale tra latenza di inferenza e qualità del modello, permettendo al modello di scalare a circa 12B di parametri totali pur eguagliando la latenza di un baseline denso da 7B.
• Grouped-Query Attention (GQA): Per ottimizzare il throughput sotto alta concorrenza, il modello utilizza solo 4 teste KV (rispetto alle configurazioni standard). Le ablazioni hanno mostrato che 8 teste degradavano significativamente il throughput, mentre 2 teste compromettevano la qualità.
• Sliding Window Attention (SWA): Per ridurre la latenza senza sacrificare il contesto a lungo raggio, la SWA è applicata a 3 layer ogni 4 con una dimensione della finestra di 1.024 token. Gli altri layer utilizzano l'attenzione completa (full attention).
• Multi-Token Prediction (MTP): Una singola testa ausiliaria MTP predice il token successivo oltre all'obiettivo standard di next-token. Questa testa serve a duplice scopo: come obiettivo ausiliario di pre-training e come modello draft integrato per il decoding speculativo durante l'inferenza.

Pre-Training

Il modello è stato pre-addestrato su circa 10,6 trilioni di token utilizzando un curriculum in tre fasi che sposta progressivamente la miscela di dati dai contenuti web diversificati verso contenuti curati di codice e matematica:

1. Fondamenta (58% dei token): 70% web/conoscenza generale, 23% codice, 6% matematica.
2. Incremento della Qualità (26,2%): 44% web, 42% codice, 14% matematica. Introduce dataset curati di alta qualità.
3. Affinamento delle Capacità (15,9%): 23% web, 59% codice, 18% matematica. Si concentra su dati di codice e ragionamento sintetici di alta qualità durante il decadimento del tasso di apprendimento (learning rate decay).

L'addestramento ha utilizzato l'ottimizzatore Muon con precisione mista ibrida FP8 e uno schema di apprendimento Warmup-Hold-Decay (WHD). La pipeline dei dati includeva un obiettivo "Fill-in-the-Middle" (FIM) per il completamento del codice, con tassi FIM variabili per fase (50% nella Fase 1, 10% nella Fase 2, 50% limitato al codice nella Fase 3).

Estensione del Lungo Contesto

Il modello base è stato esteso da un contesto di 8.192 token a 131.072 token (128K) utilizzando YaRN selettivo per layer. Questo metodo applica la rimappatura delle frequenze solo ai layer globali (full-attention), lasciando i layer della finestra scorrevole con i loro parametri RoPE originali. Questo approccio si è rivelato superiore alla scalatura uniforme di RoPE o al lasciare i parametri invariati.

Post-Training

Sono state prodotte due varianti dal modello a lungo contesto:

1. Instruct: Un assistente general-purpose che risponde direttamente.
2. Thinking: Un assistente aumentato dal ragionamento che emette una catena di pensiero (chain of thought) esplicita prima della risposta finale.

Entrambe le varianti sono state sottoposte a Supervised Fine-Tuning (SFT) seguita da Reinforcement Learning with Verifiable Rewards (RLVR). La fase di RL ha utilizzato una variante di GRPO (Group Relative Policy Optimization) con rollout asincroni e meccanismi di stabilità specifici (troncatura IcePop) per gestire i disallineamenti tra addestramento e inferenza nei router MoE. I segnali di ricompensa erano programmaticamente verificabili (ad esempio, unit test per il codice, verifica simbolica per la matematica), eliminando la necessità di un modello di ricompensa separato.

Contributi Chiave

• Architettura Consapevole dell'Efficienza: Una configurazione MoE da 12B/2,5B-attivi che eguaglia o supera il throughput di un baseline denso da 7B (Qwen2.5-7B) su una singola GPU H100, offrendo un involucro di parametri più ampio.
• Curriculum di Pre-Training in Tre Fasi: Uno spostamento sistematico dai dati web al codice/matematica curata (rapporto codice 23% → 42% → 59%) su 10,6T di token, ottimizzato con Muon e FP8.
• Ricetta di Addestramento su Scala di Produzione: Integrazione di Muon, precisione ibrida FP8 e uno schema Warmup-Hold-Decay con decadimento lineare a zero, dimostrando stabilità durante l'intero processo di addestramento.
• Estensione del Lungo Contesto: Estensione riuscita a 128K di contesto usando YaRN selettivo per layer, validata dai benchmark RULER.
• Varianti Duali: Rilascio di entrambe le varianti "Instruct" e "Thinking", entrambe perfezionate tramite RLVR su compiti matematici e di codifica eseguibili.
• Rilascio Open: Disponibilità di checkpoint base, instruct e thinking sotto licenza Apache 2.0.

Risultati

Attraverso benchmark che spaziano la generazione di codice, la matematica, il ragionamento, l'uso di strumenti e la sicurezza, Mellum 2 dimostra competitività con i baseline a pesi aperti nella fascia 4B–14B:

• Generazione di Codice: La variante Instruct addestrata con RL raggiunge il 78,4% su EvalPlus (media di HumanEval+ e MBPP+), superando Qwen3.5-9B (71,8%) e Seed-Coder-8B (73,8%). La variante Thinking raggiunge il 75,1% su LiveCodeBench v6, il punteggio più alto nel suo panel di confronto.
• Ragionamento e Matematica: Mellum 2 raggiunge il 59,3% su MMLU-Pro (superando il 48,6% di Qwen2.5-7B) e il 74,9% su BBH. Su GSM-Plus, la variante Thinking raggiunge l'87,0%, paragonabile a modelli più grandi.
• Uso di Strumenti (Tool Use): La variante Thinking guida il panel su BFCL v4 (capacità agentiche) con il 45,6%, superando la famiglia Qwen3.5.
• Efficienza: In modalità a singola richiesta (sync), Mellum 2 eguaglia Qwen2.5-7B a circa 193 token/s. In modalità ad alta concorrenza (throughput), raggiunge 5.179 token/s, un miglioramento del 21% rispetto a Qwen2.5-7B e del 79% rispetto a Qwen3-8B.
• Limitazioni: Il modello mostra un compromesso deliberato nella conoscenza del mondo generale (MMLU-Redux e GPQA Diamond), dove resta indietro rispetto alla serie Qwen3.5, riflettendo un focus di addestramento sul codice e sulla documentazione per sviluppatori. Le metriche di sicurezza mostrano un noto "aliquota di allineamento" (alignment tax) dove l'addestramento RL aumenta leggermente i tassi di contenuti dannosi rispetto alla fase SFT.

Significato

Il paper posiziona Mellum 2 come una soluzione pratica a pesi aperti per il dominio dell'ingegneria del software, dimostrando che un'architettura MoE attentamente progettata può fornire capacità di codifica e ragionamento di frontiera a una frazione del costo di inferenza dei modelli densi di prestazioni simili. Adottando rigorosamente un vincolo di budget di inferenza durante il design dell'architettura (eguagliando la latenza di Qwen2.5-7B), gli autori dimostrano che è possibile scalare significativamente i parametri totali (fino a 12B) senza sacrificare la fattibilità dell'implementazione su hardware comune. Il rilascio di entrambe le varianti "Thinking" e "Instruct", insieme al dettaglio tecnico della ricetta di addestramento e della pipeline dei dati, mira a fornire alla comunità un punto di design riproducibile per modelli di codifica small-MoE.