Sintesi Tecnica: EuroLLM-22B

Definizione del Problema

Nonostante i rapidi progressi nei modelli linguistici di grandi dimensioni (LLM), l'attuale ecosistema rimane fortemente sbilanciato verso l'inglese e un numero limitato di lingue ad alta risorsa. Molti dei modelli leader sono o a codice chiuso o solo parzialmente aperti, offrendo una trasparenza limitata riguardo ai dati di addestramento e alle procedure. Di conseguenza, numerose lingue europee rimangono sottoservite, con pochi modelli "made in Europe" capaci di supportare nativamente l'intero spettro delle lingue ufficiali dell'Unione Europea (UE). Il progetto EuroLLM è stato lanciato per colmare questa lacuna, sviluppando modelli aperti che diano priorità alla diversità linguistica europea e favoriscano lo sviluppo dell'IA all'interno dell'UE.

Metodologia

Architettura e Modellazione

EuroLLM-22B è un modello da 22,6 miliardi di parametri costruito sulle decisioni architettoniche dei suoi predecessori (EuroLLM 1.7B e 9B). Le specifiche chiave includono:

• Tokenizzazione: Un tokenizer basato su BPE con un vocabolario di 132.000 unità, che copre 24 lingue ufficiali dell'UE e 11 lingue aggiuntive (Arabo, Catalano, Cinese, Galiziano, Hindi, Giapponese, Coreano, Norvegese, Russo, Turco e Ucraino).
• Architettura: Utilizza Grouped Query Attention (GQA), pre-layer normalization, RMSNorm, funzioni di attivazione SwiGLU e Rotary Positional Embeddings (RoPE).
• Finestra di Contesto: Un'estensione significativa a 32.768 token, ottenuta regolando il fattore di scala RoPE ($\theta$) da $1 \times 10^4$ a $1 \times 10^6$.

Strategia di Pre-addestramento

Il modello è stato pre-addestrato su circa 4 trilioni di token utilizzando un programma di addestramento in tre fasi, progettato per esporre progressivamente il modello a dati di qualità superiore:

1. Fase 1: Addestrato su 3,6T di token con un warmup lineare fino a un tasso di apprendimento di picco di $1,5 \times 10^{-4}$. Questa fase include immediatamente documenti educativi di alta qualità da FineWeb-edu, invece di riservarli per le fasi successive.
2. Fase 2: Una fase di annealing su 400B di token, riducendo il tasso di apprendimento al 10% del suo picco.
3. Fase 3: Una fase finale di decadimento in cui il tasso di apprendimento scende a zero. Questa fase incorpora dati a lungo contesto (libri e codice) per supportare la finestra di 32K token.

Curatela dei Dati:

• Dati Web: I dati in inglese provengono da FineWeb-edu e Nemotron-CC. I dati multilingue sono aggregati da RedPajama-Data-v2 (per le lingue ad alta risorsa) e da HPLT, MADLAD-400, CulturaX e mC4 (per le altre). Tutti i dati sono sottoposti a un rigoroso filtraggio, inclusi controlli di perplessità, filtri euristici (ad esempio, rimozione di "lorem ipsum", eccessivo uso di maiuscole) e punteggio di qualità tramite EuroFilter, un classificatore che assegna punteggi da 0 a 5.
• Dati Paralleli: Dati paralleli a livello di frase e di documento (xx$\leftrightarrow$en) sono raccolti da fonti come Europarl, ParaCrawl e WikiMatrix, filtrati tramite Bicleaner e CometKiwi-22.
• Codice e Matematica: I dati provengono da The Stack, Algebraic-stack e Open-web-math. La terza fase introduce FineMath e dati matematici sintetici generati dai modelli Qwen-2.5, filtrati tramite LLM-as-a-Judge.
• Fonti di Alta Qualità: Wikipedia, ArXiv, Libri e Apollo sono utilizzati per l'inglese, con l'aggiunta di Cosmopedia (e le sue varianti tradotte) nelle fasi successive.

Post-addestramento

Il modello istruito (EuroLLM-22B-Instruct) è derivato dal modello base utilizzando EuroBlocks-22B, un nuovo dataset di istruzioni multilingue contenente circa 10,6 milioni di esempi.

• Costruzione del Dataset: Costruito sulla base delle versioni precedenti di EuroBlocks, incorporando istruzioni da diverse fonti pubbliche (ad esempio, Hermes-3, Tülu 3, Nemotron V2). Le risposte sono state rigenerate utilizzando modelli open capaci (DeepSeek, Qwen, Llama) e selezionate tramite Skywork-Gemma2-27B come modello di ricompensa.
• Filtraggio: Le tracce di ragionamento strutturato sono state rimosse per creare un corpus di istruzioni-risposta privo di ragionamento.
• Fine-Tuning: Il modello è stato sottoposto a fine-tuning per 5 epoche utilizzando precisione mista bfloat16, sequence packing e uno scheduler del tasso di apprendimento coseno ($1 \times 10^{-5}$ max LR). L'efficienza dell'addestramento è stata potenziata utilizzando Axolotl e Liger-Kernel.

Contributi Chiave

1. Modello EuroLLM-22B: Il rilascio di un modello da 22B di parametri addestrato da zero per supportare tutte le 24 lingue ufficiali dell'UE più 11 lingue aggiuntive, con una finestra di contesto di 32K token.
2. EuroLLM-9B Migliorato: Un modello aggiornato da 9B che incorpora la stessa estensione del lungo contesto e la ricetta di post-addestramento della versione 22B.
3. Dataset EuroWeb: Il rilascio del dataset web multilingue utilizzato per il pre-addestramento di EuroLLM 22B, inclusi i livelli di dati filtrati per qualità.
4. EuroBlocks-22B: Un nuovo, ampliato dataset di istruzioni multilingue con risposte sintetiche di alta qualità.
5. Ecosistema Open-Source: Rilascio dei modelli base e istruiti, insieme ai codebase di pre-addestramento (fork di Megatron-LM) e di valutazione.

Risultati

Valutato attraverso un ampio set di benchmark inglesi e multilingue, EuroLLM-22B dimostra prestazioni competitive:

• Tendenze di Scaling: Il modello mostra miglioramenti costanti rispetto a EuroLLM-9B e EuroLLM-22B-Preview, confermando una tendenza positiva di scaling all'interno della famiglia EuroLLM.
• Confronto con Modelli Europei: EuroLLM-22B raggiunge le prestazioni più forti tra i modelli europei completamente open. In particolare, supera frequentemente o rimane competitivo con Apertus-70B (un modello da 70 miliardi di parametri) nonostante abbia circa un terzo dei parametri, specialmente nel seguire le istruzioni e nei compiti STEM.
• Confronto con Modelli Globali: Sebbene EuroLLM-22B resti dietro ai migliori modelli a pesi aperti (ad esempio, Llama-3.3-70B, Qwen-3-30B-A3B) nei punteggi aggregati, offre l'alternativa più capace e completamente aperta specificamente progettata per le lingue europee.
• Traduzione: Le prestazioni di traduzione rimangono robuste, con la ricetta di post-addestramento aggiornata che rafforza il comportamento da assistente generale e il ragionamento senza degradare la qualità della traduzione.
• Lungo Contesto: L'estensione a 32K token consente la modellazione efficace di input a lungo formato e la copertura di benchmark come WMT25, precedentemente inaccessibili ai modelli a contesto di 4K.

Significato e Dichiarazioni

Il paper posiziona EuroLLM-22B come un passo significativo verso la democratizzazione dell'IA in Europa. Fornendo un modello completamente aperto e di alta qualità che supporta nativamente l'intera diversità linguistica dell'UE, gli autori mirano a ridurre la dipendenza da modelli chiusi e centrati sull'inglese. Gli autori affermano che EuroLLM raggiunge un'alta qualità con un budget di token comparativamente modesto (4T di token) rispetto a modelli più grandi addestrati su molti più dati (ad esempio, 15T di token per Apertus-70B), suggerendo che la curatela dei dati di alta qualità e un post-addestramento mirato siano strategie efficaci per colmare i divari di prestazione. Il rilascio dei dataset e dei codebase associati è destinato a supportare la ricerca futura nella comprensione e generazione delle lingue europee.