Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

1. Il Problema

La curatela dei dataset è fondamentale per le prestazioni dei Large Language Models (LLM). Sebbene esistano filtri basati su regole per i dataset inglesi e multilingue, le tecniche di filtraggio basate su modelli (model-based filtering) si sono concentrate prevalentemente sulla lingua inglese. Questo ha creato un divario nelle prestazioni degli LLM tra l'inglese e le altre lingue, dato che meno della metà dei contenuti internet è in inglese.
I metodi attuali per i dataset multilingue (come FineWeb-2) si affidano principalmente a filtri euristici (es. lunghezza del documento, punteggiatura) o alla perplessità del modello, ma mancano di un approccio unificato che identifichi in modo trasparente ed efficiente campioni strutturati e ricchi di conoscenza in diverse famiglie linguistiche.

2. Metodologia

Gli autori hanno sviluppato un framework unificato per il filtraggio basato su modelli per dataset web su scala multilingue. L'obiettivo è selezionare un insieme diversificato di campioni strutturati e ricchi di conoscenza.

A. Selezione dei Dati di Addestramento per il Classificatore

Per addestrare i modelli di filtraggio, gli autori hanno creato due configurazioni di Multilingual Knowledge Collection (MKC) basate su dataset rappresentativi di alta qualità (domande a scelta multipla, conversazioni assistente-utente, istruzioni):

• MKC: Include Include-Base-44, OpenAssistant-2, MMLU e Aya Dataset.
• MKC+: Include MKC più la vasta collezione di campioni generati dall'IA (Aya Collection).
  Questi campioni positivi sono stati combinati con documenti negativi campionati casualmente da FineWeb-2 (assumendo che la maggior parte non sia strutturata o ricca di conoscenza). Sono stati creati dataset di addestramento specifici per ogni lingua per evitare bias linguistici.

B. Approcci di Filtraggio

Il paper confronta tre metodi principali per assegnare un punteggio di qualità ai documenti:

1. FastText (FT): Un classificatore binario addestrato su caratteri n-gram (2-gram, o 4-gram per il cinese). È estremamente efficiente, eseguitabile su CPU e scalabile.
2. Transformer Embedding + MLP: Utilizza le embedding di un modello pre-addestrato XLM-RoBERTa (supporta 100 lingue). Le embedding dei documenti vengono calcolate (pooling medio sui primi 512 token) e inserite in una rete neurale a strato singolo (MLP) addestrata per la classificazione binaria.
3. Cosine Similarity (CS): Calcola la similarità coseno tra l'embedding di un documento e un insieme di campioni positivi (K=8192).

C. Configurazione Sperimentale

• Dataset Base: FineWeb-2.
• Modelli LLM: Addestramento di modelli Llama da 1 miliardo di parametri (1B) su 70B e 119B di token.
• Lingue Testate: Cinese, Tedesco, Francese, Arabo, Danese (rappresentanti di diverse famiglie linguistiche e disponibilità di risorse).
• Valutazione: Utilizzo della suite FineTasks e benchmark specifici per lingua (es. CMMLU per il cinese, MMLU per il tedesco/francese).

3. Risultati Chiave

• Prestazioni Superiori con Meno Dati: L'approccio MLP MKC+ (basato su Transformer) ha dimostrato di essere il metodo migliore. È stato possibile raggiungere prestazioni alla pari con la baseline (FineWeb-2) utilizzando solo il 15% dei token di addestramento (e in alcuni casi anche meno, come il 10% per le lingue ad alta risorsa).
• Efficienza del Filtraggio:
  • Per le lingue ad alta risorsa (Cinese, Tedesco, Francese), mantenere solo il 10% dei documenti filtrati ha permesso di eguagliare o superare le baseline.
  • Per le lingue a bassa risorsa (Arabo, Danese), sono stati mantenuti percentuali più alte (56% e 65% rispettivamente) per preservare la quantità di token necessaria, ottenendo comunque miglioramenti.
• Confronto con Baseline: Il metodo MLP MKC+ ha superato sia la baseline FineWeb-2 che altri approcci all'avanguardia come DCLM e FineWeb-Edu (quest'ultimo testato sulla lingua inglese).
• Mitigazione della "Maledizione del Multilinguismo": Un risultato sorprendente è che, quando i dati filtrati sono usati per addestrare modelli multilingue, la "maledizione del multilinguismo" (dove l'addestramento su molte lingue riduce le prestazioni su ciascuna singola lingua) scompare o si trasforma in un vantaggio. I modelli multilingue addestrati sui dati filtrati hanno superato i loro equivalenti monolingue, a differenza di quanto accade con i dati non filtrati.
• Robustezza alla Contaminazione: Gli esperimenti di decontaminazione (rimozione di n-grammi dai benchmark di valutazione) hanno confermato che i miglioramenti non sono dovuti a una maggiore contaminazione dei dati, ma alla reale qualità dei campioni selezionati.
• Alternative Economiche: Il filtro FastText ha mostrato prestazioni competitive, offrendo un'alternativa valida in scenari con risorse computazionali limitate, sebbene leggermente inferiore a MLP.

4. Contributi Principali

1. Framework Unificato: Sviluppo di un framework trasparente, semplice ed efficiente per il filtraggio basato su modelli su scala web per dataset multilingue, applicabile a diverse famiglie linguistiche e script.
2. Dataset Refinito: Rilascio di un dataset pre-addestrato raffinato (FineWeb2-HQ) che copre 20 lingue, filtrato con il metodo MLP MKC+.
3. Codice e Embedding: Rilascio del codice sorgente e delle embedding pre-calcolate per 20 lingue, permettendo alla comunità di riutilizzare i dati senza dover ricalcolare i costosi embedding Transformer.
4. Analisi Approfondita: Studio completo degli ablation study che analizzano l'impatto dei diversi dataset di addestramento del classificatore, delle soglie di retention e della contaminazione dei dati.

5. Significato e Impatto

Questo lavoro dimostra che la qualità dei dati è più importante della quantità, anche nel contesto multilingue. Fornendo un metodo scalabile ed economico per selezionare dati strutturati e ricchi di conoscenza, gli autori colmano un divario critico nella ricerca sugli LLM multilingue.
Il fatto che il filtraggio basato su modelli possa mitigare la "maledizione del multilinguismo" suggerisce che la diversità e la qualità dei dati sono fattori chiave per l'efficacia dei modelli multilingue. Il rilascio pubblico di dataset per 20 lingue e delle relative embedding rappresenta un contributo significativo per lo sviluppo di modelli linguistici più equi e performanti al di fuori dell'ecosistema inglese.