Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

Il paper introduce due nuovi dataset pre-addestramento aperti, SwallowCode e SwallowMath, creati attraverso un processo sistematico di riscrittura e raffinamento dei dati pubblici che, se utilizzati per l'addestramento continuo, migliorano significativamente le prestazioni dei modelli linguistici su compiti di programmazione e ragionamento matematico.

L'essenziale

Immagina di voler insegnare a un bambino molto intelligente (un'intelligenza artificiale) a diventare un grande programmatore e un genio della matematica. Il modo in cui lo fai è dargli da leggere milioni di libri e pagine web.

Il problema? Molti di questi "libri" online sono pieni di errori, scritti in modo confuso, o contengono solo frasi senza senso. Se dai a questo bambino un mucchio di libri sporchi e mal scritti, imparerà a fare errori, a confondersi e a diventare lento.

Questo è esattamente il problema che gli autori di questo studio hanno affrontato. Hanno creato due nuovi "libri di testo" digitali, chiamati SwallowCode (per la programmazione) e SwallowMath (per la matematica), che non si limitano a selezionare i libri migliori, ma li riscrivono per renderli perfetti.

Ecco come funziona, spiegato con delle analogie semplici:

1. Il Problema: La "Cucina Sporca"

Immagina che i dati originali trovati su internet (come The-Stack per il codice o Finemath per la matematica) siano come un grande magazzino di ingredienti.

• Ci sono ingredienti freschi, ma ce ne sono molti marci.
• Ci sono ricette scritte con la grafia illeggibile.
• Ci sono istruzioni che dicono "aggiungi sale" senza dire quanto sale o in quale piatto.

I metodi precedenti cercavano solo di buttare via gli ingredienti marci. Ma così facendo, perdevano anche ingredienti buoni che erano solo un po' sporchi o scritti male. Era come scartare un pomodoro perché ha una macchia, invece di lavarlo.

2. La Soluzione: Il "Cuoco Magico" (Riscrittura)

Gli autori hanno inventato un nuovo metodo chiamato "Trasforma e Conserva" (Transform-and-Retain). Invece di buttare via gli ingredienti imperfetti, usano un "Cuoco Magico" (un'intelligenza artificiale molto avanzata) per pulirli e riscriverli.

Il processo per il codice (SwallowCode) funziona in quattro fasi, come una catena di montaggio di lusso:

1. Il Controllo di Sicurezza (Sintassi): Prima di tutto, si controlla se la ricetta è scritta in una lingua che esiste. Se il codice non funziona nemmeno per il computer, viene scartato. È come buttare via un foglio di carta strappato.
2. Il Controllo di Igiene (Pylint): Poi, un ispettore controlla se la ricetta è ordinata. Ci sono troppe note a margine? Le variabili hanno nomi strani? Se la "igiene" del codice è bassa, viene corretto.
3. Il Riscrittore di Stile (SGCR): Qui entra in gioco il Cuoco Magico. Prende una ricetta scritta male e la riscrive rendendola elegante, chiara e professionale. Immagina di prendere una ricetta scritta su un tovagliolo sporco e trascriverla su una bella pergamena con istruzioni precise, nomi degli ingredienti chiari e passaggi ordinati.
4. L'Ottimizzatore (SCOR): Infine, il Cuoco Magico guarda la ricetta e dice: "Ehi, questo passaggio è inutile, possiamo saltarlo", oppure "Manca un ingrediente fondamentale, aggiungiamolo". Rende il codice autonomo (funziona da solo senza bisogno di cose esterne) e più veloce.

Il risultato? Un dataset di 16,1 miliardi di "parole" (token) di codice Python che è pulito, perfetto e pronto all'uso.

3. La Matematica: Da "Rumore" a "Lezione Chiara"

Per la matematica (SwallowMath), il processo è simile. Immagina di prendere una domanda matematica trovata su un forum online, piena di pubblicità, commenti inutili e spiegazioni confuse.
Il Cuoco Magico:

• Toglie le pubblicità e i titoli inutili.
• Ripristina il contesto mancante (se manca una parte della domanda, la ricostruisce).
• Riscrive la soluzione passo dopo passo, rendendola una lezione chiara e concisa, invece di un blocco di testo illeggibile.

4. I Risultati: Il Bambino Diventa un Genio

Hanno preso un modello di intelligenza artificiale già intelligente (Llama-3.1-8B) e lo hanno "allenato" con questi nuovi libri riscritti.

• Prima: Con i vecchi dati sporchi, il modello faceva errori.
• Dopo: Con i dati riscritti, il modello è diventato molto meglio.
  • Nella programmazione, ha risolto il 17% in più di problemi di codice complessi.
  • Nella matematica, ha migliorato la sua precisione del 12% su problemi di logica e del 7,6% su problemi molto difficili.

Perché è importante?

Fino a ora, per migliorare le intelligenze artificiali, le grandi aziende (come quelle che fanno i modelli più potenti) tenevano segreta la qualità dei loro dati. Questo studio dice: "Non serve avere segreti o ingredienti magici. Serve solo pulire e riscrivere bene ciò che abbiamo già".

Hanno reso tutto pubblico: i dati, il codice per pulirli e i risultati. È come se avessero aperto una scuola pubblica con i migliori libri di testo del mondo, scritti da un maestro perfetto, e detto a tutti: "Ecco, usate questi libri per insegnare ai vostri studenti, e vedrete che miglioreranno tutti".

In sintesi: Non serve cercare nuovi ingredienti, basta imparare a cucinare meglio quelli che abbiamo già.

Sommario tecnico

1. Il Problema

Le prestazioni dei Large Language Models (LLM) nella sintesi di programmi e nel ragionamento matematico sono fondamentalmente limitate dalla qualità dei corpus di pre-addestramento.

• Limiti dei dati attuali: I dataset pubblici esistenti (come The-Stack per il codice e Finemath-4+ per la matematica) derivano principalmente da estrazioni basate su regole da web crawl. Questi approcci spesso conservano dati rumorosi, ridondanti o stilisticamente incoerenti.
• Il "Data Quality Gap": I modelli frontier open-weight più avanzati (es. Qwen3, DeepSeek-V3) non rilasciano i loro corpus di addestramento, creando un divario tra le risorse disponibili alla comunità open e quelle utilizzate per i modelli più performanti.
• Inefficacia del semplice filtraggio: I metodi precedenti si basano su strategie di filtraggio esclusivo (scartare i dati a bassa qualità) o trasformazioni limitate, lasciando intatti difetti persistenti come mancanza di contesto o convenzioni di denominazione incoerenti.

2. Metodologia: L'Approccio "Transform-and-Retain"

Gli autori propongono un paradigma innovativo: invece di scartare i dati a bassa qualità, li riscrivono sistematicamente per eliminarne il rumore e migliorare la struttura, mantenendo il volume dei dati utile. Vengono introdotti due nuovi dataset open-source: SwallowCode e SwallowMath.

A. SwallowCode (Codice)

Derivato da The-Stack-v2, questo dataset di circa 16,1 miliardi di token è costruito attraverso una pipeline a quattro stadi:

1. Validazione Sintattica: Rimozione di tutti i frammenti di codice Python che non compilano (filtro compile()).
2. Filtraggio basato su Linter: Utilizzo di pylint per scartare il codice che non rispetta gli standard di qualità (punteggio < 7.0 su 10) e penalizzazione dei commenti eccessivamente verbosi.
3. Rewriting Guidato dallo Stile (SGCR): Un modello LLM (Llama-3.3-70B-Instruct) riscrive il codice per conformarsi alla Google Python Style Guide. Questo include:
   • Nomi di variabili descrittivi e coerenti.
   • Aggiunta di docstring e type hints.
   • Modularizzazione e gestione degli errori.
4. Rewriting per Ottimizzazione Autonoma (SCOR): Una seconda fase di riscrittura che garantisce l'autosufficienza del codice:
   • Risoluzione delle dipendenze esterne (rendendo il codice self-contained).
   • Sostituzione di algoritmi inefficienti (es. ricorsione ingenua) con soluzioni ottimali.
   • Trasformazione di snippet banali in esempi istruttivi.

B. SwallowMath (Matematica)

Derivato da Finemath-4+, questo dataset di circa 2,3 miliardi di token viene elaborato con una pipeline simile ma adattata alla matematica:

• Rimozione di intestazioni web, footer e metadati irrilevanti.
• Ripristino del contesto mancante in domande o risposte incomplete.
• Riformattazione delle soluzioni in spiegazioni concise, passo dopo passo.

Configurazione Sperimentale

Per isolare l'impatto dei dati, gli autori hanno eseguito un pre-addestramento continuo (continual pre-training) su Llama-3.1-8B con un budget fisso di 50 miliardi di token. Il modello è stato addestrato su un mix di dati multilingue (84% testo, 16% codice/matematica) sostituendo solo la componente specifica (codice o matematica) con i vari dataset in ablation study.

3. Risultati Chiave

I risultati dimostrano che la riscrittura dei dati porta a guadagni significativi rispetto ai dataset filtrati ma non riscritti (come Stack-Edu).

• Prestazioni nel Codice (HumanEval & HumanEval+):

  • Rispetto a Stack-Edu, l'uso di SwallowCode ha aumentato il pass@1 di +17.0 punti su HumanEval e +16.1 punti su HumanEval+.
  • Il modello ha superato le capacità di generazione del codice del modello base, dimostrando che la qualità dei dati è più critica della semplice quantità.
  • I test di generalizzazione su Qwen2-7B hanno confermato un miglioramento di +10.3 punti, indicando che il metodo non è specifico solo per l'architettura Llama.

• Prestazioni in Matematica (GSM8K & MATH):

  • Sostituendo Finemath-4+ con SwallowMath, si è ottenuto un aumento di +12.4 punti di accuratezza su GSM8K e +7.6 punti su MATH.

• Analisi Ablativa:

  • Ogni stadio della pipeline contribuisce in modo incrementale.
  • Il filtraggio sintattico e linter offre guadagni modesti (~1 punto).
  • La riscrittura SGCR (stile) offre il maggior guadagno (~7-9 punti).
  • La riscrittura SCOR (semantica/ottimizzazione) aggiunge ulteriori ~5-6 punti.
  • È stato notato che l'uso di MBPP come benchmark è fuorviante per questo approccio, poiché la standardizzazione dei nomi delle variabili (snake_case) causava errori di "undefined" con i test unitari di MBPP che usano convenzioni non standard (camelCase).

4. Contributi Principali

1. Dataset Open-Source: Rilascio di SwallowCode e SwallowMath, licenziati sotto la Llama 3.3 Community License, che superano gli standard attuali per dati open di codice e matematica.
2. Metodologia "Transform-and-Retain": Dimostrazione che riscrivere i dati a bassa qualità è più efficace ed efficiente dal punto di vista computazionale rispetto allo scartarli o all'addestramento su dati grezzi rumorosi.
3. Riproducibilità Completa: Rilascio di tutti i dati, prompt, checkpoint e codice della pipeline, permettendo alla comunità di replicare e adattare il metodo ad altri modelli base.
4. Analisi dei Costi: Sebbene la riscrittura richieda risorse GPU significative (circa 23.700 ore H100 per la riscrittura), il paper dimostra che l'efficienza dei dati migliorata permette di raggiungere prestazioni superiori con lo stesso o un numero inferiore di token di addestramento, rendendo l'investimento iniziale vantaggioso.

5. Significato e Impatto

Questo lavoro sposta il focus dalla semplice scalabilità dei modelli alla qualità curata dei dati di addestramento.

• Chiusura del divario: Fornisce alla comunità open-source un accesso a corpus di qualità paragonabile a quelli dei modelli proprietari di punta.
• Efficienza: Dimostra che un pre-addestramento mirato su dati riscritti può superare i limiti dei modelli base senza necessitare di architetture più complesse o budget computazionali esponenziali.
• Riproducibilità: Stabilisce un nuovo standard per la ricerca sui dati, offrendo una metodologia trasparente e verificabile per migliorare le capacità di ragionamento matematico e di sintesi del codice negli LLM.

In sintesi, il paper conferma che la riscrittura sistematica dei dati di pre-addestramento è un moltiplicatore di prestazioni critico, capace di elevare significativamente le capacità di ragionamento e programmazione degli LLM open-source.