ArXiv-to-Model: A Practical Study of Scientific LM Training

1. Il Problema

Nonostante i modelli linguistici (LLM) all'avanguardia dimostrino capacità eccezionali nel ragionamento e nella matematica, il processo pratico di addestramento di modelli scientifici specializzati partendo da fonti grezze rimane scarsamente documentato. La maggior parte dei sistemi pubblici si basa su corpus curati su larga scala, mix di dati proprietari o pipeline di pre-elaborazione non divulgate.
La costruzione di un modello linguistico scientifico direttamente da fonti open-access come arXiv presenta sfide uniche:

• Archivi LaTeX eterogenei e strutture di progetto multi-file.
• Uso massiccio di macro personalizzate e contenuti simbolici densi.
• Metadati incoerenti e necessità di filtrare versioni ritirate o testi non inglesi.
• Scelte di pre-elaborazione apparentemente minori che possono impattare drasticamente sul volume dei dati utilizzabili e sulla stabilità dell'addestramento.

L'obiettivo dell'autore non è proporre una nuova architettura, ma fornire un resoconto trasparente e riproducibile dell'ingegneria necessaria per addestrare un modello scientifico da zero con budget computazionali limitati.

2. Metodologia

Lo studio descrive una pipeline end-to-end per l'addestramento di un modello da 1,36 miliardi di parametri (KiteFish-A1-1.5B) utilizzando fonti grezze di arXiv.

A. Costruzione del Dataset (Pipeline di Dati)

Il corpus di base è stato costruito partendo da 80 GB di sorgenti LaTeX, suddiviso in quattro fasi:

1. Estrazione e Validazione: Verifica dell'integrità strutturale degli archivi tar scaricati.
2. Filtraggio dei Metadati:
   • Focus su categorie specifiche: matematica, informatica, fisica teorica (hep-th, hep-ph), fisica quantistica e statistica.
   • Rimozione di documenti ritirati, lettere brevi e testi pre-2000 (per evitare incoerenze formattative).
   • Filtraggio linguistico (rimozione di testi non inglesi) e rimozione di documenti con meno di 2.000 caratteri.
3. Normalizzazione LaTeX: Rimozione di figure, riferimenti e comandi di formattazione non semantici, preservando le espressioni matematiche e le strutture logiche.
4. Deduplicazione: Applicazione di hashing esatto e rilevamento di quasi-duplicati per ridurre la ridondanza delle versioni.
5. Mixture di Dati:
   • Pre-training: Corpus pulito di arXiv (80GB) pesato al 2.0x, integrato con OpenWebMath (50GB).
   • Post-training: Dati per l'allineamento (StackExchange STEM, MathInstruct, UltraChat) introdotti solo dopo il pre-training per insegnare il follow-up degli istruzioni senza contaminare la competenza scientifica di base.

B. Tokenizzazione

Riconoscendo che i corpora scientifici differiscono fondamentalmente dal linguaggio naturale (alta densità simbolica), è stata scelta una strategia conservativa:

• Utilizzo di un tokenizzatore SentencePiece compatibile con LLaMA (vocabolario di ~102.400 token).
• Decisione motivata dalla stabilità dell'inizializzazione degli embedding e dalla compatibilità architetturale, evitando la complessità di addestrare tokenizzatori da zero che potrebbero causare instabilità.
• Risultato: 52,18 miliardi di token per il pre-training e 5 miliardi per il post-training.

C. Architettura del Modello

• Modello: Transformer decoder-only denso (non MoE), ispirato a LLaMA.
• Parametri: ~1,36 miliardi (dimensione nascosta 2048, 24 layer, 16 testine di attenzione).
• Configurazione: Embedding di input e output non condivisi, RoPE (Rotary Position Embeddings), SiLU activation, RMSNorm.
• Contesto: Supporto fino a 4096 token, ma addestrato con sequenze di 768 token per massimizzare il throughput.

D. Infrastruttura e Addestramento

• Hardware: 2× GPU NVIDIA A100 (80GB ciascuna).
• Strategia: Data Parallelism distribuito con ZeRO Stage 2 e gradient checkpointing. Precisione mista bfloat16.
• Curriculum: Approccio a stadi (Warm-up testuale su abstract/intro, integrazione simbolica su corpi completi, mix finale).
• Scala: Addestramento su 52,18 miliardi di token (circa 38 token per parametro), collocando il modello in un regime "ricco di dati" rispetto alla legge di scaling Chinchilla ottimale (che suggerirebbe ~27B token per 1,36B parametri).

3. Risultati Chiave

L'autore ha condotto 24 run sperimentali per analizzare stabilità, scaling e colli di bottiglia:

• Regime Dati Limitati (20GB): L'addestramento su subset piccoli ha mostrato convergenza instabile, oscillazioni della loss e tendenza alla memorizzazione (overfitting) senza generalizzazione.
• Regime Dati Completi (200GB): L'uso del corpus completo ha portato a una riduzione della loss più fluida, rumore dei gradienti ridotto e una convergenza stabile con comportamento "long-tail" tipico dei transformer.
• Stabilità: Nessun divergenza significativa tra training loss e validation loss. La perplexità finale sul set di validazione è stata di circa 4,2 (exp(1.438)), indicando una forte adattamento ai corpora scientifici.
• Utilizzo Hardware: Utilizzo GPU sostenuto >95%, nessun errore ECC, ma i colli di bottiglia iniziali sono stati legati all'I/O e allo storage, non alla potenza di calcolo.
• Tokenizzazione: L'uso di un tokenizzatore standard LLaMA ha dimostrato sufficiente robustezza per il testo scientifico, evitando la frammentazione eccessiva dei simboli matematici.

4. Contributi Principali

1. Pipeline Riproducibile: Una guida dettagliata per costruire un corpus scientifico da sorgenti LaTeX grezze di arXiv, inclusi i filtri di metadati e la pulizia.
2. Analisi Quantitativa delle Perdite: Valutazione di quanto i filtri di metadati e i fallimenti di estrazione riducano il volume finale dei token utilizzabili.
3. Insight sull'Ingegneria dei Dati: Dimostrazione che, per modelli di scala media, le decisioni di pre-elaborazione (filtraggio, tokenizzazione) hanno un impatto maggiore della modifica dell'architettura.
4. Studio di Addestramento sotto Vincoli: Analisi della stabilità e dello scaling in un ambiente con risorse limitate (2 GPU A100), fornendo linee guida pratiche per ricercatori con budget moderati.

5. Significato e Limitazioni

Significato:
Il lavoro dimostra che è possibile addestrare modelli scientifici specializzati e stabili senza accesso a cluster di migliaia di GPU, purché si presti estrema attenzione all'ingegneria dei dati. Sottolinea che la trasparenza nelle scelte di pre-elaborazione è fondamentale per la riproducibilità nella ricerca sui LLM scientifici.

Limitazioni:

• Vincoli Computazionali: L'uso di sole 2 GPU ha limitato l'esplorazione di architetture più grandi o contesti più lunghi.
• Bias di Dominio: Il modello è specializzato in matematica e fisica teorica, limitando l'adattabilità a domini generali.
• Mancanza di Allineamento Istruttivo: Il modello base non è in grado di seguire istruzioni o conversare senza un ulteriore post-training (RLHF o SFT).
• Valutazione: La valutazione si basa principalmente sulla perplexità, non su benchmark di ragionamento formale o validità delle prove matematiche.

In conclusione, il documento offre una "mappa di navigazione" ingegneristica per chiunque intenda costruire modelli linguistici scientifici da zero, evidenziando che la qualità dei dati e la robustezza della pipeline sono spesso più critiche della complessità architetturale.