Riepilogo Tecnico: LLMs in Linea: I Dati Determinano le Leggi di Scaling da Perdita a Perdita

Enunciato del Problema

Le leggi di scaling hanno tradizionalmente guidato lo sviluppo dei Large Language Model (LLM) stimando il bilanciamento ottimale tra dimensione del modello, numero di token e budget computazionale (misurato in FLOPs) per minimizzare la perdita durante l'addestramento o la convalida. Tuttavia, queste leggi "da calcolo a perdita" non prevedono in modo affidabile le prestazioni nei compiti downstream. Sebbene lavori recenti abbiano introdotto leggi di scaling "da perdita a perdita" – relazioni tra la perdita di addestramento/convalida e la perdita di test downstream – per comprendere meglio la generalizzazione, gli studi esistenti sono in gran parte confinati a singoli setup architetturali o configurazioni di addestramento. Di conseguenza, rimane incerto quali fattori (ad esempio, architettura, tokenizer, dimensione del modello, impostazioni di ottimizzazione) influenzino causalmente la forma e la trasferibilità di queste tendenze di scaling da perdita a perdita.

Metodologia

Gli autori conducono un'analisi causale su larga scala che coinvolge oltre 6.000 checkpoint di modello per investigare i fattori che guidano lo scaling da perdita a perdita. Il loro approccio estende lavori precedenti (Brandfonbrener et al., 2024; Du et al., 2025) intervenendo sistematicamente su più variabili attraverso diverse architetture e setup di addestramento.

Setup Sperimentale:

• Architetture: Lo studio confronta modelli basati su Transformer (Llama-3, varianti GPT) con Modelli a Spazio di Stato (Mamba, Mamba2).
• Dataset: I modelli sono addestrati su vari corpora di preaddestramento, inclusi FineWeb-Edu, C4, The Pile (versioni originali, deduplicate e senza copyright) e RefinedWeb.
• Tokenizer: Vengono effettuate comparazioni tra tokenizer tiktoken (vocabolario da 128k) e gpt2/gpt-neox (vocabolario di circa 50k).
• Interventi: Gli autori eseguono studi di ablazione su:
  • Distribuzione dei dati di preaddestramento.
  • Scelta del tokenizer.
  • Architettura del modello (Transformer vs. Spazio di Stato).
  • Dimensione del modello (variando profondità e larghezza).
  • Lunghezza del contesto (1024, 2048, 3076 token).
  • Impostazioni di ottimizzazione (Adam vs. AdamW, tassi di apprendimento, decadimento dei pesi e schedulazioni del tasso di apprendimento come Cosine e WSD).
• Valutazione: Le prestazioni sono misurate utilizzando la perdita su compiti downstream (ad esempio, HellaSwag, ARC, MMLU) e set di convalida. Per garantire un confronto equo tra i tokenizer, la perdita è normalizzata in bit per byte (BPB).
• Modellazione: Gli autori adattano leggi di potenza spostate ai dati, seguendo la formulazione:
  $$L_y \approx K \cdot (L_x - E_{x|p})^\kappa + E_{y|p}$$
  dove $L_x$ e $L_y$ sono le perdite su diversi dataset, e $E$ rappresenta l'errore irriducibile.

Contributi e Risultati Chiave

1. Lo Scaling da Perdita a Perdita Segue Leggi di Potenza Spostate

In tutte le architetture, dataset e configurazioni di addestramento, la relazione tra la perdita di addestramento/convalida e la perdita di test downstream segue costantemente una legge di potenza spostata. Questo vale anche per dataset in cui il modello non raggiunge mai un'alta accuratezza (ad esempio, Mamba su ARC-Challenge), confermando la robustezza dello scaling da perdita a perdita come metrica per il comportamento di generalizzazione.

2. I Dati di Preaddestramento sono il Fattore Dominante

La scoperta più significativa è che la distribuzione dei dati di preaddestramento è il determinante primario della tendenza di scaling da perdita a perdita.

• Cambiare il dataset di preaddestramento (ad esempio, da FineWeb-Edu a C4 o The Pile) comporta spostamenti sostanziali nella curva di scaling.
• Anche cambiamenti sottili, come la deduplicazione di The Pile, alterano la distribuzione sottostante a sufficienza da spostare la legge di scaling.
• Questo implica che il "bias induttivo" che governa la generalizzazione è in gran parte codificato nella distribuzione dei dati piuttosto che nell'architettura del modello.

3. Architettura, Tokenizer e Iperparametri Hanno un Impatto Trascurabile

In contrasto con i dati, altre scelte progettuali hanno un effetto minimo o nullo sulla tendenza di scaling:

• Architettura: Modelli con bias induttivi fondamentalmente diversi, come i Transformer (Llama) e i Modelli a Spazio di Stato (Mamba), mostrano curve di scaling da perdita a perdita quasi identiche quando addestrati sugli stessi dati e tokenizer.
• Tokenizer: Cambiare il tokenizer (ad esempio, tiktoken vs gpt2) comporta solo variazioni minori nelle curve di scaling, a condizione che la perdita sia normalizzata per byte.
• Dimensione del Modello e Lunghezza del Contesto: Variare il numero di parametri (da ~60M a ~2.8B) e le lunghezze del contesto (da 1024 a 3076) non altera in modo significativo la relazione di scaling.
• Ottimizzazione: Cambiamenti negli ottimizzatori (Adam/AdamW), nei tassi di apprendimento, nel decadimento dei pesi e nelle schedulazioni non influenzano i coefficienti di scaling.

4. Generalizzazione Punto per Punto

Lo studio dimostra che se due setup di addestramento distinti (ad esempio, diverse architetture o dimensioni) raggiungono perdite di addestramento simili sullo stesso dataset di preaddestramento, mostreranno prestazioni di test downstream strettamente corrispondenti. Ciò suggerisce che le attuali architetture LLM possono convergere verso soluzioni simili dato lo stesso dataset, condividendo efficacemente bias induttivi simili riguardo alla generalizzazione.

Significato e Affermazioni

Il paper sostiene che l'attenzione del settore sull'innovazione architetturale per migliorare la generalizzazione potrebbe essere fuorviante. Invece, gli autori affermano che la cura dei dati è il motore primario delle prestazioni downstream e della robustezza.

• Per i Praticanti: I risultati suggeriscono che i praticanti dovrebbero dare priorità alla cura attenta dei dataset di preaddestramento per ottimizzare le prestazioni downstream. Una volta selezionato un dataset di alta qualità, le architetture e le impostazioni di addestramento possono essere liberamente ottimizzate per l'efficienza dell'addestramento (ad esempio, scegliendo architetture più veloci come Mamba o regolando gli iperparametri) senza timore di impattare negativamente sulla generalizzazione downstream.
• Implicazione Teorica: I risultati mettono in discussione la nozione secondo cui diverse architetture codificano bias induttivi distinti riguardo alla generalizzazione. Invece, suggeriscono che la distribuzione dei dati detta il comportamento di generalizzazione, mentre le architetture servono principalmente come approssimatori di funzione efficienti per quei dati.

Gli autori mantengono una posizione modesta, riconoscendo che le loro conclusioni si basano sulle impostazioni specifiche esplorate (funzioni di perdita standard, addestramento convenzionale). Notano che paradigmi di addestramento innovativi (ad esempio, crescita strutturata o diverse funzioni di perdita) potrebbero ancora indurre nuovi comportamenti di scaling, ma entro i limiti delle migliori pratiche attuali, i dati rimangono il fattore decisivo.