Sintesi Tecnica: Scalare la Ripetizione dei Dati di Dominio nella Pre-addestramento di LLM

Problematica

Man mano che i Large Language Models (LLM) scalano, mantenere un rapporto appropriato tra token e parametri (TPP - tokens-per-parameter) richiede un aumento del budget totale di token di addestramento. Mentre i dati web generici possono essere scalati relativamente facilmente, i dati specifici di dominio di alta qualità (ad esempio, codice, matematica, testi medici) sono scarsi e difficili da scalare allo stesso ritmo. Di conseguenza, man mano che la dimensione del modello e il budget totale di token crescono, il rapporto di miscelazione dei dati di dominio di alta qualità tende a diminuire, portando potenzialmente a un fallimento nell'acquisizione della conoscenza target se il rapporto scende al di sotto di una soglia critica.

Per contrastare questo diluimento, i professionisti spesso ripetono i dati di alta qualità disponibili. Tuttavia, ciò introduce un compromesso: la ripetizione aiuta a mantenere la necessaria frazione di dati per l'acquisizione della conoscenza ma aumenta il rischio di overfitting. La letteratura esistente suggerisce che i modelli più grandi siano più suscettibili all'overfitting derivante da dati ripetuti, implicando che la ripetizione debba essere minimizzata. Tuttavia, queste conclusioni sono spesso tratte in configurazioni sperimentali in cui la dimensione totale dei dati di addestramento è fissa rispetto alle scale del modello, anziché preservare il TPP. Questo articolo investiga il conteggio ottimale delle ripetizioni sotto un regime di scaling più pratico, in cui il budget di token di addestramento cresce proporzionalmente con la dimensione del modello (TPP fisso).

Metodologia

Gli autori hanno condotto uno studio empirico sistematico su quattro domini di alta qualità: Codice, Matematica, Wikipedia e Dati Medici.

• Regime di Scaling: Lo studio aderisce a un TPP ($D/N$) fisso, dove $D$ è il totale dei token di addestramento e $N$ è la dimensione del modello. Il budget di token $D_N$ scala linearmente con la dimensione del modello ($D_N = \text{TPP} \cdot N$).
• Configurazione Sperimentale: Per ogni dimensione del modello e dominio, gli autori hanno variato due parametri:
  1. Frazione di Dati Unici ($\alpha$): La proporzione di token unici di alta qualità nel budget totale (testata a 1/40, 1/20, 1/10).
  2. Conteggio delle Ripetizioni ($e$): Il numero di volte in cui un sottoinsieme fisso di token unici di alta qualità viene rivisitato (testato da 1 a 7).
• Valutazione: I modelli sono stati valutati utilizzando la loss di validazione in-distribution (su dati tenuti da parte dello stesso dominio) e la loss di validazione out-of-distribution (OOD) di pre-addestramento (su dati web generici come ArXiv e News).
• Analisi Teorica: Per spiegare i risultati empirici, gli autori hanno impiegato un modello di regressione lineare one-hot in $\mathbb{R}^\infty$ con unità di conoscenza distribuite secondo legge di potenza. Hanno analizzato la decomposizione del rischio in "errore di acquisizione della conoscenza" ed "errore di fitting del rumore" per derivare i tempi di arresto (conteggi di ripetizione ottimali) sotto diverse condizioni di scaling.

Risultati Chiave

1. Correlazione con la Loss di Validazione

Il conteggio ottimale delle ripetizioni è fortemente correlato negativamente con la loss di validazione finale di un dominio (correlazione di Pearson di -0,944).

• I domini che raggiungono loss di validazione inferiori (indicando che il modello apprende bene il dominio) possono tollerare e beneficiare di più ripetizioni.
• I domini con loss di validazione più elevate tendono a soffrire di overfitting prima, richiedendo meno ripetizioni.
• Ciò suggerisce che la loss di validazione funge da proxy pratico per determinare i limiti di ripetizione sicuri.

2. Impatto della Dimensione del Modello sotto TPP Fisso

Contrariamente ai risultati in configurazioni a budget di dati fissi (dove la ripetizione ottimale diminuisce all'aumentare dei modelli), questo studio trova che, sotto un TPP fisso, il conteggio ottimale delle ripetizioni aumenta lievemente con la dimensione del modello.

• Modelli più grandi addestrati con budget di token proporzionalmente più grandi beneficiano di un numero leggermente maggiore di ripetizioni prima che si verifichi l'overfitting.
• Ciò supporta una strategia di trasferimento conservativa: un conteggio di ripetizioni che non causa overfitting in un modello proxy più piccolo (addestrato allo stesso TPP) difficilmente causerà overfitting in un modello target più grande.

3. Insensibilità alla Frazione di Dati Unici

Il conteggio ottimale delle ripetizioni è largamente insensibile alla frazione di dati unici di alta qualità ($\alpha$) nell'intervallo testato.

• Sebbene l'aumento di $\alpha$ riduca costantemente la loss assoluta di validazione, la posizione del conteggio ottimale delle ripetizioni (l' $e$ che minimizza la loss) rimane quasi invariata.
• Ciò implica che quando si effettua il tuning della ripetizione su un modello proxy, la specifica frazione di dati unici utilizzati non deve corrispondere esattamente al target di deployment; qualsiasi frazione rappresentativa entro l'intervallo testato è sufficiente.

4. Dipendenza dal Dominio ed Effetti OOD

• Specificità del Dominio: L'efficacia della ripetizione dipende fortemente dal dominio. Ad esempio, i dati di Matematica sono robusti alla ripetizione (fino a 4-5 volte), mentre i dati di Wikipedia degradano bruscamente dopo 2 ripetizioni.
• Performance OOD: Quando la frazione totale di token di alta qualità è fissa, sostituire i token unici con quelli ripetuti ha un effetto limitato sulle performance out-of-distribution (OOD). Il degrado è confinato principalmente alla loss di validazione in-domain.

5. Influenza dello Schema del Learning Rate

Il conteggio ottimale delle ripetizioni dipende dallo schema del learning rate. Gli schemi con decadimento anticipato (ad esempio, iniziando il decadimento allo 0% dell'addestramento) portano a un degrado dopo meno ripetizioni. Al contrario, ritardare il decadimento o utilizzare un learning rate costante permette al modello di tollerare più ripetizioni, probabilmente a causa di un rumore di ottimizzazione più forte che agisce come regolarizzazione implicita contro la memorizzazione.

Spiegazione Teorica

Gli autori forniscono un quadro teorico che spiega queste osservazioni attraverso il compromesso tra acquisizione della conoscenza e fitting del rumore:

• Fitting del Rumore: La ripetizione dell'ottimizzazione riduce l'errore di acquisizione della conoscenza ma aumenta l'errore di fitting del rumore. Il punto di arresto ottimale è dove il beneficio marginale del segnale di apprendimento è superato dal costo del fitting del rumore.
• Loss di Validazione: Una loss di validazione inferiore implica un livello di rumore ($\sigma^2$) inferiore rispetto al segnale. Teoricamente, un rumore inferiore ritarda l'insorgenza dell'overfitting, permettendo più ripetizioni (Teorema 4.2).
• Scaling: Sotto un TPP fisso, il budget di dati cresce con la dimensione del modello. Ciò consente alla riduzione dell'errore di acquisizione della conoscenza di dominare per una durata maggiore man mano che il modello scala, giustificando l'aumento dei conteggi di ripetizione ottimali (Teorema 4.4).

Significato e Implicazioni Pratiche

Il paper conclude che i conteggi di ripetizione calibrati su modelli proxy più piccoli, a condizione che condividano lo stesso TPP del modello target, possono servire come stima pratica e conservativa per modelli più grandi.

Il workflow proposto per configurare i dati di dominio di alta qualità nel pre-addestramento su larga scala è:

1. Addestrare un modello proxy più piccolo con lo stesso TPP.
2. Eseguire uno sweep dei conteggi di ripetizione per il dominio target utilizzando qualsiasi frazione rappresentativa di dati unici.
3. Identificare il conteggio di ripetizione che minimizza la loss di validazione (o che si ferma appena prima del degrado).
4. Applicare questo conteggio al modello target più grande, poiché la tendenza suggerisce che i modelli più grandi non andranno in overfitting prima del proxy sotto lo stesso regime di scaling.

Questo approccio offre una strategia efficiente dal punto di vista dei dati per mantenere la rappresentazione di alta qualità del dominio nel pre-addestramento degli LLM senza richiedere dataset unici massicci, che spesso non sono disponibili.