Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

Sintesi Tecnica: Misurare l'influenza dei dati di addestramento indipendenti dal compito durante il pretraining di modelli linguistici

Problema
I metodi esistenti per misurare l'influenza dei dati di addestramento nei modelli linguistici (LM) si basano tipicamente su obiettivi specifici per compito, come la perdita (loss) su un particolare punto di test o le prestazioni su un benchmark a valle. Sebbene utili per obiettivi specifici, questi approcci presentano limitazioni significative nel contesto del pretraining, che mira a sviluppare capacità generali e ampie piuttosto che ottimizzare per un singolo compito. Selezionare compiti a valle o set di validazione che siano rappresentativi delle capacità generali di un modello durante l'intero percorso di pretraining è difficile. Inoltre, le stime di influenza legate alle prestazioni intermedie di un checkpoint su compiti specifici sono spesso incoerenti e difficili da confrontare tra le diverse fasi di addestramento, poiché i primi checkpoint possono possedere capacità rilevanti senza aver ancora pienamente risolto il compito target.

Metodologia
Gli autori propongono una misura dell'influenza dei dati di addestramento indipendente dal compito, definita dall'entità con cui un singolo esempio di addestramento sposta il modello verso i parametri finali di una determinata sessione di pretraining.

• Definizione di Influenza: L'influenza di un mini-batch $B_t$ è quantificata come la riduzione della distanza euclidea al quadrato ($L_2$) tra i parametri correnti $\theta_t$ e i parametri finali pre-addestrati $\theta^*$ indotta dall'aggiornamento al passo $t$. Matematicamente, $Cont(B_t) = \|\theta^* - \theta_t\|_2^2 - \|\theta^* - \theta_{t+1}\|_2^2$. Questo si espande in $2\Delta_t^\top(\theta^* - \theta_t) - \|\Delta_t\|_2^2$, dove il primo termine misura l'allineamento con la direzione verso i parametri finali, e il secondo termine penalizza la norma al quadrato dell'aggiornamento.
• Decomposizione a livello di esempio: Assumendo lo Stochastic Gradient Descent (SGD) standard, l'influenza del mini-batch viene scomposta nei contributi dei singoli esempi. L'influenza di un esempio $x_k^t$ è definita come $Cont(x_k^t) = 2\Delta_{t,k}^\top(\theta^* - \theta_t) - \Delta_{t,k}^\top \Delta_t$. Questa formulazione tiene conto dell'interazione tra gli esempi all'interno di un mini-batch.
• Approssimazione basata su Checkpoint: Per rendere il metodo trattabile su larga scala per il pretraining, gli autori derivano un'approssimazione utilizzando checkpoint salvati periodicamente. Invece di calcolare gli aggiornamenti ad ogni passo, approssimano lo stato $\theta_t$ e l'aggiornamento $\Delta_t$ utilizzando i parametri all'inizio ($\theta_c$) e alla fine ($\theta_{c'}$) di un intervallo di checkpoint. Ciò consente la stima post-hoc dell'influenza da checkpoint pubblicamente disponibili.

Contributi Chiave

1. Riformulazione Indipendente dal Compito: Il documento riformula l'influenza dei dati di addestramento durante il pretraining in termini di progresso verso i parametri finali, rimuovendo la dipendenza da compiti a valle o set di validazione specifici.
2. Stima basata su Checkpoint: Gli autori derivano un metodo di approssimazione pratico che consente la stima dell'influenza a livello di esempio dai checkpoint intermedi senza dover riaddestrare il modello da zero.
3. Caratterizzazione Empirica: Lo studio caratterizza l'evoluzione del contributo dei dati durante il pretraining, rivelando variazioni sistematiche e dipendenti dalla fase tra diversi tipi di dati.
4. Analisi dell'Affidabilità: Il lavoro stabilisce l'affidabilità dell'analisi proposta attraverso le approssimazioni dei checkpoint, i punti di riferimento finali e varie configurazioni di modello (dimensioni, inizializzazioni e ordinamenti dei dati).

Risultati Sperimentali
Il metodo è stato applicato a 18 configurazioni delle suite Pythia e PolyPythia, coprendo dimensioni del modello da 70M a 12B di parametri e utilizzando 154 checkpoint per ogni sessione.

• Dinamiche di Contributo: Il contributo medio aumenta significativamente dopo la fase iniziale di addestramento, raggiunge il picco intorno a 40k passi e poi diminuisce gradualmente. La deviazione standard segue un modello simile. In particolare, la quota di esempi "opponenti" (quelli con contributo negativo, che allontanano il modello dai parametri finali) rimane bassa (<1%) durante le fasi iniziali e intermedie, ma sale all'8–10% nelle fasi finali.
• Difficoltà del Testo: I testi con perplexity (PPL) più elevata (più difficili per il modello) rappresentano una quota maggiore di contributo normalizzato durante la fase centrale del pretraining, mentre il contributo è distribuito in modo più uniforme tra i livelli di difficoltà nelle fasi iniziali e finali.
• Spostamento di Dominio (Il Crossover): È stato osservato uno spostamento temporale sistematico nei domini di dati influenti:
  • Addestramento Iniziale: I dati relativi alla letteratura (es. Libri, Hobby) sono più fortemente allineati con la traiettoria verso i parametri finali.
  • Addestramento Finale: I dati relativi a STEM (es. Scienza, Informatica ed Elettronica) diventano progressivamente più allineati con la traiettoria.
  • Questo crossover qualitativo è ampiamente coerente tra le configurazioni del modello, sebbene il tempo delle transizioni possa variare con la scala del modello (i modelli più grandi mostrano le transizioni prima).
• Validazione: L'approssimazione basata sui checkpoint mostra una forte correlazione (Pearson $r > 0.94$ nelle fasi finali) con i contributi esatti a livello di esempio calcolati tramite riaddestramento su modelli più piccoli. I risultati sono robusti rispetto alle variazioni di inizializzazione dei pesi e di ordinamento dei dati, sebbene l'ordinamento dei dati introduca una variazione leggermente maggiore rispetto all'inizializzazione.
• Confronto con Metodi Specifici per Compito: A differenza delle analisi di tipo TracIn focalizzate sul compito, che producono schemi di attribuzione pesantemente dipendenti dal dominio di validazione scelto, la proposta misura indipendente dal compito rivela costantemente il crossover Letteratura-STEM indipendentemente dal target specifico a valle.

Significato e Rivendicazioni
Il documento sostiene di fornire una visione trattabile e a livello di traiettoria di come l'influenza dei dati cambi durante il pretraining. Decoupling (disaccoppiando) l'analisi dell'influenza dai compiti specifici a valle, gli autori offrono una prospettiva che integra le analisi esistenti specifiche per compito.

I risultati suggeriscono che gli esempi di addestramento che muovono più fortemente il modello verso i suoi parametri finali non sono statici durante il pretraining. Questa scoperta motiva approcci consapevoli della fase (stage-aware) per la composizione dei dati di pretraining e la progettazione del curriculum. Nello specifico, lo spostamento osservato verso i dati STEM nelle fasi finali fornisce un supporto empirico alle recenti ricette di pretraining di LLM che aumentano l'allocazione di dati matematici e di codice nelle fasi avanzate di addestramento. Gli autori pongono il loro lavoro come uno strumento per guidare strategie di pretraining più sfumate che adattano la composizione dei dati attraverso le fasi di addestramento, invece di trattare un singolo mix di dati come ugualmente adatto durante l'intero processo.

Gli autori rimangono modesti riguardo alle rivendicazioni causali, notando che la loro analisi caratterizza come il contributo varia durante l'addestramento piuttosto che stabilire direttamente l'effetto causale del cambiamento dei mix di dati sulle prestazioni a valle. Riconoscono inoltre i limiti, come la dipendenza dalla distanza al quadrato nello spazio dei parametri (che è sensibile alla parametrizzazione) e l'assunzione di SGD per la decomposizione, nonostante l'uso di ottimizzatori adattivi nella pratica.