Sintesi Tecnica: Discrepanza di Ripetizione negli Esperimenti di Miscela dei Dati

Definizione del Problema

Nella pre-addestramento di modelli linguistici (LM), determinare la composizione ottimale delle miscele di dati da molteplici fonti è critico per le prestazioni a valle. Una strategia comune prevede l'esecuzione di esperimenti su piccola scala ed estrapolazione dei risultati al budget di addestramento target. Tuttavia, i professionisti osservano frequentemente che le miscele ottimizzate su piccola scala non riesse a trasferirsi efficacemente nei regimi più grandi.

Questo articolo identifica la discrepanza di ripetizione (repetition mismatch) come la causa primaria di questo fallimento dell'estrapolazione. Quando i dati di alta qualità sono scarsi rispetto al budget di addestramento, essi devono essere ripetuti più volte durante l'addestramento. Fondamentalmente, il numero di ripetizioni richieste per un dataset fisso cambia al crescere del budget di addestramento totale. I metodi standard di selezione della miscela basati sulla scalabilità assumono che la relazione tra le proporzioni della miscela e le prestazioni sia invariante rispetto alla scala. Gli autori sostengono che tale assunzione sia fallace perché gli esperimenti proxy su piccola scala impongono un regime di ripetizione fondamentalmente diverso rispetto al run target. Questa discrepanza distorce il panorama della perdita (loss landscape), spostando la miscela apparentemente ottimale in modi che gli esperimenti su piccola scala non possono anticipare.

Metodologia

Gli autori propongono una procedura di sottocampionamento consapevole della ripetizione (repetition-aware subsampling procedure) per isolare la ripetizione come variabile nella predizione della miscela. Questo approccio, basato sul lavoro di Li et al. (2025), consiste nel sottocampionare tutte le fonti di dati in modo che i dati di alta qualità subiscano esattamente lo stesso numero di ripetizioni nell'esperimento su piccola scala che subirebbero nel run target a scala completa, utilizzando però solo una frazione del totale dei token.

Configurazione Sperimentale:

• Dataset: Lo studio combina dataset limitati di alta qualità (WikiText o PubMed) con un corpus di web crawl su larga scala (FineWeb).
• Modelli: Gli esperimenti spaziano su quattro dimensioni di modello (30M, 124M, 345M e 757M di parametri) utilizzando un'architettura NanoGPT modificata con ottimizzatore Muon e Rotary Positional Embeddings.
• Confronto: L'approccio proposto con controllo della ripetizione viene confrontato con un baseline standard delle leggi di scala che estrapola i rapporti di miscela ottimali da run di addestramento più brevi senza corrispondere ai tassi di ripetizione.
• Metriche: Le prestazioni sono misurate dalla distanza della miscela predetta dal rapporto di miscela ottimale reale (misurato come errore nel rapporto di miscela) e dalla perdita di validazione su domini di alta qualità tenuti da parte (held-out).

Contributi Chiave e Risultati

1. La Discrepanza di Ripetizione è un Confounding Dominante

Il documento dimostra che far corrispondere il tasso di ripetizione del run target è sufficiente per recuperare predizioni di miscela accurate dagli esperimenti su piccola scala.

• Risultati a due sorgenti: In un contesto con una sorgente di alta qualità e FineWeb, un singolo esperimento con controllo della ripetizione utilizzando solo 1/16 dei token target recupera una miscela entro 0,05 dall'ottimo per un modello da 757M di parametri. Al contrario, l'approccio standard delle leggi di scala senza controllo della ripetizione produce un errore di 0,75.
• Efficienza dei costi: Ottenere un'accuratezza comparabile senza il controllo della ripetizione richiede tre o quattro orizzonti di addestramento, consumando dal 44% al 94% del budget di token target. Il metodo con controllo della ripetizione raggiunge questo obiettivo con un singolo orizzonte.
• Interazione con la capacità del modello: Il beneficio del controllo della ripetizione scala con la dimensione del modello. La riduzione dell'erroio è più pronunciata per i modelli più grandi (757M), mentre i modelli più piccoli (30M) mostrano meno benefici o addirittura superano il metodo con controllo della ripetizione tramite leggi di scala standard, suggerendo un limite inferiore di scala del modello in cui questo metodo è più efficace.

2. Efficacia in Ambienti Multi-Sorgente

Gli autori estendono i risultati a un contesto a tre sorgenti (WikiText, PubMed e FineWeb).

• Sebbene lo spazio della miscela più ampio richieda più esperimenti per essere vincolato, il controllo della ripetizione rimane altamente efficace.
• Alla scala di 757M, due orizzonti con controllo della ripetizione sono sufficienti per recuperare la miscela ottimale target, superando i baseline che richiedono esperimenti completi a due sorgenti per essere costruiti.
• Alla scala di 124M, le predizioni multi-orizzonte con controllo della ripetizione (fino a quattro orizzonti) convergono verso l'ottimo, eguagliando efficacementamente la perdita reale (2,91950 vs 2,91820) riducendo significativamente il costo computazionale rispetto ai baseline non controllati.

3. La Ripetizione come Variabile di Prima Classe

I risultati indicano che la dinamica della ripetizione dei dati, e non solo la scala, determina se gli esperimenti di miscela su piccola scala generalizzano. Il documento sostiene che la ripetizione debba essere trattata come una variabile esplicita nell'ottimizzazione della miscela piuttosto che come un effetto collaterale incidentale della scarsità di dati.

Significato e Rivendicazioni

Il documento afferma che il controllo della discrepanza di ripetizione risolve il problema dell'estrapolazione nei regimi con vincoli di dati. Preservando la dinamica di ripetizione del run target attraverso il sottocampionamento, i ricercatori possono predire miscele di dati ottimali con alta accuratezza utilizzando una frazione del budget computazionale.

Gli autori pongono questa come un'intervallo semplice e ortogonale che non richiede modellazione parametrica o run di addestramento proxy, rendendolo applicabile a qualsiasi metodo esistente di predizione della miscela. Essi asseriscono che, man mano che i professionatori si affidano sempre più ad piccole corse di ablazione per informare le decisioni sulla miscela per modelli da miliardi di parametri, tenere conto della discrepanza di ripetizione diventerà critico per evitare errori di predizione sistematici che crescono con la capacità del modello e il divario tra le scale proxy e target.

Lo studio è modesto nella sua portata, notando che gli esperimenti sono stati condotti fino a 757M di parametri e circa 3,8B di token, inferiori al pre-addestramento degli attuali LLM. Tuttavia, il trend costante secondo cui il controllo della ripetizione diventa più efficace con la dimensione del modello suggerisce che questi risultati probabilmente si applicheranno a scale maggiori. Gli autori notano anche che la loro valutazione si concentra sulla perdita di validazione su domini di alta qualità, e confermare il trasferimento su benchmark a valle rimane una direzione per il lavoro futuro.