Sintesi Tecnica: Colmare il divario tra la scalabilità ottimale per il calcolo e per i dati

1. Definizione del problema

Le classiche leggi di scalabilità del pretraining (ad es., Kaplan et al., 2020; Hoffmann et al., 2022) operano sotto l'assunto che i dati di pretraining freschi siano illimitati e scalino liberamente con il calcolo. Tuttavia, il settore sta transitando in un regime in cui la capacità di calcolo cresce esponenzialmente mentre i dati di alta qualità per il pretraining rimangono finiti e costosi da curare. In questo regime "limitato dai dati", i professionanti devono spendere calcolo aggiuntivo su token derivati ($D'$) generati da un corpus fisso ($D$) tramite strategie come la ripetizione multi-epoca, la parafrasi o la distillazione.

La domanda centrale affrontata da questo lavoro è: per un modello di dimensione $N$ addestrato su un corpus fisso $D$, quanto può ridurre il calcolo aggiuntivo (speso su token derivati $D'$) la perdita di pretraining? Le leggi esistenti non descrivono adeguatamente il compromesso tra calcolo e dati quando l'offerta di dati è limitata.

2. Metodologia

Il framework di scalabilità Compute-Data (CD)

Gli autori propongono un framework unificato, le leggi di scalabilità CD, che colma il divario tra:

1. Scalabilità ottimale per il calcolo ($L_{Chin}$): dove i dati sono illimitati ($D' = 0$).
2. Scalabilità ottimale per i dati ($L_D$): dove il calcolo è illimitato su un corpus fisso ($D' \to \infty$).

Il nucleo del framework è una funzione di efficacia del token, $\eta_{strat} \in [0, 1]$, che quantifica il valore di un token derivato rispetto a un token fresco. La legge di scalabilità proposta è:

$$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$$

Dove:

• $N$: parametri del modello.
• $D$: token freschi (visti una volta).
• $D'$: token derivati.
• $\eta_{strat}$: coefficiente di efficacia dipendente dalla strategia di espansione (ripetizione o parafrasi), dalla dimensione del modello $N$ e dalla disponibilità di dati.

Configurazione Sperimentale

• Architettura: OLMo3 (Olmo et et al., 2025).
• Dimensioni del Modello: da 14M a 600M di parametri.
• Dati: Corpus Dolma-3 (150B di token).
• Strategie:
  1. Ripetizione multi-epoca: Ripetere il corpus per epoche aggiuntive.
  2. Parafrasi: Parafrasare i documenti utilizzando SmolLM2-1.7B-Instruct con miscele di stili specifici (domanda, matematica, FAQ, tabella).
• Fitting: Gli autori adattano i parametri della legge di scalabilità attraverso una scansione delle dimensioni dei dati freschi ($D$), dei budget di token derivati ($D'$) e degli iperparametri (learning rate, weight decay). Derivano $\eta_{emp}$ empiricamente trovando il valore che riproduce le perdite osservate dati i costanti di scalabilità a 1-epoca.

Forma Parametrica di $\eta$

L'analisi empirica rivela che $\eta$ non è costante ma decade in funzione di:

1. Rapporto di Espansione ($r = D'/D$): $\eta$ diminuisce all'aumentare dei dati derivati aggiunti.
2. **Token-per-Parametro ($TPP = D/N$):**$\eta$ decade più velocemente quando i dati freschi sono scarsi rispetto alla dimensione del modello.
3. Dimensione del Modello ($N$): I modelli più grandi saturano più rapidamente.

Gli autori modellano i dati derivati effettivi ($\eta \cdot D'$) come una saturazione verso un tetto $R^*$. La forma funzionale adottata è:
$$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$$
Dove il tetto di saturazione $R^*$ segue una legge di potenza dipendente da $N$ e $TPP$:
$$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$$

3. Risultati Chiave

1. Efficacia Non Costante

L'efficacia dei token derivati è tutt'altro che costante. Dipende congiuntamente dalla dimensione del modello, dal rapporto $TPP$ e dalla quantità di dati derivati. Man mano che il corpus si espande ($D' \to \infty$), il conteggio dei token effettivi $D_{eff} = D + \eta D'$ satura.

2. Tre Regimi Operativi

La legge di scalabilità CD partiziona l'addestramento in tre regimi distinti basati sul vincolo determinante:

• Limitato dal calcolo (Compute-bound): Tra la frontiera dell'ottimalità del calcolo ($L_{Chin}$) e la frontiera dell'ottimalità dei dati ($L_D$). Qui, il calcolo aggiuntivo su $D'$ riduce significativamente la perdita.
• Limitato dai dati (Data-bound): Tra $L_D$ e il pavimento del modello ($L_N$). I token derivati hanno saturato; solo i dati freschi possono ridurre ulteriormente la perdita.
• Limitato dal modello (Model-bound): Il limite asintotico dove sia il calcolo che i dati sono saturati; solo l'aumento di $N$ aiuta.

La regione "limitata dal calcolo" si restringe man mano che la dimensione del modello ($N$) e il $TPP$ aumentano, indicando rendimenti decrescenti per il calcolo aggiuntivo su modelli più grandi o con abbondanza di dati.

3. Selezione della Strategia e Ottimizzazione

• Modelli Piccoli ($N \lesssim 600M$) e Bassi Budget di Dati: La parafrasi è significativamente più efficace della ripetizione.
• Modelli Grandi ($N \gtrsim 190M$) e Alti Budget di Dati: La ripetizione supera la parafrasi.
• Raccomandazioni sulle Epoche: La "regola delle 4 epoche" (spesso citata per Chinchilla) vale solo per modelli di scala media ($\sim 3B$) vicino alla scala dati di $1\times$ Chinchilla. Per modelli più grandi e $TPP$ più elevati, il numero di epoche raccomandato diminuisce.
• Frontiera di Pareto: Il framework identifica l'allocazione ottimale tra calcolo e dati, generalizzando l'ottimizzazione basata solo sul calcolo di Chinchilla in una frontiera di Pareto congiunta calcolo-dati.

4. Trasferimento sui Task a Valle (Downstream)

La perdita di validazione rimane una statistica sufficiente per la capacità a valle (misurata tramite BPB su task LM e accuratezza su benchmark come LAMBADA e SQuAD), indipendentemente dal fatto che il modello sia stato addestrato con 1-epoca, ripetizione o parafrasi. Tutte le strategie collassano su un'unica curva quando vengono tracciate rispetto alla perdita di validazione.

4. Significato e Rivendicazioni

Il documento afferma di fornire un framework unificato che recupera le leggi esistenti come casi particolari:

• Scalabilità ottimale per il calcolo è recuperata quando $D' = 0$.
• Scalabilità limitata dai dati (Muennighoff et al., 2025) è recuperata come un caso particolare in cui il tetto di saturazione $R^*$ è costante.
• Scalabilità ottimale per i dati (Kim et al., 2025) è recuperata come il limite in cui $D' \to \infty$.

Implicazioni Pratiche:

1. Identificazione delle Risorse: I professionisti possono determinare se la loro sessione di addestramento è limitata dal calcolo, dai dati o dalla capacità del modello.
2. Strategia di Allocazione: La legge prescrive la divisione ottimale del calcolo tra dati freschi e dati derivati, andando oltre l'euristica "Chinchilla".
3. Guida alla Strategia: Fornisce raccomandazioni basate sui dati su quando passare dalla ripetizione alla parafrasi e su quante epoche o passaggi di parafrasi siano ottimali prima che i rendimenti saturino.

5. Limitazioni

Gli autori segnalano diverse limitazioni:

• Fitting Empirico: La funzione $\eta$ assorbe i residui del fit a 1-epoca, potenzialmente portando $\eta_{emp} > 1$.
• Sensibilità agli Iperparametri: Solo il learning rate e il weight decay sono stati scansionati; altri iperparametri (dimensione del batch, lunghezza della sequenza) sono stati fissati.
• Costo Computazionale: Stabilire queste leggi ha richiesto oltre 250k ore di H100.
• Ambito: Lo studio si concentra su ripetizione e parafrasi; altre strategie come la auto-distillazione o i dati strutturati sintetici rimangono inesplorate.
• Scala: Gli esperimenti sono stati condotti su modelli piccoli o medi (fino a 600M), sebbene la legge sia stata validata per estrapolare a dimensioni maggiori.