Test-Time Scaling Makes Overtraining Compute-Optimal

1. Il Problema

Le attuali leggi di scaling per i Large Language Models (LLM) sono frammentate e non considerano l'interazione tra la fase di pre-addestramento e quella di inferenza (test-time):

• Scaling del Pre-training (es. Chinchilla): Ottimizza la dimensione del modello ($N$) e il numero di token di addestramento ($D$) per minimizzare la perdita (loss) sotto un budget computazionale fisso, assumendo un'inferenza a singolo passaggio ($k=1$).
• Scaling al Test-time: Studia come allocare risorse computazionali aggiuntive durante l'inferenza (es. campionamento ripetuto, $k > 1$) per migliorare l'accuratezza su compiti specifici (misurata con metriche come pass@k).

Il problema centrale è che queste due aree sono state sviluppate in isolamento. Le strategie di deployment moderne (come i modelli "reasoning" che generano migliaia di campioni) richiedono un trade-off diverso: modelli più piccoli sono più economici per campione ma meno accurati, mentre il beneficio del campionamento ripetuto è una funzione altamente non lineare della qualità per campione. Non esiste una legge di scaling unificata che ottimizzi congiuntamente $N$, $D$ e il numero di campioni $k$ sotto un budget totale (addestramento + inferenza).

2. Metodologia: Train-to-Test (T2) Scaling

Gli autori propongono le leggi di scaling Train-to-Test (T2), che formulano un problema di ottimizzazione congiunta per massimizzare le prestazioni sotto un budget computazionale totale che include sia il costo di addestramento ($C_{train} \approx 6ND$) che quello di inferenza ($C_{inf} \approx 2Nk$).

L'obiettivo è trovare la combinazione ottimale di:

• $N$: Dimensione del modello (parametri).
• $D$: Dimensione del dataset (token di addestramento).
• $k$: Numero di campioni di inferenza (campionamento ripetuto).

Per modellare questo comportamento, gli autori sviluppano due approcci complementari:

Approccio 1: Modellazione della Loss (NLL)

Estende la legge di Chinchilla modellando la Negative Log-Likelihood (NLL) come funzione di $N$, $D$ e $k$.

• Si parte dalla formula di Chinchilla: $\hat{L}(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}$.
• Si aggiunge un termine di potenza per il campionamento ripetuto: $\frac{G}{k^\gamma}$.
• La formula completa diventa: $\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$.
• Questo approccio assume che il contributo della NLL al pass@k segua una legge di potenza, valida sotto l'assunzione che la distribuzione della difficoltà del task sia modellabile con una distribuzione Beta.

Approccio 2: Modellazione dell'Accuratezza (Pass@k)

Modella direttamente la probabilità di successo pass@k come metrica di accuratezza, evitando di passare attraverso la NLL.

• Si stima l'accuratezza singola ($p$) come una funzione sigmoide della loss stimata: $p = \sigma_\theta(\hat{L}(N, D))$.
• Si modella la distribuzione delle probabilità per singola domanda come una distribuzione Beta ($Beta(a, b)$), i cui parametri dipendono da $N$ e $D$ tramite la loss.
• Si calcola l'atteso pass@k integrando sulla distribuzione Beta:
  $$\widehat{Acc}(N, D, k) = 1 - \frac{B(a_{N,D}, b_{N,D} + k)}{B(a_{N,D}, b_{N,D})}$$
  dove $B$ è la funzione Beta.

Correzione del Budget di Inferenza:
Per standardizzare il confronto, gli autori fissano un budget di inferenza $C_{inf}$ e derivano $k$ come $k = \frac{C_{inf}}{2N}$. Questo implica che, a parità di budget inferenziale, i modelli più piccoli ricevono più campioni ripetuti ($k$ alto), mentre i modelli grandi ne ricevono meno.

3. Contributi Chiave

1. Ottimizzazione End-to-End: Formalizzazione del problema di scaling che unisce addestramento e inferenza, ottimizzando $N$, $D$ e $k$ simultaneamente.
2. Due Formulazioni Complementari: Introduzione di un approccio basato sulla Loss (NLL) e uno basato sull'Accuratezza (Pass@k), che convergono verso conclusioni simili.
3. Validazione Empirica sull'Overtraining: Addestramento di modelli "overtrained" (addestrati su molti più token rispetto alla ricetta Chinchilla) per validare le previsioni teoriche.
4. Robustezza al Post-Training: Dimostrazione che i trade-off ottimali derivati dai modelli base persistono anche dopo il Supervised Fine-Tuning (SFT) e il Fine-Tuning (FT).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 8 task (4 reali e 4 sintetici) utilizzando una suite di oltre 100 checkpoint che coprono tre ordini di grandezza di risorse computazionali.

• RQ1: Le decisioni di pre-training devono cambiare?
  Sì. Quando si considera il costo del campionamento ripetuto, la strategia ottimale si sposta radicalmente verso l'overtraining. Invece di seguire il rapporto Chinchilla (circa 20 token per parametro), le leggi T2 raccomandano modelli molto più piccoli ma addestrati su molte più token (fino a 100-1000x il rapporto Chinchilla), sfruttando il campionamento ripetuto per compensare la minore capacità del modello.
• RQ2: Le previsioni T2 si estendono all'overtraining?
  Sì. Gli autori hanno addestrato modelli da zero nella regione di overtraining prevista. I risultati mostrano che questi modelli superano significativamente i checkpoint "Chinchilla-optimal" quando valutati con un budget di inferenza corretto. L'errore relativo di previsione è stato basso (2.8% per l'Approccio 1, 8.4% per l'Approccio 2).
• RQ3: Le previsioni sopravvivono al Post-Training?
  Sì. Anche dopo il Fine-Tuning e il Supervised Fine-Tuning, la tendenza verso modelli più piccoli e overtrained rimane valida, sebbene l'overtraining estremo renda il fine-tuning leggermente più difficile (come notato in lavori precedenti). Tuttavia, i modelli overtrained rimangono superiori a quelli Chinchilla-optimal anche dopo il post-training.

5. Significato e Implicazioni

Il paper ribalta la convenzione attuale secondo cui i modelli più grandi sono sempre preferibili se si ha budget computazionale.

• Cambiamento di Paradigma: Per deployment che utilizzano tecniche di ragionamento o campionamento ripetuto (es. modelli tipo "o1" di OpenAI), la strategia ottimale non è addestrare un modello gigante una volta, ma addestrare un modello più piccolo su un dataset enorme e affidarsi a un'inferenza computazionalmente intensiva (molti campioni).
• Efficienza: Questo approccio rende l'overtraining non solo accettabile, ma computazionalmente ottimale.
• Guida Pratica: Fornisce una "blueprint" per i praticanti: se si conosce il budget di inferenza (e si prevede l'uso di campionamento ripetuto), si dovrebbe addestrare un modello più piccolo per più tempo, seguendo le curve di isoflop definite dalle leggi T2.

In sintesi, il lavoro dimostra che ignorare il costo e il beneficio del test-time scaling porta a scelte di pre-training subottimali, e che l'integrazione di queste due fasi rivela che i modelli moderni dovrebbero essere progettati per essere "overtrained" e sfruttati tramite inferenza iterativa.