To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining

1. Il Problema

Le attuali leggi di scalatura (scaling laws) per i Large Language Models (LLM) trattano il corpus di addestramento come un blocco monolitico, assumendo che tutta la conoscenza debba essere compressa parametricamente nei pesi del modello. Tuttavia, con l'avvento della Generazione Aumentata dal Recupero (RAG), sorge una nuova domanda fondamentale: come allocare al meglio un budget di dati fisso tra pretraining (memorizzazione parametrica) e la costruzione di un archivio di recupero esterno (conoscenza non parametrica)?

Attualmente, non esiste una risposta consolidata su come bilanciare questi due componenti. Da un lato, il pretraining è costoso in termini computazionali ma offre accesso immediato alla conoscenza; dall'altro, il recupero è "gratuito" durante l'addestramento ma introduce overhead all'inferenza e dipende dalla qualità del retriever. Il paper si pone l'obiettivo di quantificare questo trade-off e determinare l'allocazione ottimale dei dati.

2. Metodologia

Gli autori hanno condotto uno studio sistematico su una vasta gamma di scale, utilizzando modelli basati su OLMo-2 (da 30M a 3 miliardi di parametri) addestrati su fino a 100 miliardi di token del dataset DCLM.

• Setup Sperimentale:

  • Hanno variato sistematicamente due dimensioni: la scala dei dati di pretraining ($D$) e la dimensione dell'archivio di recupero ($R$), entrambi derivati dallo stesso corpus sottostante.
  • Gli indici di recupero sono stati costruiti utilizzando FAISS con un modello di embedding (Qwen3-Embedding-8B) e una strategia di chunking fissa.
  • I modelli sono stati valutati su una suite diversificata di benchmark che coprono ragionamento, QA scientifica e QA a dominio aperto (es. ARC, HellaSwag, SciQ, Natural Questions).

• Metriche:

  • Per l'analisi delle leggi di scalatura, gli autori hanno privilegiato la Perplexity (PPL) rispetto all'accuratezza (accuracy). La PPL offre una misura continua e normalizzata per la lunghezza, fondamentale per catturare trend di scalatura lisci, mentre l'accuratezza tende a mostrare comportamenti a gradini (step-like) che oscurano le relazioni funzionali.

• Modellazione:

  • Hanno esteso la classica legge di potenza a due dimensioni (dimensione del modello $N$ e token di pretraining $D$) includendo un terzo asse per i token di recupero ($R$).
  • La formula proposta per la perdita ($L$) è:
    $$L(N, D, R) = A \left(\frac{N}{10^9}\right)^{-\alpha} + B \left(\frac{D}{10^9}\right)^{-\beta} - C \log\left(1 + \eta \frac{R}{10^9}\right) + L_0$$
    Dove il termine logaritmico negativo rappresenta il guadagno derivante dal recupero, con $\eta$ che governa la velocità di saturazione.

3. Contributi Chiave

1. Analisi del Trade-off: Dimostrano che la relazione tra pretraining e recupero è strutturata ma non banale, con effetti non monotoni dipendenti dalla scala e dal regime di addestramento.
2. Legge di Scalatura 3D: Introducono un framework di scalatura tridimensionale che modella la performance come funzione di dimensione del modello, token di pretraining e dimensione del corpus di recupero, permettendo di quantificare la sostituibilità tra i due.
3. Punto di Crossover Scalabile: Identificano un punto di svolta dipendente dalla scala oltre il quale il recupero diventa un sostituto efficiente del pretraining.

4. Risultati Principali

• Sostituibilità del Recupero:

  • In regimi con pochi dati (sotto-addestrati), il recupero non può sostituire efficacemente il pretraining.
  • Tuttavia, oltre una soglia di circa 4.14 token di pretraining per parametro ($D/N \approx 4.14$), il recupero diventa un sostituto altamente efficiente. In questo regime, ogni token di recupero può sostituire più token di pretraining, con guadagni che crescono in modo quasi log-lineare.

• Beneficio Marginale e Scala del Modello:

  • I modelli più piccoli (es. 30M) traggono il massimo beneficio marginale dal recupero, ottenendo grandi riduzioni della perdita per unità di dati recuperati.
  • Man mano che la dimensione del modello aumenta, il beneficio marginale diminuisce drasticamente, saturando intorno ai 3B di parametri. Questo suggerisce che i modelli grandi internalizzano già gran parte della conoscenza necessaria, rendendo il recupero meno critico in termini assoluti, anche se rimane un sostituto efficiente in termini relativi.

• Dipendenza dal Tipo di Task:

  • Il recupero è estremamente efficace per task basati su fatti e conoscenza (es. CommonsenseQA, OpenBookQA), dove può sostituire grandi quantità di pretraining.
  • Per task basati sul ragionamento (es. PIQA, StrategyQA, GSM8K), il recupero offre guadagni minimi o nulli. In questi casi, il limite non è l'accesso alla conoscenza, ma la capacità computazionale del modello di elaborare e ragionare su di essa.

• Qualità del Recupero:

  • Migliorare la formulazione della query (es. includere le risposte corrette come oracle) porta a guadagni incrementali, ma non altera i trend di scalatura fondamentali. Questo indica che il collo di bottiglia non è solo la precisione del retriever, ma la natura intrinseca del task e la capacità del modello.

5. Significato e Implicazioni

Questo lavoro offre una base quantitativa per ripensare la progettazione dei sistemi linguistici scalabili:

• Ottimizzazione Unificata: Il pretraining e il recupero non dovrebbero essere visti come scelte di design separate, ma come risorse da allocare congiuntamente sotto un budget di dati fisso.
• Guida Pratica: Per modelli piccoli o in regimi sotto-addestrati, investire in un archivio di recupero è spesso più efficiente che aumentare il pretraining. Per modelli grandi e fortemente addestrati, il recupero funge da complemento per la conoscenza a lunga coda, ma non sostituisce la capacità parametrica di ragionamento.
• Cambiamento di Paradigma: Suggerisce un passaggio concettuale dall'idea di "compressere tutti i dati nei pesi" a una visione ibrida dove i corpus sono partizionati strategicamente in dati per l'internalizzazione (pretraining) e dati per l'accesso esterno (RAG), allineandosi meglio con i vincoli reali di costo computazionale e latenza di inferenza.

In sintesi, il paper dimostra che "memorizzare o recuperare" non è una scelta binaria, ma un continuum ottimizzabile che dipende criticamente dalla scala del modello, dal tipo di compito e dal grado di saturazione del pretraining.