💻 computer science

The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool

Attraverso esperimenti empirici su un pool fisso di 24 milioni di token, questo articolo dimostra che un filtraggio aggressivo della qualità sotto un budget di calcolo fisso spesso danneggia le prestazioni del modello forzando un'eccessiva ripetizione dei dati, mentre il mantenimento di dati di qualità inferiore e il sovracampionamento di sottoinsiemi di alta qualità produce risultati superiori o equivalenti attraverso vari obiettivi.

Autori originali: Alexander Memming

Pubblicato 2026-07-28

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexander Memming

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come parlare la lingua umana. Per farlo, devi nutrirlo con una libreria massiccia di testi: libri, siti web, articoli e altro ancora. Per molto tempo, gli scienziati hanno pensato che l'unica cosa che contasse fosse quanto testo potevi dare in pasto al robot. Più grande era la biblioteca, più intelligente diventava il robot. Questa idea è chiamata "scaling" (scalabilità), ed è il motivo per cui i nostri assistenti IA sono così bravi oggi.

Ma c'è un problema. Non tutti i testi sono uguali. Alcune pagine sono piene di nonsense, spam o frasi senza senso, mentre altre sono scritte da esperti e sono ricche di informazioni utili. Così, i ricercatori hanno iniziato a chiedersi: "Dovremmo buttare via le cose brutte e dare al robot solo i libri migliori?". Questo è chiamato "filtraggio della qualità". Tuttavia, c'è una seconda regola nel gioco: il robot impara meglio quando vede informazioni fresche. Se lo fai leggere le stesse poche pagine ancora e ancora, smette di imparare e inizia solo a memorizzare. Questo articolo esplora un equilibrio complicato: se butti via il testo brutto, hai meno pagine da leggere, il che significa che il robot deve leggere le pagine buone più volte. Avere meno pagine, ma migliori, aiuta, o il robot si annoia e si confonde leggendo la stessa cosa troppe volte?

Il Grande Esperimento della Biblioteca

In questo studio, un ricercatore di nome Alexander Memming ha allestito un esperimento astuto per risolvere questo enigma. Non ha usato l'intero internet (che è troppo vasto per essere testato facilmente). Inveve, ha costruito un "pool fisso" di circa 24 milioni di parole — un piccolo, gestibile frammento del web. Ha poi dato questo stesso pool di parole a diversi piccoli modelli di IA, ma ha cambiato le regole per ognuno di essi.

Per alcuni modelli, ha mantenuto tutte le parole. Per altri, ha agito come un bibliotecario severo e ha buttato via la metà inferiore, un quarto, un ottavo o persino solo un sedicesimo superiore delle parole, tenendo solo quelle che il computer considerava di "alta qualità". Ha anche provato un terzo approccio: invece di buttare via qualsiasi cosa, ha mantenuto l'intera biblioteca ma ha detto al robot di leggere le pagine "migliori" molte più volte delle pagine "accettabili".

Ha poi testato questi robot su tre cose diverse:

Il Web Grezzo: Un mix di tutto, proprio come la biblioteca su cui è stato addestrato.
Il Testo "Edu": Pagine educative di alta qualità (il tipo di testo che il robot ama imparare).
WikiText: Un insieme completamente diverso di articoli enciclopedici che il robot non aveva mai visto prima.

Le Sorprendenti Scoperte

I risultati sono stati simili a una montagna russa e hanno cambiato le regole del gioco in tre grandi modi.

1. Dipende da chi hai di fronte
La sorpresa più grande è stata che il "filtraggio della qualità" non rende sempre il robot più intelligente. Dipende interamente da ciò che vuoi che il robot faccia.

Se vuoi che il robot capisca l'internet disordinato: Buttare via il testo "brutto" ha effettivamente danneggiato il robot. Più il ricercatore filtrava, peggio il robot si comportava. È come cercare di imparare a guidare in una città praticando solo su una pista perfetta e vuota. Quando finalmente ti scontri con le strade reali, piene di buche e traffico, ti schianti. Il robot addestrato su dati filtrati non riusciva a gestire la realtà disordinata del web.
Se vuoi che il robot sia un esperto su argomenti di alta qualità: Il filtraggio ha aiutato un po'. Se l'obiettivo era sembrare uno studioso o un'enciclopedia, tenere solo le pagine migliori ha reso il robot leggermente più bravo.

2. Più addestri, meno dovresti filtrare
Ecco la lezione più importante: la dimensione del tuo budget cambia la strategia migliore.
Immagina di avere una piccola paghetta (un piccolo budget di addestramento). Potresti essere tentato di comprare solo i giocattoli più costosi e di alta qualità. Ma se hai una paghetta enorme (un budget massiccio), comprare solo i giocattoli costosi significa che esaurirai i giocattoli nuovi molto rapidamente. Finirai per giocare con lo stesso giocattolo costoso ancora e ancora finché non ti annoi.
Lo studio ha scoperto che, man mano che il budget di addestramento cresceva, la strategia "migliore" cambiava. All'inizio, tenere solo il top 1/16 dei dati sembrava andare bene. Ma mentre il robot veniva addestrato più a lungo (leggendo i dati 8,2 volte invece di 4,1), quella minuscola, filtrata biblioteca diventava un disastro. Il robot si annoiava e iniziava a commettere errori. La strategia migliore per un budget grande si è rivelata essere tenere più dati, anche quelli disordinati, in modo che il robot potesse continuare a vedere cose nuove.

3. Non buttarlo via, leggilo solo di più
Il ricercatore ha anche confrontato il "buttare via" il testo brutto rispetto al "leggere il testo buono più spesso".

Il metodo "Butta Via": Elimini le pagine di bassa qualità.
Il metodo "Leggi di Più": Tieni tutte le pagine, ma dici al robot: "Ehi, leggi queste pagine migliori 16 volte, ma leggi solo una volta le pagine inferiori".

Quando il ricercatore è stato molto aggressivo (tenendo solo il top 1/16), il metodo "Leggi di Più" ha vinto con un margine enorme. Era fino a 0,39 nats (un'unità di misura di quanto bene il robot predice la parola successiva) migliore del metodo "Butta Via".
Pensa a questo: se hai una canzone preferita, puoi o eliminare tutte le altre canzoni dalla tua playlist e ascoltare solo quella 16 volte (Butta Via), oppure puoi tenere tutta la tua playlist ma assicurarti che la tua canzone preferita venga riprodotta 16 volte in più (Leggi di Più). Il secondo modo è migliore perché hai ancora le altre canzoni sullo sfondo per mantenere l'interesse, e non perdi la varietà unica dell'intera libreria.

Il Punto Fondamentale

Questo articolo non dice che dovremmo smettere di cercare di rendere l'IA più intelligente. Inveve, ci avverte che non possiamo semplicemente buttare via alla cieca i dati "brutti".

Non filtrare se vuoi capire il mondo reale: Se vuoi un'IA che capisca l'internet disordinato, tieni i dati disordinati.
Non filtrare troppo se hai un budget grande: Se hai molta potenza di calcolo, hai bisogno di una enorme varietà di dati. Se filtri troppo strettamente, costringi l'IA a ripetersi, e questo ferma il suo apprendimento.
La ripetizione è meglio della cancellazione: Se vuoi davvero concentrarti sui dati migliori, non cancellare il resto. Assicurati solo che l'IA veda le cose buone più spesso di quelle brutte.

Lo studio è stato condotto su piccoli modelli e su un piccolo frammento di dati, quindi non possiamo dire con certezza cosa accadrà ai giganteschi modelli di IA del futuro. Ma la lezione è chiara: trattare la qualità dei dati e la quantità dei dati come cose separate è un errore. Sono collegate, e il modo migliore per addestrare un'IA cambia a seconda di quanto tempo e denaro hai a disposizione.

Sintesi Tecnica: I Limiti della Dimensione dei Dati di Addestramento nei Modelli Foundation

Problematica
Il documento affronta una tensione fondamentale nella scalabilità dei modelli foundation: il compromesso tra qualità e quantità dei dati sotto un budget di addestramento fisso. Le stime attuali del "muro dei dati" (il punto in cui il testo scritto da esseri umani si esaurisce) si basano su due moltiplicatori indipendenti: la frazione di testo grezzo che sopravvive al filtraggio di qualità e il numero di volte in cui i token sopravvissuti possono essere ripetuti utilmente. Gli autori sostengono che questi fattori non siano indipendenti. Su un pool fisso di token unici ( $U$ ), filtrare con un tasso di ritenzione $f$ migliora la qualità media, ma costringe il modello a percorrere i dati $1/f$ volte. Poiché i token ripetuti presentano rendimenti decrescenti (decadimento esponenziale del valore), un filtraggio aggressivo converte i token unici in token ripetuti, incorrendo potenzialmente in un costo che cresce con il budget di addestramento ( $D$ ). La domanda empirica centrale è: dato un pool fisso $U$ e un budget $D$ , quale frazione di ritenzione $f$ minimizza la perdita su dati tenuti fuori (held-out loss), e come si sposta questo ottimo all'aumentare del rapporto $D/U$ ?

Metodologia
Lo studio impiega un disegno sperimentale controllato per isolare gli effetti di filtraggio, scarsità e ripetizione.

Pool di Dati: Un pool fisso di 24,0 milioni di token derivati dal primo shard del dataset FineWeb.
Filtro di Qualità: I documenti sono valutati utilizzando il classificatore rilasciato da FineWeb-Edu (una testa di regressione lineare su un modello di embedding addestrato sul "valore educativo").
Costruzione del Corpus: Sono stati costruiti tre tipi di corpora dal pool fisso:
1. Qualità filtrata ( $f$ ): La frazione superiore $f$ dei token in base al punteggio del classificatore.
2. Sottogruppi casuali ( $f$ ): Token selezionati casualmente che corrispondono alla dimensione dei set filtrati per qualità (servendo come controllo per la scarsità).
3. Miscele con pesatura aumentata (up-weighted): Il pool completo viene mantenuto, ma la sezione superiore $f$ viene sovracampionata $k=1/f$ volte (servendo come alternativa "morbida" al filtraggio rigido).
Configurazione dell'Addestramento: Piccoli transformer decoder-only (che variano da 1,3M a 16,9M di parametri) sono stati addestrati su questi corpora. La griglia principale ha utilizzato un modello da 7,34M di parametri.
Budget: Sono stati utilizzati budget di addestramento di 6,1M, 12,3M e 24,6M di token, risultando in conteggi di ripetizione compresi tra 0,26 e 16,4 passaggi sui token unici, a seconda del corpus.
Valutazione: I modelli sono stati valutati su tre set tenuti fuori:
1. Web: Test web grezzo (la distribuzione da cui il pool è stato estratto).
2. Edu: Test web ad alto punteggio (sovrapponibile al target del filtro).
3. WikiText-103: Test enciclopedico indipendente e curato.
Robustezza: Lo studio include controlli corrispondenti, molteplici dimensioni del modello e sweep degli iperparametri (learning rate e weight decay) per garantire che i risultati non siano artefatti di specifiche ricette.

Risultati Chiave
Gli esperimenti producono tre scoperte primarie, tutte superiori alla banda di rumore tipica tra le varie esecuzioni di circa 0,055 nats per token:

Dipendenza dal Target: Il segno dell'effetto di filtraggio dipende interamente dal target di valutazione.
- Sul target web grezzo, il filtraggio non aiuta mai; la perdita aumenta monotonicamente man mano che il tasso di ritenzione $f$ diminuisce. Il filtraggio aggressivo (mantenendo il top 1/16) costa fino a 0,44 nats per token rispetto al mantenimento di tutti i dati.
- Sui target di alta qualità (Edu e WikiText-103), il filtraggio può essere innocuo o lievemente benefico a bassi budget, ma il beneficio è piccolo e spesso si colloca al limite della banda di rumore.
Dipendenza dal Budget: Il tasso di ritenzione ottimale si ammorbidisce all'aumentare del budget.
- All'aumentare del budget, il costo della ripetizione supera il beneficio della qualità. Ad esempio, su WikiText-103, il corpus top 1/16 è stato marginalmente migliore del pool non filtrato a un budget di 6,1M di token (4,1 passaggi), ma è diventato significativamente peggiore a un budget di 12,3M di token (8,2 passaggi). La frazione che minimizza la perdita si sposta verso il mantenimento di più dati all'aumentare di $D/U$ .
Filtraggio Rigido vs. Up-weighting: Il metodo con cui si agisce sui punteggi di qualità è importante.
- Ai tassi di ritenzione aggressivi (es. top 1/16), l'up-weighting (mantenere tutti i dati e sovracampionare la sezione ad alto punteggio) supera rigorosamente il filtraggio rigido (eliminare la sezione a basso punteggio) su tutti i target e i budget. Il vantaggio dell'up-weighting raggiunge fino a 0,39 nats.
- Ai tassi di ritenzione lievi (es. top 1/4), il filtraggio rigido e l'up-weighting sono statisticamente indistinguibili.
- Casuale vs. Selezione: Sui target di alta qualità, la selezione basata sul punteggio supera significativamente i sottogruppi casuali della stessa dimensione, indicando che il classificatore cattura un segnale distributivo genuino. Tuttavia, sul target web grezzo, i sottogruppi casuali si comportano quasi come il pool completo, suggerendo che il danno derivante dal filtraggio sia dovuto principalmente allo shift distributivo piuttosto che alla scarsità.

Significatività e Rivendicazioni
Il documento non pretende di determinare la strategia di filtraggio ottimale per i modelli in scala frontier (che sono ordini di grandezza più grandi). Inveve, stabilisce un meccanismo e un tasso di cambio entro un regime specifico.

Interdipendenza dei Moltiplicatori: Lo studio dimostra che il "moltiplicatore di qualità" (frazione sopravvissuta al filtraggio) e il "moltiplicatore di ripetizione" (epoche) non sono indipendenti. Trattare il filtraggio come un processo che riduce il numero di token unici aumenta il numero di ripetizioni per un budget fisso. Considerare questi come variabili indipendenti sovrastima sistematicamente il valore di un corpus filtrato.
Guida Pratica: Gli autori suggeriscono che le soglie tarate su regimi abbondanti di dati (ablazioni a singolo epoch) sono probabilmente subottimali quando il pool diventa limitante. Raccomandano di:
- Impostare i tassi di ritenzione rispetto al budget specifico, non rispetto alla dimensione del corpus.
- Utilizzare l'up-weighting invece della cancellazione per la concentrazione aggressiva su dati di alta qualità.
- Verificare che i risultati del filtraggio siano validi attraverso diversi target di distribuzione, poiché un filtro tarato per una distribuzione può essere dannoso per un'altra.
Risultato Negativo: Gli autori riportano che un design con solo due punti di budget per corpus è insufficiente per identificare separatamente la costante di decadimento della ripetizione ( $R^*_D$ ) per i dati filtrati e quelli casuali, mettendo in guardia contro studi simili con griglie così sottili nella letteratura corrente.

In conclusione, il documento sostiene che su un pool fisso, il filtraggio aggressivo è un modo "dispersivo" (lossy) per agire sui punteggi di qualità rispetto all'up-weighting, e che la strategia ottimale si sposta verso il mantenimento di più dati all'aumentare del budget di addestramento.

Il Grande Esperimento della Biblioteca

Le Sorprendenti Scoperte

Il Punto Fondamentale

Sintesi Tecnica: I Limiti della Dimensione dei Dati di Addestramento nei Modelli Foundation

Articoli simili