🤖 machine learning

Internal Data Repetition Destroys Language Models

Questo articolo dimostra che nel paradigma di scaling dell'era Chinchilla, la ripetizione dei dati danneggia sistematicamente le prestazioni dei modelli linguistici creando un picco di perdita equivalente in termini di calcolo a un numero intermedio di ripetizioni che scala con la dimensione del modello, un fenomeno spiegato analiticamente come un compromesso statistico tra memorizzazione e generalizzazione.

Autori originali: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Pubblicato 2026-06-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a uno studente (un Modello Linguistico) come scrivere saggi fornendogli una biblioteca enorme di libri da leggere. L'obiettivo è renderlo il più intelligente possibile usando una quantità limitata di tempo di studio (potenza di calcolo).

Questo articolo investiga cosa succede quando quella biblioteca non è perfetta e contiene libri duplicati. Nello specifico, si chiede: Importa se diamo allo studente lo stesso libro due volte, o lo stesso libro 100 volte?

Ecco la ripartizione delle loro scoperte utilizzando analogie semplici:

1. Il Problema: L'Effetto "Camera dell'Eco"

In passato, i ricercatori pensavano che se avessi semplicemente rimosso i duplicati esatti dai dati di addestramento, saresti stato al sicuro. Ma in realtà, anche i dati "puliti" presentano delle ripetizioni.

I ricercatori hanno scoperto che la ripetizione non rende solo l'apprendimento leggermente più lento; può distruggere attivamente le prestazioni del modello in un modo molto specifico e controintuitivo. Non è una linea retta dove "più ripetizioni = risultati peggiori". È una trappola.

2. La Trappola del "Goldilocks" (Lo Scenario Peggiore)

La scoperta più sorprendente è che il danno non è causato dal ripetere una minuscola quantità di dati un milione di volte, né dal ripetere una grossa fetta di dati appena due volte.

L'Analogia: Immagina uno studente che studia per un esame.

Scenario A: Legge 1.000 libri unici una volta sola. (Ottimi risultati).
Scenario B: Legge 1.000 libri unici, ma rilegge un libro specifico 10.000 volte. (Lo studente memorizza perfettamente quel libro ma non riesce a imparare i concetti generali. Risultati pessimi).
Scenario C (La Trappola): Legge 1.000 libri unici, ma rilegge un mucchio di medie dimensioni di 50 libri circa 100 volte ciascuno.

Il documento ha scoperto che lo Scenario C è il peggiore. È come se lo studente rimanesse intrappolato in un ciclo in cui memorizza quel mucchio di libri mediamente così bene da smettere di imparare qualsiasi cosa di nuovo dal resto della biblioteca. Diventa "sovra-specializzato" sui duplicati e "sotto-specializzato" sui dati unici.

Troppe poche ripetizioni: Lo studente ignora i duplicati e impara normalmente.
Troppe ripetizioni: Lo studente memorizza i duplicati così intensamente da "disconnettersi" efficacemente dal resto dei dati, ma l'enorme volume di dati unici aiuta comunque.
Il numero giusto di ripetizioni: Lo studente si confonde. Passa troppo tempo sui duplicati per memorizzarli, ma non abbastanza tempo sui dati unici per imparare le regole generali. Questo "punto di equilibrio" causa il calo di intelligenza più grande.

3. La Regola "Le Dimensioni Contano"

I ricercatori hanno scoperto che la dimensione di questa "zona di pericolo" cambia a seconda di quanto è grande lo studente (il modello AI).

I modelli piccoli vengono danneggiati quando ripetono un piccolo mucchio di libri molte volte.
I modelli grandi vengono danneggiati quando ripetono un mucchio molto più grande di libri, ma meno volte.

Pensalo come una spugna. Una spugna piccola (modello piccolo) si intasa se versi un po' di fango su di essa molte volte. Una spugna gigante (modello grande) può gestire un po' di fango, ma se versi un enorme secchio di fango un numero moderato di volte, si intasa istantaneamente.

4. Il Costo: Spreco di Denaro ed Energia

Il documento traduce questa "stupidità" in denaro ed energia. Hanno scoperto che se colpisci questa trappola di ripetizione del "caso peggiore", potresti tanto bene aver buttato via il 33% del tuo budget di calcolo.

L'Analogia: Immagina di aver pagato per una sessione di studio di 100 ore. A causa della cattiva struttura della ripetizione, lo studente ha imparato quanto avrebbe imparato in una sessione di 67 ore. Hai sprecato 33 ore di elettricità e denaro per nessun guadagno.

5. Perché succede questo? (La Matematica Semplice)

Potresti pensare che si tratti di un particolare strano di come funzionano i cervelli degli IA (Transformer). Ma gli autori hanno dimostrato che si tratta in realtà di un problema statistico di base.

Hanno costruito un semplice modello matematico (come una regressione lineare di base) che non utilizza nemmeno l'IA. Quando hanno alimentato questo semplice modello matematico con dati duplicati, ha mostrato esattamente lo stesso picco di scarse prestazioni del tipo "Goldilocks".

La Lezione: Questo non è un bug nei sofisticati meccanismi di attenzione dell'IA; è una legge fondamentale della statistica. Quando hai dati unici e dati ripetuti, esiste un equilibrio specifico in cui il modello si confonde tra il "memorizzare la copia" e l' "imparare la regola generale", e questa confusione è quella che danneggia di più.

Riassunto

La ripetizione è negativa, ma non nel modo in cui pensi.
Il danno maggiore avviene quando ripeti un blocco di dati di medie dimensioni un numero moderato di volte.
I modelli più grandi sono vulnerabili alla ripetizione di blocchi di dati più grandi.
Il costo è enorme: puoi sprecare un terzo della tua potenza di calcolo solo avendo la struttura di ripetizione errata.
La causa è un fondamentale compromesso statistico tra la memorizzazione dei duplicati e l'apprendimento di schemi generali, non un fallimento complesso dell'IA.

Il documento conclude che semplicemente rimuovere i duplicati non è sufficiente; dobbiamo capire come sono strutturati i duplicati rimanenti per evitare di sprecare enormi quantità di risorse.

Sintesi Tecnica: La ripetizione interna dei dati distrugge i modelli linguistici

Definizione del problema
Poiché il pre-addestramento dei modelli linguistici (LM) sta entrando in un regime di scarsità di dati, i corpora pubblici di alta qualità si stanno esaurendo, rendendo necessario l'uso di addestramenti multi-epoca e di dataset con de-duplicazione imperfetta. Sebbene la de-duplicazione aggressiva sia uno standard, rimangono duplicati esatti residui, template parafrasati e pagine semanticamente ridondanti. Studi controllati precedenti sulla ripetizione dei dati, come Hernandez et al. [11], precedevano le leggi di scaling di tipo Chinchilla basate sul calcolo (compute-optimal). Di conseguenza, misuravano il costo della ripetizione indirettamente tramite riduzioni del "numero effettivo di parametri" e su budget di token fissi che sotto-addestravano i modelli grandi e sovra-addestravano quelli piccoli. Questo articolo affronta la necessità di quantificare il costo della ripetizione esatta a livello di documento all'interno del moderno paradigma Chinchilla, dove le prestazioni sono misurate in FLOP anziché in numero di parametri, e i budget di addestramento sono ottimizzati per l'efficienza computazionale.

Metodologia
Gli autori conducono uno studio controllato isolando l'impatto della struttura della ripetizione, mantenendo costanti il budget computazionale totale e la frazione di token ripetuti.

Configurazione Sperimentale: Lo studio addestra transformer decoder-only in stile Qwen3 con conteggi di parametri $N \in \{34, 48, 63, 93, 153, 344\}$ M sul corpus FineWeb-Edu-Dedup.
Protocollo di Ripetizione: Per ogni run, il 10% dei token di addestramento ( $f=0.1$ ) è tratto da un pool specifico di documenti, mentre il 90% proviene da documenti unici. La struttura della ripetizione viene variata cambiando il conteggio delle ripetizioni $R$ (quante volte ogni documento nel pool viene riprodotto) e la dimensione del pool $D_r$ . Ciò crea una curva iso-FLOP dove il calcolo totale $C = 6NT$ rimane fisso, ma la concentrazione di dati ripetuti cambia.
Metriche: Gli autori introducono il Guadagno Equivalente al Calcolo (CEG) e la Perdita Equivalente al Calcolo (CEL). Il CEG è definito come il rapporto tra il calcolo di cui una run senza ripetizioni avrebbe bisogno per raggiungere la stessa perdita di una run con dati ripetuti, diviso per il calcolo effettivamente speso. $CEL = 1 - CEG$. Un valore di $CEG < 1$ indica che la ripetizione ha causato una perdita nell'efficienza del calcolo.
Baseline: Viene derivata una legge di scaling Chinchilla senza ripetizioni, $L(C) = E + KC^{-\gamma}$ , partendo da sei baseline $OT=1$ (ottimali per Chinchilla) per convertire le perdoli di valutazione in costi di calcolo equivalenti.
Analisi Teorica: Per comprendere il meccanismo, gli autori derivano espressioni in forma chiusa per la perdita di addestramento e di test in un modello di regressione lineare mal specificato con duplicati letterali, analizzando la covarianza del rumore a blocchi diagonali introdotta dai campioni ripetuti.

Risultati Chiave

Picco di Danno Non Monotonico: La perdita di valutazione non è monotona rispetto al conteggio delle ripetizioni $R$ . Invece, il danno raggiunge un picco a un conteggio di ripetizioni intermedio. Ripetere un sottoinsieme di dimensioni moderate un numero moderato di volte causa più danni rispetto al ripetere un sottoinsieme molto piccolo molte volte o un sottoinsieme grande poche volte.
Legge di Scaling per la Localizzazione del Picco: La posizione di questo picco ( $R_{peak}$ ) segue una legge di potenza rispetto alla dimensione del modello $N$ e al calcolo totale $C$ . Nello specifico, $R_{peak} \propto N^{-0.96}$ e $R_{peak} \propto C^{-0.25}$ . Ciò implica che, con l'aumentare della scala dei modelli, la struttura di ripetizione più dannosa prevede meno ripetizioni di un pool di documenti più ampio.
Significativa Perdita Equivalente al Calcolo: Alla scala massima testata (344M parametri, $OT=1$), la peggiore struttura di ripetizione risulta in un CEG di circa 0,67, corrispondente a un CEL di 0,33. Ciò significa che la run ottiene la stessa perdita di una run senza ripetizioni addestrata con soli due terzi dei FLOP.
Meccanismo Statistico: Il picco non monotonico è riprodotto in un semplice modello di regressione lineare mal specificato. Gli autori dimostrano che questo fenomeno deriva da un compromesso statistico tra memorizzazione e generalizzazione in presenza di campioni duplicati, suggerendo che l'effetto non è specifico per le architetture transformer, i meccanismi di attenzione o gli ottimizzatori.

Significato e Rivendicazioni
L'articolo sostiene di modernizzare lo studio della ripetizione dei dati spostando la metrica da "parametri effettivi" a "unità equivalenti al calcolo", allineandosi alle attuali pratiche del settore.

Precisione nella Quantificazione del Costo: Le scoperte permettono ai professionisti di quantificare la computazione sprecata causata dalla specifica struttura dei duplicati nei corpora di pre-addestramento, non solo dal volume dei duplicati.
Prevedibilità: La legge di potenza identificata ( $R_{peak} \propto N^{-0.96}$ ) fornisce un'euristica per prevedere le configurazioni di ripetizione più dannose per una data dimensione del modello, consentendo migliori strategie di cura dei dati.
Generalizzabilità: Dimostrando che lo stesso picco qualitativo di perdita si verifica in un semplice modello di regressione lineare, gli autori sostengono che il danno da ripetizione sia una proprietà statistica fondamentale dei campioni duplicati in apprendimenti mal specificati, piuttosto che un artefatto di specifici componenti di deep learning.

Gli autori rimangono modesti riguardo ai valori assoluti di CEG e CEL, osservando che dipendono da una legge di scaling a tre parametri derivata da un numero limitato di baseline. Tuttavia, affermano che la non-monotonicità qualitativa e l'esistenza di una struttura di ripetizione peggiore sono scoperte robuste. Il lavoro conclude che riportare semplicemente la frazione di dati duplicati è insufficiente; la concentrazione e il conteggio delle ripetizioni di tali duplicati sono determinanti critici per l'efficienza dell'addestramento.