🤖 machine learning

Internal Data Repetition Destroys Language Models

Este artigo demonstra que, no paradigma de escalonamento da era Chinchilla, a repetição de dados prejudica sistematicamente o desempenho de modelos de linguagem ao criar um pico de perda equivalente em computação em uma contagem de repetição intermediária que escala com o tamanho do modelo, um fenômeno explicado analiticamente como um compromisso estatístico entre memorização e generalização.

Autores originais: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Publicado 2026-06-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno (um Modelo de Linguagem) a escrever ensaios dando a ele uma biblioteca massiva de livros para ler. O objetivo é torná-lo o mais inteligente possível usando uma quantidade limitada de tempo de estudo (poder computacional).

Este artigo investiga o que acontece quando essa biblioteca não é perfeita e contém livros duplicados. Especificamente, ele pergunta: Importa se dermos ao aluno o mesmo livro duas vezes, ou o mesmo livro 100 vezes?

Aqui está a divisão de suas descobertas usando analogias simples:

1. O Problema: O Efeito "Câmara de Eco"

No passado, os pesquisadores pensavam que, se você apenas removesse duplicatas exatas do seu conjunto de dados de treinamento, estaria seguro. Mas, na realidade, mesmo os dados "limpos" possuem repetições.

Os pesquisadores descobriram que a repetição não apenas torna o aprendizado ligeiramente mais lento; ela pode destruir ativamente o desempenho do modelo de uma maneira muito específica e contraintuitiva. Não é uma linha reta onde "mais repetições = piores resultados". Em vez disso, é uma armadilha.

2. A Armadilha do "Cachinhos Dourados" (O Pior Cenário)

A descoberta mais surpreendente é que o dano não é causado por repetir um pouquinho de dados um milhão de vezes, nem por repetir um grande bloco de dados apenas duas vezes.

A Analogia: Imagine um aluno estudando para uma prova.

Cenário A: Ele lê 1.000 livros únicos uma vez. (Ótimos resultados).
Cenário B: Ele lê 1.000 livros únicos, mas também relei um livro específico 10.000 vezes. (O aluno memoriza esse livro perfeitamente, mas falha em aprender conceitos gerais. Resultados ruins).
Cenário C (A Armadilha): Ele lê 1.000 livros únicos, mas releu uma pilha de tamanho médio de 50 livros cerca de 100 vezes cada um.

O artigo descobriu que o Cenário C é o pior. É como se o aluno ficasse preso em um loop onde memoriza essa pilha média de livros tão minuciosamente que para de aprender qualquer coisa nova do resto da biblioteca. Ele se torna "superespecializado" nas duplicatas e "subespecializado" nos dados únicos.

Poucas repetições: O aluno ignora as duplicatas e aprende normalmente.
Muitas repetições: O aluno memoriza as duplicatas tão intensamente que efetivamente "ignora" o restante dos dados, mas o volume bruto de dados únicos ainda ajuda.
A quantidade certa de repetições: O aluno fica confuso. Ele gasta tempo demais nas duplicatas para memorizá-las, mas não o suficiente nos dados únicos para aprender regras gerais. Esse "meio-termo" causa a maior queda de inteligência.

3. A Regra do "O Tamanho Importa"

Os pesquisadores descobriram que o tamanho dessa "zona de perigo" muda dependendo de quão grande é o aluno (o modelo de IA).

Modelos pequenos são prejudicados quando repetem uma pequena pilha de livros muitas vezes.
Modelos grandes são prejudicados quando repetem uma pilha muito maior de livros, mas menos vezes.

Pense nisso como uma esponja. Uma esponja pequena (modelo pequeno) fica entupida se você jogar um pouco de lama nela muitas vezes. Uma esponja gigante (modelo grande) consegue lidar com um pouco de lama, mas se você jogar um balde enorme de lama um número moderado de vezes, ela entope instantaneamente.

4. O Custo: Dinheiro e Energia Desperdiçados

O artigo traduz essa "estupidez" em dinheiro e energia. Eles descobriram que, se você atingir essa armadilha de repetição do "pior cenário", você poderia muito bem ter jogado fora 33% do seu orçamento computacional.

A Analogia: Imagine que você pagou por uma sessão de estudo de 100 horas. Devido à má estrutura de repetição, o aluno aprendeu tanto quanto aprenderia em uma sessão de 67 horas. Você desperdiçou 33 horas de eletricidade e dinheiro sem ganho.

5. Por Que Isso Acontece? (A Matemática Simples)

Você pode pensar que isso é um detalhe complexo de como os cérebros de IA (Transformers) funcionam. Mas os autores provaram que, na verdade, é um problema estatístico básico.

Eles construíram um modelo matemático simples (como uma regressão linear básica) que nem sequer usa IA. Quando alimentaram esse modelo matemático simples com dados duplicados, ele mostrou exatamente o mesmo pico de desempenho ruim de "Cachinhos Dourados".

A Lição: Isso não é um erro nos mecanismos de atenção sofisticados da IA; é uma lei fundamental da estatística. Quando você tem dados únicos e dados repetidos, existe um equilíbrio específico onde o modelo fica confuso entre "memorizar a cópia" e "aprender a regra geral", e essa confusão é o que mais prejudica.

Resumo

A repetição é ruim, mas não da forma que você pensa.
O maior dano ocorre quando você repete um bloco de tamanho médio de dados um número moderado de vezes.
Modelos maiores são vulneráveis à repetição de blocos de dados maiores.
O custo é enorme: Você pode desperdiçar um terço do seu poder computacional apenas por ter a estrutura de repetição errada.
A causa é um equilíbrio estatístico básico entre memorizar duplicatas e aprender padrões gerais, não uma falha complexa da IA.

O artigo conclui que simplesmente remover duplicatas não é suficiente; precisamos entender como as duplicatas restantes estão estruturadas para evitar desperdiçar quantidades massivas de recursos.

Resumo Técnico: A Repetição Interna de Dados Destrói Modelos de Linguagem

Definição do Problema
À medida que o pré-treinamento de modelos de linguagem (LMs) entra em um regime de dados limitados, corpora públicos de alta qualidade estão se esgotando, tornando necessário o treinamento de múltiplos épocas e o uso de conjuntos de dados com deduplicação imperfeita. Embora a deduplicação agressiva seja o padrão, restam duplicatas exatas, templates parafraseados e páginas semanticamente redundantes. Estudos controlados anteriores sobre repetição de dados, como Hernandez et al. [11], precederam as leis de escala de otimalidade de computação estilo Chinchilla. Consequentemente, eles mediram o custo da repetição indiretamente via reduções na "contagem de parâmetros efetivos" e em orçamentos de tokens fixos que subtreinaram modelos grandes e overtreinaram modelos pequenos. Este artigo aborda a necessidade de quantificar o custo da repetição de documentos exatos dentro do paradigma moderno de Chinchilla, onde o desempenho é medido em FLOPs em vez de contagens de parâmetros, e os orçamentos de treinamento são otimizados para eficiência de computação.

Metodologia
Os autores conduzem um estudo controlado isolando o impacto da estrutura de repetição enquanto mantêm constante o orçamento total de computação e a fração de tokens repetidos.

Configuração Experimental: O estudo treina transformadores de decodificador apenas (decoder-only) no estilo Qwen3 com contagens de parâmetros $N \in \{34, 48, 63, 93, 153, 344\}$ M no corpus FineWeb-Edu-Dedup.
Protocolo de Repetição: Para cada execução, 10% dos tokens de treinamento ( $f=0.1$ ) são extraídos de um pool específico de documentos, enquanto 90% vêm de documentos únicos. A estrutura da repetição é variada alterando a contagem de repetição $R$ (quantas vezes cada documento no pool é reproduzido) e o tamanho do pool $D_r$ . Isso cria uma curva iso-FLOP onde o total de computação $C = 6NT$ permanece fixo, mas a concentração de dados repetidos muda.
Métricas: Os autores introduzem o Ganho Equivalente de Computação (CEG) e a Perda Equivalente de Computação (CEL). O CEG é definido como a razão entre a computação que uma execução sem repetição precisaria para atingir o mesmo loss de uma execução com dados repetidos, dividida pela computação real gasta. $CEL = 1 - CEG$. Um valor de $CEG < 1$ indica que a repetição causou uma perda na eficiência de computação.
Baseline: Uma lei de escala Chinchilla sem repetição ajustada, $L(C) = E + KC^{-\gamma}$ , é derivada de seis baselines de $OT=1$ (otimizadas para Chinchilla) para converter losses de avaliação em custos de computação equivalentes.
Análise Teórica: Para entender o mecanismo, os autores derivam expressões de forma fechada para o loss de treino e de teste em um modelo de regressão linear mal especificado com duplicatas literais, analisando a covariância de ruído bloco-diagonal introduzida por amostras repetidas.

Principais Resultados

Pico de Dano Não Monotônico: O loss de avaliação não é monotônico em relação à contagem de repetição $R$ . Em vez disso, o dano atinge o pico em uma contagem de repetição intermediária. Repetir um subset de tamanho moderado um número moderado de vezes causa mais dano do que repetir um subset muito pequeno muitas vezes ou um subset grande poucas vezes.
Lei de Escala para a Localização do Pico: A localização deste pico ( $R_{peak}$ ) segue uma lei de potência em relação ao tamanho do modelo $N$ e à computação total $C$ . Especificamente, $R_{peak} \propto N^{-0.96}$ e $R_{peak} \propto C^{-0.25}$ . Isso implica que, conforme os modelos escalam, a estrutura de repetição mais prejudicial envolve menos repetições de um pool maior de documentos.
Significativa Perda Equivalente de Computação: Na maior escala testada (344M de parâmetros, $OT=1$), a estrutura de repetição de pior caso resulta em um CEG de aproximadamente 0,67, correspondendo a um CEL de 0,33. Isso significa que a execução atinge o mesmo loss de uma execução sem repetição treinada com apenas dois terços dos FLOPs.
Mecanismo Estatístico: O pico não monotônico é reproduzido em um modelo simples de regressão linear mal especificado. Os autores mostram que este fenômeno surge de um tradeoff estatístico entre memorização e generalização na presença de amostras duplicadas, sugerindo que o efeito não é específico para arquiteturas transformer, mecanismos de atenção ou otimizadores.

Significância e Alegações
O artigo afirma modernizar o estudo da repetição de dados ao mudar a métrica de "parâmetros efetivos" para "unidades equivalentes de computação", alinhando-se com as práticas atuais da indústria.

Precisão na Quantificação de Custo: As descobertas permitem que praticantes quantifiquem a computação desperdiçada incorrida pela estrutura específica de duplicatas em corpora de pré-treinamento, não apenas o volume de duplicatas.
Previsibilidade: A lei de potência identificada ( $R_{peak} \propto N^{-0.96}$ ) fornece uma heurística para prever as configurações de repetição mais prejudiciais para um dado tamanho de modelo, permitindo melhores estratégias de curadoria de dados.
Generalização: Ao demonstrar que o mesmo pico qualitativo de perda ocorre em um modelo de regressão linear simples, os autores argumentam que o dano da repetição é uma propriedade estatística fundamental de amostras duplicadas em aprendizes mal especificados, e não um artefato de componentes específicos de deep learning.

Os autores permanecem modestos quanto aos valores absolutos de CEG e CEL, observando que eles dependem de um ajuste de três parâmetros a um número limitado de baselines. No entanto, eles afirmam que a não monotonicidade qualitativa e a existência de uma estrutura de repetição de pior caso são achados robustos. O trabalho conclui que simplesmente relatar a fração de dados duplicados é insuficiente; a concentração e a contagem de repetição desses duplicatas são determinantes críticos para a eficiência do treinamento.