💬 NLP

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning

Este artigo demonstra que, ao contrário da intuição padrão, o ajuste fino supervisionado em dados de cadeia de pensamento alcança um desempenho de raciocínio superior ao treinar repetidamente em conjuntos de dados menores até que a memorização total seja atingida, em vez de aumentar o tamanho do conjunto de dados para uma única época.

Autores originais: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um aluno brilhante, mas distraído, a resolver enigmas incrivelmente difíceis, como problemas matemáticos complexos ou questões científicas profundas. No mundo da inteligência artificial, este aluno é um "modelo de linguagem", um programa de computador que aprende lendo textos. Para tornar esses modelos bons em raciocínio, os cientistas usam um processo chamado "Ajuste Fino Supervisionado" (SFT - Supervised Fine-Tuning). Pense nisso como dar ao aluno uma pilha de soluções de exemplo escritas por um mestre professor. O aluno lê esses exemplos e tenta copiar o processo de pensamento, passo a passo, até que possa resolver problemas semelhantes por conta própria.

Durante muito tempo, a regra de ouro no aprendizado de máquina foi "mais é melhor". A intuição é simples: se você quer que um aluno aprenda bem, deve dar a ele uma biblioteca massiva de livros únicos. Quanto mais exemplos diferentes ele vir, melhor ele ficará em generalizar para novas situações. É como acreditar que ler 10.000 histórias diferentes é sempre melhor do que ler as mesmas 100 histórias repetidamente. Mas e se essa regra estiver errada? E se, para este tipo específico de treinamento de "raciocínio", o segredo não for uma biblioteca maior, mas uma compreensão mais profunda de uma menor? Esta é a questão que um novo artigo da conferência COLM 2026 aborda, desafiando nossas suposições básicas sobre como a IA aprende a pensar.

Os pesquisadores por trás deste estudo decidiram testar a regra "mais é melhor" realizando uma série de experimentos controlados. Eles pegaram um modelo de IA padrão e o treinaram com dados de "Cadeia de Pensamento" (Chain-of-Thought) — rastros de raciocínio longos e detalhados onde o modelo aprende a pensar sobre um problema antes de responder. Eles estabeleceram um orçamento rigoroso: uma quantidade fixa de "esforço computacional" (como um número fixo de horas que o aluno tem permitido para estudar). Eles então compararam duas estratégias. Estratégia A era dar ao aluno uma pilha enorme de exemplos únicos (51.200 amostras), mas permitir que ele lesse toda a pilha apenas uma vez. Estratégia B era dar ao aluno uma pilha minúscula de exemplos (tão pouco quanto 200 ou 400 amostras), mas permitir que ele lesse essa mesma pilha pequena muitas, muitas vezes — até 128 vezes.

Os resultados foram surpreendentes e contraintuitivos. O artigo descobriu que o aluno que leu a pequena pilha repetidamente (Estratégia B) tornou-se significativamente melhor em resolver novos e difíceis problemas do que o aluno que leu rapidamente a enorme biblioteca apenas uma vez. Em testes rigorosos como as competições de matemática AIME e o quiz de ciência GPQA, o modelo treinado em apenas 400 amostras por 128 épocas superou o modelo treinado em 51.200 amostras por apenas 1 época por uma margem massiva — melhorando a precisão em 12 a 26 pontos percentuais. É como se o aluno que memorizou algumas histórias chave perfeitamente pudesse resolver novos mistérios melhor do que o aluno que folheou mil livros diferentes.

O artigo também explorou por que isso acontece e quais são os limites. Eles descobriram que a melhoria não veio de aprender novos fatos, mas do fato de o modelo estar "memorizando" a estrutura do raciocínio. À medida que o modelo repetia o pequeno conjunto de dados, ele eventualmente chegava a um ponto onde conseguia prever a próxima palavra nos exemplos de treinamento com precisão quase perfeita (100%). Uma vez que o modelo atingia essa "memorização total" dos dados de treinamento, seu desempenho em novos testes parava de melhorar e estagnava. Isso sugere que, para este tipo específico de treinamento, o objetivo não é ver o máximo de exemplos diferentes possível, mas sim internalizar o padrão de raciocínio até que ele se torne algo natural.

Curiosamente, os pesquisadores verificaram se essa "repetição" causou o esquecimento de tudo o que o modelo já sabia (um problema chamado "esquecimento catastrófico"). Eles descobriram que repetir o pequeno conjunto de dados na verdade causou menos esquecimento do que ler o enorme conjunto de dados uma única vez. Parece que, ao praticar profundamente a estrutura do raciocínio, o modelo tornou-se mais confiante em sua própria lógica, o que o ajudou a manter-se na tarefa sem perder seu conhecimento geral.

No entanto, os autores são cuidadosos ao não chamar isso de uma solução mágica para tudo. Eles descartam explicitamente a ideia de que isso funcione para todos os dados; por exemplo, se o professor que fornece os exemplos for fraco ou se os exemplos estiverem errados, os benefícios mudam. Eles também observam que, embora a "vantagem da repetição" seja robusta, a razão exata de por que memorizar os dados de treinamento ajuda na generalização ainda é um mistério. Eles sugerem que o modelo pode estar desbloqueando capacidades ocultas que já possuía, em vez de aprender algo inteiramente novo.

Em resumo, este artigo sugere que, para ensinar a IA a raciocinar, podemos estar perdendo tempo tentando encontrar conjuntos de dados cada vez maiores. Em vez disso, podemos obter melhores resultados ao pegar um conjunto menor e de alta qualidade de exemplos de raciocínio e deixar o modelo estudá-los até que os conheça profundamente. Os autores propõem uma nova regra prática: continue treinando no pequeno conjunto de dados até que o modelo consiga prever perfeitamente o texto de treinamento, e então pare. Embora não tenham explicado totalmente o "porquê" por trás deste fenômeno, eles mostraram que, às vezes, no mundo da IA, ler a mesma página 100 vezes é muito mais poderoso do que folhear 100 páginas diferentes.

Resumo Técnico: A Repetição de Dados Supera a Escala de Dados no Ajuste Fino Supervisionado de Long-CoT

Declaração do Problema

A intuição padrão do aprendizado de máquina postula que treinar com mais amostras únicas produz melhor generalização, um princípio que tem impulsionado a escala de corpora únicos no pré-treinamento de modelos de linguagem de grande escala (LLM) e no pós-treinamento. No entanto, demonstrações de alta qualidade de Cadeia de Pensamento (CoT) longa são escassas, muitas vezes exigindo anotação humana dispendiosa ou destilação cuidadosa de modelos maiores. Esta escassez levanta uma questão crítica: sob um orçamento computacional fixo (total de atualizações de gradiente), é mais eficaz treinar em um conjunto de dados grande por um único epoch ou treinar em um conjunto de dados menor por múltiplos epochs? O artigo desafia a suposição prevalecente de que a diversidade de dados é sempre superior, investigando se a repetição de dados pode substituir a escala de dados na etapa de ajuste fino supervisionado (SFT) de modelos de raciocínio.

Metodologia

Os autores conduzem experimentos controlados para isolar os efeitos da repetição de dados versus a escala de dados, mantendo constante o orçamento total de atualizações.

Modelos: Os experimentos utilizam checkpoints base de três modelos de linguagem recentes: Olmo3-7B, Qwen3-8B e Qwen3-4B. Estes modelos são utilizados antes do ajuste de instrução para garantir um ponto de partida limpo para a dinâmica de SFT.
Datasets: O dataset primário é o "Dolci SFT 7B", uma coleção de demonstrações de long-CoT destiladas cobrindo matemática, codificação e seguimento de instruções. Os autores criam divisões de treinamento aninhadas variando de 200 a 51.200 amostras, garantindo que os conjuntos menores sejam subconjuntos dos maiores. Experimentos adicionais utilizam dados específicos de matemática destilados de professores Qwen3-0.6B e Qwen3-8B, particionados pela correção da resposta final (trajetórias positivas vs. negativas).
Grade Experimental: O design experimental central varia o número de amostras únicas ( $N$ ) e o número de epochs de treinamento ( $E$ ) de tal forma que o produto $N \times E$ (o orçamento de atualização) permaneça constante. Por exemplo, um orçamento de 51.200 atualizações é alcançado treinando em 51.200 amostras por 1 epoch, 3.200 amostras por 16 epochs ou 200 amostras por 256 epochs.
Avaliação: Os modelos são avaliados em três benchmarks de raciocínio desafiadores: AIME 2024, AIME 2025 e GPQA. As métricas incluem:
- Accuracy@n: Precisão média sobre $n$ gerações independentes.
- Pass@n: A fração de problemas resolvidos em pelo menos uma de $n$ tentativas.
- Taxa de Terminação: A fração de gerações que concluem com sucesso com um token de fim de sequência.
- Esquecimento Catastrófico: Medido via performance no MMLU para avaliar a retenção de conhecimento geral.
Dinâmica de Treinamento: O estudo rastreia a precisão de tokens de treinamento (memorização), a perda de validação e a entropia de predição para entender o comportamento de convergência.

Resultados Principais

1. A Vantagem da Repetição

Ao contrário das leis de escala padrão, os experimentos demonstram que, sob um orçamento de atualização fixo, treinar por mais epochs em conjuntos de dados menores supera substancialmente o treinamento em conjuntos de dados maiores por menos epochs.

Ganhos de Performance: No modelo Olmo3-7B com um orçamento de 51.200 atualizações, treinar por 128 epochs em 400 amostras superou o treinamento de 1 epoch em 51.200 amostras em 12 a 26 pontos percentuais nos benchmarks AIME e GPQA.
Consistência: Esta tendência se mantém através de diferentes tamanhos de modelos (Olmo3-7B, Qwen3-8B, Qwen3-4B), diferentes benchmarks e diferentes fontes de dados (dataset geral Dolci vs. destilações específicas de matemática).
Ponto de Saturação: Os ganhos de performance decorrentes de epochs adicionais começam a estagnar em torno de 32–64 epochs, sugerindo um ponto de saturação onde a repetição adicional produz retornos decrescentes.

2. Memorização como Critério de Parada

Os autores identificam uma forte correlação entre a memorização do conjunto de treinamento e a performance downstream.

Precisão de Tokens: À medida que o número de epochs aumenta, a precisão do modelo nos tokens do conjunto de treinamento aproxima-se de 100% (memorização total).
Sinal de Convergência: A melhoria da performance downstream estagna precisamente quando o modelo atinge uma precisão quase perfeita de tokens no conjunto de dados de treinamento. Isso sugere que a precisão de tokens de treinamento pode servir como um critério de parada prático e independente de dados, substituindo a necessidade de escala de dados não direcionada e dispendiosa.

3. Terminação e Estrutura de Raciocínio

Existe uma forte correlação entre a taxa de terminação e a precisão. Modelos de epoch único frequentemente falham em terminar (taxa de terminação de 24%), enquanto modelos de múltiplos epochs (32 epochs) alcançam altas taxas de terminação (89%). Isso indica que a repetição ajuda os modelos a internalizar não apenas os padrões de raciocínio, mas também a convenção estrutural de concluir longas cadeias de raciocínio.

4. Robustez à Qualidade e Erros de Dados

Qualidade do Professor: A vantagem da repetição persiste independentemente de os dados destilados virem de um modelo professor fraco (0.6B) ou forte (8B). No entanto, com um professor fraco, aumentar o orçamento total de atualizações (escalar dados) pode levar à degradação da performance, ecoando problemas de generalização "weak-to-strong".
Trajetórias Negativas: Surpreendentemente, treinar em traços de raciocínio incorretos (trajetórias negativas) não degrada a performance e, em alguns casos (AIME'24, GPQA), produz performance comparável ou ligeiramente superior ao treinamento em traços corretos. Isso sugere que a exposição a tentativas de raciocínio difíceis, mesmo quando falhas, beneficia o modelo estudante.

5. Esquecimento Catastrófico

Embora o treinamento de múltiplos epochs em pequenos datasets leve ao overfitting (aumento da perda de validação, diminuição da entropia), ele não causa um esquecimento catastrófico adicional em comparação ao treinamento de epoch único em datasets grandes. De fato, a escala de epochs resulta em menos degradação no benchmark MMLU do que a escala de dados, oferecendo um trade-off estritamente melhor entre performance de raciocínio e retenção de conhecimento.

Significância e Alegações

O artigo propõe a "vantagem da repetição" como um fenômeno contraintuitivo onde a memorização total de um pequeno conjunto de dados coincide com a melhoria da generalização em SFT de long-CoT.

Heurística Prática: Os autores propõem uma abordagem prática para o SFT de raciocínio: escalar os epochs até que a precisão de tokens de treinamento sature, em vez de escalar dados únicos. Isso oferece uma alternativa de baixo custo para adquirir volumes massivos de dados de CoT únicos.
Problema Aberto: O artigo enquadra explicitamente a explicação de por que a memorização sob repetição melhora a generalização neste contexto específico como um problema novo e aberto para a comunidade. Os autores observam que, embora identifiquem correlações (memorização, comportamento de terminação), o mecanismo causal definitivo ainda precisa ser compreendido.
Mudança de Paradigma: As descobertas desafiam a prática padrão da indústria de treinamento de epoch único no maior dataset disponível, sugerindo que o número de epochs e o tamanho do dataset devem ser tratados como variáveis de decisão de primeira classe no SFT de raciocínio.

O artigo conclui que, para o SFT focado em raciocínio, "mais amostras únicas" nem sempre é melhor; sob computação fixa, "mais epochs" em conjuntos de dados menores e de alta qualidade é uma estratégia superior.