🤖 machine learning

Test-Time Scaling Makes Overtraining Compute-Optimal

O artigo apresenta as leis de escala Train-to-Test ( $T^2$ ), que otimizam conjuntamente o tamanho do modelo, os tokens de treinamento e o número de amostras de inferência, demonstrando que, ao considerar os custos de inferência, as decisões ótimas de pré-treinamento deslocam-se para um regime de super-treinamento que supera significativamente as abordagens tradicionais.

Autores originais: Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

Publicado 2026-04-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está montando uma equipe de detetives para resolver um mistério complexo. Até hoje, a regra de ouro para montar essa equipe era baseada em uma única ideia: "Quanto maiores e mais inteligentes forem os detetives, melhor será o resultado."

Essa regra antiga (chamada de Chinchilla) dizia: "Se você tem um orçamento limitado, contrate um detetive gigante e deixe-o trabalhar apenas uma vez. Não adianta ter muitos detetives pequenos, pois eles podem errar."

Mas os autores deste novo artigo, chamados de T2 (Train-to-Test), dizem: "Esperem um pouco! Vocês estão ignorando uma coisa fundamental: o poder da repetição."

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Detetive Gigante vs. A Turma de Estagiários

Imagine duas estratégias para resolver um quebra-cabeça difícil:

Estratégia Antiga (Chinchilla): Você gasta todo o seu dinheiro contratando um único gênio (um modelo de IA gigante). Ele tenta resolver o problema uma única vez. Se ele errar, você perde. O custo para contratar esse gênio é altíssimo.
Estratégia Nova (T2): Você gasta o mesmo dinheiro, mas contrata vários estagiários inteligentes (modelos de IA menores). Em vez de deixar cada um tentar uma vez, você pede que eles tentem resolver o problema várias vezes (centenas de vezes) e escolhe a melhor resposta entre todos os tentativas.

A descoberta chocante do artigo é: A estratégia dos estagiários repetindo o trabalho é muito mais eficiente e barata do que contratar o único gênio.

2. O Segredo: "Sobre-treinar" é bom!

Na linguagem de IA, "sobre-treinar" (overtraining) é geralmente visto como algo ruim, como estudar demais para uma prova e esquecer tudo. Mas os autores dizem que, se você vai usar a estratégia de "muitas tentativas", sobre-treinar é o segredo do sucesso.

A Analogia do Atleta:
- O modelo antigo é como um maratonista que treina apenas o suficiente para correr uma única maratona perfeita.
- O modelo novo (T2) é como um atleta que treina exaustivamente para se tornar pequeno e rápido, mas que tem a capacidade de correr a mesma maratona 100 vezes em um dia.
- Como ele corre 100 vezes, a chance de ele acertar o caminho perfeito em alguma dessas corridas é quase 100%. O modelo gigante, que só corre uma vez, tem mais chances de tropeçar.

3. A Conclusão Prática: O que isso muda?

O artigo diz que, se você sabe que vai usar o modelo de IA para fazer muitas tentativas (como em pesquisas complexas ou testes de raciocínio), você deve mudar completamente como treina a IA:

Esqueça os modelos gigantes: Não gaste todo o seu dinheiro criando um monstro de IA.
Contrate modelos menores: Use modelos menores e mais baratos.
Treine-os muito mais: Dê a eles muito mais dados para estudar (muito mais "tokens") do que o normal. É aqui que entra o "sobre-treino".
Use a força da quantidade: Quando o modelo for usado, peça para ele tentar resolver o problema centenas de vezes e escolha a melhor resposta.

4. Por que ninguém viu isso antes?

Antes, as pessoas olhavam para o treinamento e para o uso da IA como duas coisas separadas.

Treinamento: "Quanto custa para ensinar?"
Uso: "Quanto custa para usar?"

O artigo une essas duas coisas. Eles mostram que o custo de "usar" (fazer várias tentativas) deve influenciar diretamente como você "treina". É como se você dissesse: "Como vou pedir para esse funcionário fazer 100 tentativas, vou contratar um funcionário mais jovem e barato, mas vou treiná-lo até a exaustão para que ele seja o melhor possível em cada tentativa."

Resumo em uma frase:

Em vez de gastar uma fortuna em um único "gênio" que tenta a sorte uma vez, é melhor gastar o mesmo dinheiro treinando um "esquadrão" de modelos menores e super-estudados para tentarem o problema centenas de vezes até acertar.

A lição para o futuro: Se você vai usar Inteligência Artificial para resolver problemas difíceis, pare de buscar o modelo mais grande e comece a buscar o modelo menor, mais treinado e repetido.

Resumo Técnico: Test-Time Scaling Makes Overtraining Compute-Optimal

1. O Problema

As leis de escalonamento modernas de Grandes Modelos de Linguagem (LLMs) operam em dois regimes fundamentalmente desconectados:

Pré-treinamento (Pretraining): Leis como a Chinchilla (Hoffmann et al., 2022) otimizam o tamanho do modelo ( $N$ ) e o número de tokens de treinamento ( $D$ ) para minimizar a perda (loss) sob um orçamento de computação fixo. Elas assumem uma inferência de "passagem única" (single-pass).
Escalonamento em Tempo de Teste (Test-Time Scaling): Técnicas recentes mostram que aumentar o custo de inferência (ex: amostragem repetida $k$ vezes) pode melhorar drasticamente a precisão em tarefas de raciocínio, muitas vezes superando modelos maiores treinados com menos dados.

A Lacuna: Não existe uma lei de escalonamento unificada que considere o custo total de ponta a ponta (treinamento + inferência). A prática atual de "overtraining" (treinar modelos menores com muitos mais tokens do que o recomendado pela Chinchilla) é feita empiricamente para reduzir custos de inferência por consulta, mas não há uma base teórica que conecte essas decisões de pré-treinamento à estratégia de amostragem repetida no teste. O trade-off central é: modelos menores são mais baratos por amostra, mas mais fracos por amostra; o benefício da amostragem repetida é uma função não linear da qualidade por amostra.

2. Metodologia: Leis de Escalonamento Train-to-Test (T2)

Os autores propõem as leis de escalonamento Train-to-Test (T2), que otimizam conjuntamente o tamanho do modelo ( $N$ ), os tokens de treinamento ( $D$ ) e o número de amostras de inferência ( $k$ ) sob um orçamento total fixo que inclui tanto o custo de treinamento ( $C_{train} \approx 6ND$ ) quanto o custo de inferência ( $C_{inf} \approx 2Nk$ ).

O trabalho apresenta duas abordagens de modelagem complementares:

Abordagem 1: Modelagem Paramétrica da Perda (Loss-based)
- Estende a lei da Chinchilla para incluir o número de amostras $k$ .
- Reformula o objetivo de minimizar a Perda Negativa Log-Likelihood (NLL) para minimizar o NLL da probabilidade de sucesso em $k$ tentativas ( $-\log(\text{pass@}k)$ ).
- A função de perda assume a forma:
  $\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$
- Ao corrigir o orçamento de inferência ( $k = C_{inf} / 2N$ ), a abordagem busca o ponto ótimo onde o aumento de $k$ compensa a redução de $N$ e $D$ .
Abordagem 2: Modelagem Paramétrica da Precisão (Accuracy-based)
- Modela diretamente a métrica de desempenho final: pass@k.
- Utiliza uma distribuição Beta para modelar a probabilidade de sucesso por pergunta, permitindo calcular a precisão esperada em $k$ tentativas sem superestimar (um problema comum em abordagens ingênuas que aplicam a função de sigmoid na média da perda).
- A precisão é estimada como:
  $\widehat{\text{Acc}}(N, D, k) = 1 - \frac{B(\mu_{N,D}\nu_{N,D}, (1-\mu_{N,D})\nu_{N,D} + k)}{B(\mu_{N,D}\nu_{N,D}, (1-\mu_{N,D})\nu_{N,D})}$
- Onde os parâmetros da Beta são derivados da perda prevista pela lei da Chinchilla.

Correção de Custo de Inferência:
Ambas as abordagens são otimizadas sob a restrição de que, para um orçamento de inferência fixo, modelos menores recebem mais amostras ( $k$ ) e modelos maiores recebem menos, mantendo o custo total de inferência constante.

3. Contribuições Principais

Otimização Conjunta: Formalização do problema de escalonamento como uma otimização conjunta de $N$ , $D$ e $k$ sob orçamentos de treinamento e inferência.
Validação de Overtraining: Demonstração teórica e empírica de que, ao considerar o custo de inferência, a configuração ótima de pré-treinamento se desloca radicalmente para o regime de overtraining (modelos menores treinados com muito mais tokens).
Validação Empírica: Criação de um conjunto de dados com mais de 100 checkpoints (incluindo modelos fortemente overtrained) para validar as previsões das leis T2.
Robustez Pós-Treinamento: Demonstração de que as descobertas do T2 persistem mesmo após o Fine-Tuning (FT) e Supervised Fine-Tuning (SFT), embora o overtraining possa tornar o ajuste fino mais difícil.

4. Resultados Experimentais

Os autores avaliaram oito tarefas (reais e sintéticas) cobrindo conhecimento, raciocínio e compreensão de linguagem.

RQ1: O pré-treinamento deve mudar se conhecermos o orçamento de inferência?
- Sim. As leis T2 recomendam consistentemente modelos muito menores e extremamente overtrained em comparação com a regra da Chinchilla (20 tokens/parâmetro).
- Enquanto a Chinchilla sugere um equilíbrio entre $N$ e $D$ , o T2 sugere reduzir $N$ drasticamente e aumentar $D$ para permitir que o modelo seja amostrado muitas vezes ( $k$ alto) durante a inferência, maximizando o pass@k.
- As curvas isoFLOP mostram que a fronteira ótima do T2 é monotonicamente crescente com o orçamento, enquanto a fronteira da Chinchilla (corrigida para inferência) exibe melhorias não monotônicas.
RQ2: O T2 extrapola para checkpoints overtrained?
- Sim. Ao treinar modelos do zero em regiões de overtraining previstas pelo T2, os modelos obtiveram desempenho superior aos checkpoints "ótimos" da Chinchilla em todas as 8 tarefas.
- O modelo T2 previu com alta precisão (erro relativo de 2.8% na Abordagem 1) o desempenho de checkpoints não vistos anteriormente.
RQ3: O T2 sobrevive ao pós-treinamento?
- Sim. Após Fine-Tuning e SFT, a tendência de overtraining permanece, embora ligeiramente atenuada (conforme esperado, pois modelos overtrained são mais difíceis de ajustar). No entanto, os checkpoints overtrained ainda superam os modelos otimizados pela Chinchilla.

Dados Chave:

Em um orçamento de treinamento de $2.56 \times 10^{19}$ FLOPs e inferência de $2 \times 10^9$ FLOPs, o modelo ótimo T2 tinha cerca de 37M a 149M parâmetros (treinado com dezenas de milhares de tokens por parâmetro), enquanto o modelo ótimo da Chinchilla tinha 901M parâmetros.
O modelo T2 superou consistentemente o modelo Chinchilla em tarefas como ARC-Easy, SciQ e OpenBookQA.

5. Significado e Conclusão

Este trabalho redefine a estratégia de alocação de recursos para LLMs. A conclusão central é que, para cenários onde a inferência envolve amostragem repetida (comum em raciocínio complexo, verificação de código ou busca de soluções), treinar modelos menores por muito mais tempo é computacionalmente mais eficiente do que seguir as leis de escalonamento tradicionais focadas apenas na perda de pré-treinamento.

Implicação Prática: Engenheiros de ML devem considerar o orçamento de inferência (custo de $k$ amostras) no momento do pré-treinamento. A recomendação é treinar modelos menores com orçamentos de tokens massivos (overtraining) para capitalizar os ganhos não lineares da inferência repetida.
Impacto Teórico: Unifica os regimes de pré-treinamento e inferência, mostrando que eles são acoplados e que a otimização isolada de um deles (como feito pela Chinchilla) é subótima quando o outro é considerado.

Em suma, o artigo fornece uma "receita" teórica e validada para o overtraining, transformando-o de uma prática empírica de economia de custos em uma estratégia de otimização computacional rigorosa.