Resumo Técnico: Unificando o Escalonamento de Computação e Dados

1. Declaração do Problema

As leis de escalonamento clássicas de pré-treinamento (ex: Kaplan et al., 2020; Hoffmann et al., 2022) operam sob a premissa de que os dados de pré-treinamento novos são ilimitados e escalam livremente com a computação. No entanto, o campo está transitando para um regime onde a capacidade de computação cresce exponencialmente enquanto os dados de pré-treinamento de alta qualidade permanecem finitos e caros de curar. Neste regime "limitado por dados", os praticantes devem gastar computação adicional em tokens derivados ($D'$) gerados a partir de um corpus fixo ($D$) via estratégias como repetição de múltiplos épocas, paráfrase ou destilação.

A questão central abordada por este trabalho é: Para um modelo de tamanho $N$ treinado em um corpus fixo $D$, o quanto a computação adicional (gasta em tokens derivados $D'$) pode reduzir a perda de pré-treinamento? As leis existentes não descrevem adequadamente o compromisso entre computação e dados quando a oferta de dados é limitada.

2. Metodologia

O Framework de Escalonamento Computação-Dados (CD-scaling)

Os autores propõem um framework unificado, CD-scaling laws, que faz a ponte entre:

1. Escalonamento de computação-ótimo ($L_{Chin}$): Onde os dados são ilimitados ($D' = 0$).
2. Escalonamento de dados-ótimo ($L_D$): Onde a computação é ilimitada em um corpus fixo ($D' \to \infty$).

O núcleo do framework é uma função de eficácia de tokens, $\eta_{strat} \in [0, 1]$, que quantifica o valor de um token derivado em relação a um token novo. A lei de escalonamento proposta é:

$$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$$

Onde:

• $N$: Parâmetros do modelo.
• $D$: Tokens novos (vistos uma vez).
• $D'$: Tokens derivados.
• $\eta_{strat}$: Coeficiente de eficácia dependente da estratégia de expansão (repetição ou paráfrase), do tamanho do modelo $N$ e da disponibilidade de dados.

Configuração Experimental

• Arquitetura: OLMo3 (Olmo et al., 2025).
• Tamanhos de Modelo: 14M a 600M de parâmetros.
• Dados: Corpus Dolma-3 (150B tokens).
• Estratégias:
  1. Repetição de múltiplos épocas: Repetir o corpus para épocas adicionais.
  2. Paráfrase: Refrasear documentos usando SmolLM2-1.7B-Instruct com misturas de estilos específicas (pergunta, matemática, FAQ, tabela).
• Ajuste (Fitting): Os autores ajustam os parâmetros da lei de escalonamento realizando varreduras nos tamanhos de dados novos ($D$), orçamentos de tokens derivados ($D'$) e hiperparâmetros (taxa de aprendizado, decaimento de peso). Eles derivam $\eta_{emp}$ empiricamente encontrando o valor que reproduz as perdas observadas dadas as constantes de escalonamento de 1 época.

Forma Paramétrica de $\eta$

A análise empírica revela que $\eta$ não é constante, mas decai como uma função de:

1. Razão de Expansão ($r = D'/D$): $\eta$ diminui à medida que mais dados derivados são adicionados.
2. **Tokens por Parâmetro ($TPP = D/N$):**$\eta$ decai mais rapidamente quando os dados novos são escassos em relação ao tamanho do modelo.
3. Tamanho do Modelo ($N$): Modelos maiores saturam mais rápido.

Os autores modelam os dados derivados efetivos ($\eta \cdot D'$) como saturando para um teto. A forma funcional adotada é:
$$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$$
Onde o teto de saturação $R^*$ segue uma lei de potência dependente de $N$ e $TPP$:
$$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$$

3. Resultados Principais

1. Eficácia Não Constante

A eficácia dos tokens derivados está longe de ser constante. Ela depende conjuntamente do tamanho do modelo, da razão $TPP$ e da quantidade de dados derivados. À medida que o corpus se expande ($D' \to \infty$), a contagem de tokens efetivos $D_{eff} = D + \eta D'$ satura.

2. Três Regimes Operacionais

A lei de escalonamento CD particiona o treinamento em três regimes distintos baseados na restrição limitante:

• Limitado por computação (Compute-bound): Entre a fronteira de computação-ótima ($L_{Chin}$) e a fronteira de dados-ótima ($L_D$). Aqui, computação adicional em $D'$ reduz significamente a perda.
• Limitado por dados (Data-bound): Entre $L_D$ e o piso do modelo ($L_N$). Os tokens derivados saturaram; apenas dados novos podem reduzir a perda adicional.
• Limitado pelo modelo (Model-bound): O limite assintótico onde tanto a computação quanto os dados estão saturados; apenas aumentar $N$ ajuda.

A região "limitada por computação" encolhe conforme o tamanho do modelo ($N$) e o $TPP$ aumentam, indicando retornos decrescentes para computação adicional em modelos maiores ou aqueles com abundância de dados.

3. Seleção de Estratégia e Otimização

• Modelos Pequenos ($N \lesssim 600M$) & Baixos Orçamentos de Dados: A paráfrase é significativamente mais eficaz do que a repetição.
• Modelos Grandes ($N \gtrsim 190M$) & Altos Orçamentos de Dados: A repetição supera a paráfrase.
• Recomendações de Épocas: A "regra das 4 épocas" (frequentemente citada para Chinchilla) mantém-se apenas para modelos de escala média ($\sim 3B$) próximos à escala de dados $1\times$ Chinchilla. Para modelos maiores e $TPP$ mais altos, o número recomendado de épocas diminui.
• Fronteira de Pareto: O framework identifica a alocação ideal de computação e dados, generalizando a otimização de apenas computação de Chinchilla para uma fronteira de Pareto conjunta de computação-dados.

4. Transferência Downstream

A perda de validação permanece um estatístico suficiente para a capacidade downstream (medida por BPB em tarefas de LM e acurácia em benchmarks como LAMBADA e SQuAD), independentemente de o modelo ter sido treinado com 1 época, repetição ou paráfrase. Todas as estratégias colapsam em uma única curva quando plotadas contra a perda de validação.

4. Significância e Alegações

O artigo afirma fornecer um framework unificado que recupera as leis existentes como casos especiais:

• Escalonamento de computação-ótimo é recuperado quando $D' = 0$.
• Escalonamento limitado por dados (Muennighoff et al., 2025) é recuperado como um caso especial onde o teto de saturação $R^*$ é constante.
• Escalonamento de dados-ótimo (Kim et al., 2025) é recuperado como o limite onde $D' \to \infty$.

Implicações Práticas:

1. Identificação de Recursos: Praticantes podem determinar se sua execução de treinamento está limitada por computação, dados ou capacidade do modelo.
2. Estratégia de Alocação: A lei prescreve a divisão ideal de computação entre dados novos e dados derivados, indo além do heurístico "Chinchilla".
3. Guia de Estratégia: Fornece recomendações baseadas em dados sobre quando mudar de repetição para paráfrase e quantas épocas ou passagens de paráfrase são ideais antes que os retornos saturam.

5. Limitações

Os autores observam várias limitações:

• Ajuste Empírico: A função $\eta$ absorve resíduos do ajuste de 1 época, potencialmente levando a $\eta_{emp} > 1$.
• Sensibilidade de Hiperparâmetros: Apenas taxa de aprendizado e decaimento de peso foram varridos; outros hiperparâmetros (tamanho do lote, comprimento da sequência) foram fixos.
• Custo de Computação: Estabelecer estas leis exigiu mais de 250 mil horas de H100.
• Escopo: O estudo foca em repetição e paráfrase; outras estratégias como autodestilação ou dados estruturados sintéticos permanecem inexploradas.
• Escala: Experimentos foram realizados em modelos de pequeno a médio porte (até 600M), embora a lei tenha sido validada para extrapolar para tamanhos maiores.