Resumo Técnico: Leis de Escalonamento Previsíveis de Hiperparâmetros Ótimos para o Pré-treinamento Continuado de LLMs

Declaração do Problema

O Pré-treinamento Continuado (CPT) é um mecanismo crítico para adaptar Grandes Modelos de Linguagem (LLMs) a aplicações específicas de domínio, oferecendo uma alternativa computacionalmente eficiente ao treinamento do zero. No entanto, a eficácia do CPT é altamente sensível às configurações de hiperparâmetros, particularmente à taxa de aprendizado (LR) e ao tamanho do lote (B). As práticas atuais dependem fortemente de heurísticas ou buscas em grade (grid searches) exaustivas, que são computacionalmente caras, propensas à instabilidade de treinamento e carecem de orientação fundamentada.

Dois desafios fundamentais impedem a aplicação das leis de escalonamento ao CPT:

1. Existência e Caracterização: Permanece não verificado se existem relações previsíveis e monótonas entre o orçamento de computação e os hiperparâmetros ótimos quando o treinamento não parte de uma inicialização aleatória.
2. Quantificação do Estado Inicial: Diferente do treinamento do zero, o CPT começa de um estado de otimização não nulo. A natureza de "caixa preta" do progresso de um checkpoint pré-treinado em uma nova distribuição de dados deslocada torna difícil quantificar sua contribuição efetiva para o processo de treinamento.

Metodologia

Os autores propõem um framework de dois estágios, agnóstico ao modelo, para estabelecer relações quantitativas entre o orçamento de computação e os hiperparâmetros ótimos, permitindo a predição zero-shot para qualquer checkpoint dado.

Estágio 1: Descoberta de Leis Empíricas

Os autores primeiro caracterizam o comportamento de escalonamento treinando modelos de proxy de pequena escala (100M e 500M de parâmetros) através de diversas configurações de hiperparâmetros nos dados de alvo do CPT.

• Curvas de Iso-Perda (Iso-Loss): Eles constroem curvas no plano (Tamanho do Lote, Taxa de Aprendizado) para identificar o computador mínimo necessário para atingir uma perda de validação específica. Os vértices dessas curvas definem os pares de hiperparâmetros ótimos $(B_{opt}, LR_{opt})$ para um determinado nível de perda.
• Ajuste Funcional: Eles observam que os hiperparâmetros ótimos seguem tendências de lei de potência em relação à perda de validação. Eles ajustam funções $B_{opt} = f(L)$ e $LR_{opt} = g(L)$.
• Mapeamento Computação-Hiperparâmetro: Ao combinar estes com as leis de escalonamento de perda-computação padrão ($L(C) = L_0 + \alpha C^{-\gamma}$), eles derivam mapeamentos diretos do orçamento de computação total $C$ para os hiperparâmetros ótimos:
  $$B_{opt}(C) = f(L_0 + \alpha \cdot C^{-\gamma})$$
  $$LR_{opt}(C) = g(L_0 + \alpha \cdot C^{-\gamma})$$

Estágio 2: Predição de Hiperparâmetros Consciente do Estado

Para aplicar estas leis a quaisquer checkpoints, os autores introduzem o conceito de Computação de Pré-treinamento Equivalente ($C_{pre}$).

• Definição: $C_{pre}$ representa o orçamento de computação teórico necessário para atingir a perda de validação atual de um checkpoint se ele tivesse sido treinado a partir de uma inicialização aleatória no domínio alvo.
• Cálculo: Ao inverter a lei de escalonamento de perda-computação, $C_{pre}$ é calculado a partir da perda de validação inicial ($L_{init}$) do checkpoint:
  $$C_{pre} = \left( \frac{\alpha}{L_{init} - L_0} \right)^{1/\gamma}$$
• Computação Total Efetiva: O orçamento de computação total para a execução do CPT é definido como a soma do estado herdado e o orçamento planejado: $C_{total} = C_{pre} + C_{cpt}$.
• Predição: Os hiperparâmetros ótimos para a execução alvo são preditos avaliando as funções de escalonamento derivadas em $C_{total}$.

Principais Contribuições

1. Leis de Escalonamento para CPT: O artigo estabelece empiricamente que os hiperparâmetros ótimos no pré-treinamento continuado seguem leis de escalonamento estáveis e previsíveis. Especificamente, o tamanho do lote ótimo aumenta monotonicamente com o orçamento de computação, enquanto a taxa de aprendizado ótima diminui.
2. Computação de Pré-treinamento Equivalente ($C_{pre}$): Um novo métrico é proposto para quantificar formalmente o estado de treinamento herdado de checkpoints iniciais. Isso transforma um ponto de partida arbitrário em uma coordenada mensurável em uma trajetória de otimização contínua, abordando o desafio da inicialização não nula.
3. Framework Eficiente: Os autores validam um framework que prediz hiperparâmetros ótimos sem a necessidade de execuções de teste em modelos alvo, reduzindo o overhead de busca de hiperparâmetros em até 90% em comparação com as buscas em grade tradicionais.

Resultados Experimentais

O framework foi avaliado em modelos Dense-8B e MoE-3B usando um corpus de 55B de tokens abrangendo conhecimento geral, matemática e código.

• Performance: Modelos treinados com hiperparâmetros preditos atingiram pontuações médias de pico (51.3 para Dense-8B e 57.9 para MoE-3B) através de diversos benchmarks (MMLU, GSM8K, HumanEval, etc.), superando configurações fora do alvo.
• Estudos de Ablação:
  • Taxa de Aprendizado: Taxas de aprendizado excessivamente altas causaram colapso de performance (esquecimento catastrófico), enquanto taxas baixas limitaram a eficiência da aquisição de conhecimento. A LR predita equilibrou esses fatores.
  • Tamanho do Lote: Lotes pequenos levaram a uma otimização instável, enquanto lotes excessivamente grandes reduziram a frequência de atualização do gradiente, dificultando a convergência. O tamanho do lote predito otimizou este trade-off.
• Eficiência: Comparado às buscas em grade em modelos alvo, o método proposto reduziu os custos computacionais em 92,0% para Dense-8B e 73,1% para MoE-3B, utilizando modelos de proxy de pequena escala.
• Validade de $C_{pre}$: Estudos de ablação mostraram que ignorar o estado inicial (Variante A) ou usar contagens brutas de tokens de pré-treinamento (Variante B) resultou em hiperparâmetros subótimos e menor performance, confirmando que $C_{pre}$ calibra efetivamente para desvios de domínio.

Significância e Alegações

O artigo afirma fornecer uma metodologia fundamentada e eficiente para diversos cenários de pré-treinamento continuado. Ao demonstrar que os hiperparâmetros ótimos seguem leis de escalonamento previsíveis mesmo partindo de uma inicialização não aleatória, o trabalho oferece uma alternativa viável às heurísticas custosas e buscas em grade. A introdução de $C_{pre}$ permite que praticantes tratem o CPT como uma continuação de um único caminho de otimização, permitindo a predição confiável de hiperparâmetros para modelos em qualquer estágio de seu ciclo de vida. Os autores observam que, embora o framework se generalize através de arquiteturas, a verificação em escalas ultra-grandes (70B+ parâmetros) e domínios altamente especializados permanece como uma direção para investigações futuras.