Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

Resumo Técnico: Evolução do Parâmetro de Escala de Weibull sob AdamW

Definição do Problema
Compreender a evolução dos pesos de redes neurais durante o treinamento é central para a otimização e generalização. Um framework anterior (Ding, 2026) estabeleceu uma distribuição de Weibull de dois parâmetros para diagnosticar as magnitudes dos pesos de transformers, identificando uma regularidade da "classe de Transmissão" onde o parâmetro de forma $k$ permanece travado próximo a $k_0 \approx 1,20$, enquanto o parâmetro de escala $\lambda$ segue uma trajetória característica: ascensão, overshoot, relaxamento e piso. No entanto, o mecanismo que impulsiona essa trajetória permanecia inexplicado. Embora a dinâmica do AdamW seja definida ao nível de parâmetros individuais e estados do otimizador, e os parâmetros de Weibull sejam resumos de nível de distribuição, faltava uma ponte para explicar por que $\lambda$ ascende e depois relaxa. Especificamente, era incerto quais forças ao nível do otimizador movem o modelo ao longo da coordenada $\lambda$.

Metodologia
O artigo estabelece a ponte entre a dinâmica de parâmetros individuais e estatísticas de nível de distribuição através de uma abordagem de três etapas:

1. Decomposição de Três Forças: Partindo da regra de atualização desacoplada do AdamW, os autores derivam uma decomposição de primeira ordem da dinâmica da norma quadrada dos pesos ($\Delta \Sigma W^2$) em três forças distintas:

   • Força de Alinhamento ($F_{align}$): $-2\eta \langle W, \hat{u} \rangle$, medindo a correlação entre os pesos atuais e a direção de atualização adaptativa.
   • Força de Injeção ($F_{inj}$): $+\eta^2 \|\hat{u}\|^2$, representando a magnitude quadrada do passo adaptativo (ruído estocástico).
   • Força de Decaimento ($F_{decay}$): $-2\eta \lambda_{wd} \Sigma W^2$, a contribuição estrutural do decaimento de peso desacoplado.

2. A Ponte do Bloqueio de $k$: Para conectar essas forças de norma quadrada ao parâmetro de escala de Weibull $\lambda$, o artigo utiliza a observação de que $k$ permanece aproximadamente constante ($k \approx 1,20$) para componentes da classe de Transmissão. Isso permite que o RMS ($\sigma$) e $\lambda$ sejam relacionados por um fator multiplicativo quase fixo ($\sigma = \lambda \sqrt{\Gamma(1+2/k)}$), permitindo a tradução das dinâmicas de força em $\sigma^2$ para a trajetória de $\lambda(t)$.

3. Recuperação de Checkpoint Esparso (Deslocamento por Spline): Como os lançamentos públicos de modelos carecem de momentos do otimizador ($\hat{m}, \hat{v}$), os autores introduzem um método para recuperar informações de força a partir de checkpoints esparsos de pesos. Ao ajustar uma spline cúbica às trajetórias de pesos salvas, eles estimam o deslocamento de passo unitário necessário para calcular a força de alinhamento. Este método é validado contra momentos de verdade fundamental (ground-truth) de modelos auto-treinados.

Principais Resultados

• Dominância da Fase de Ascensão: Em modelos Pythia-70M auto-treinados com momentos do otimizador de verdade fundamental, a força de alinhamento domina a fase de ascensão, contribuindo com 88–94% do orçamento absoluto de força. Essa dominância é robusta em quatro sementes aleatórias e permanece estável mesmo após a remoção de outliers de "super-pesos". A força de injeção contribui com apenas ~4%, e o decaimento com ~2–7%.
• Transição para o Relaxamento: A transição do crescimento da escala de peso para o relaxamento corresponde a uma mudança no equilíbrio de forças. À medida que o treinamento progride em direção à saturação, a força de alinhamento diminui enquanto a força de decaimento aumenta. Perto do pico e durante a fase de relaxamento, o alinhamento e o decaimento aproximam-se de um equilíbrio ($F_{align} \approx |F_{decay}|$), fazendo com que a força líquida se anule e a escala de peso se estabilize ou encolha.
• Robustez Cross-Arquitetura: O mecanismo de dominância de alinhamento mantém-se para arquiteturas do tipo Pythia (GPT-NeoX) e L_lama, com as fatias de alinhamento permanecendo na faixa de 88–94% durante a fase de ascensão.
• Precisão de Recuperação: O método de deslocamento por spline proposto recupera a força de alinhamento de checkpoints esparsos com 92–94% de precisão, aproximadamente o dobro do desempenho de uma linha de base (baseline) ingênua de dois pontos.
• Offset RMS-para-Weibull: A integração de forças em malha fechada para prever $\lambda(t)$ mostra um offset sistemático de aproximadamente 5–6% em regiões densamente amostradas. Isso é decomposto em um erro de ponte de ~4,6% (reconstrução RMS-para-Weibull) e um erro de integração de ~1,9%, confirmando que as dinâmicas de força governam o componente dominante da trajetória.
• Modulação Dependente de Dados: Uma observação exploratória sugere que o valor de pico absoluto de $\lambda(t)$ varia com a coerência dos dados de treinamento. Modelos treinados em dados de domínio único (wikitext-103) atingem valores de pico de $\lambda$ mais altos (~0,069–0,076) comparados àqueles treinados em dados multi-domínio (The Pile, ~0,035). Uma intervenção de treinamento contínuo em um modelo treinado no Pile que mudou para o wikitext-103 resultou em um aumento de 2,6x em $\lambda$, sugerindo que a coerência dos dados modula a força de alinhamento.

Significância e Alegações
O artigo afirma fornecer a primeira explicação mecanística para a observada trajetória de ascensão, overshoot e relaxamento do parâmetro de escala de peso de Weibull $\lambda$ durante o treinamento AdamW. Suas principais contribuições são:

1. Conectando Níveis de Descrição: Ele conecta com sucesso a lacuna entre as regras de atualização de baixo nível do AdamW e os diagnósticos de alto nível de distribuição, mostrando que $\lambda(t)$ acompanha o componente de escala de peso de um orçamento de força de primeira ordem.
2. Identificando o Motor: Identifica a força de alinhamento como o principal motor do crescimento da escala de peso durante a fase de ascensão do treinamento, desafiando a noção de que o decaimento de peso ou o ruído são os fatores primários nesta fase.
3. Explicando a Trajetória: Explica o overshoot e o relaxamento como consequência da transição da dominância de alinhamento para um equilíbrio entre alinhamento e decaimento próximo à saturação.
4. Aplicabilidade Prática: Fornece um método validado (deslocamento por spline) para recuperar dinâmicas de força de modelos do mundo real onde os estados do otimizador não estão disponíveis, estendendo a análise além de ambientes auto-treinados.

Os autores explicitamente observam que a observação de coerência de dados é exploratória e que uma caracterização completa dos efeitos de diversidade de dados requer estudos de acompanhamento controlados. A principal contribuição permanece a explicação do orçamento de força para a dinâmica da escala de peso, com o resultado de dados servindo como motivação para futuros experimentos controlados.