Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

Resumo Técnico: Por que o Adam Funciona Melhor com $\beta_1 = \beta_2$

Enunciado do Problema
Apesar de o Adam ser o otimizador padrão para treinamento de redes neurais em grande escala há quase uma década, uma observação empírica persistente permanece sem explicação: a estabilidade do treinamento e o desempenho de validação frequentemente melhoram quando os parâmetros de momento são definidos iguais ($\beta_1 = \beta_2$). Embora estudos recentes (por exemplo, Orvieto e Gower [2025]) tenham documentado esse fenômeno em diversas arquiteturas, não houve uma explicação teórica rigorosa sobre por que essa configuração específica produz melhor comportamento ou como ela se relaciona com as dinâmicas internas do otimizador. Além disso, uma tendência paralela no design de otimizadores modernos (por exemplo, Lion, Muon, Scion) envolve impor explicitamente atualizações robustas à escala, mas a conexão entre esses novos métodos e o regime "balanceado" do Adam permaneceu obscura.

Metodologia
Os autores introduzem uma propriedade estrutural denominada invariância de escala do gradiente para analisar as dinâmicas do Adam. Eles formalizam esse conceito da seguinte forma: um otimizador é invariante de escala do gradiente se o redimensionamento do gradiente atual por um fator positivo $\lambda$ (mantendo o estado interno fixo) deixar o vetor de atualização essencialmente inalterado.

Para investigar isso, os autores empregam uma análise de limite de tempo contínuo do algoritmo Adam. Eles modelam o Adam como a discretização temporal de um sistema dinâmico governado por Equações Diferenciais Ordinárias (EDOs). Ao introduzir tempos de relaxação $\tau_1$ e $\tau_2$ correspondentes aos parâmetros discretos $\beta_1$ e $\beta_2$ (via $\beta_i = e^{-\Delta t/\tau_i}$), eles derivam um fluxo de tempo contínuo para os primeiros e segundos momentos ($m(t)$ e $v(t)$).

O cerne da análise envolve decompor o vetor de atualização normalizado $R(t) = m(t)/\sqrt{v(t)}$ em componentes dependentes da deriva de escala logarítmica do gradiente, definida como $\delta(t) = \frac{d}{dt} \log |g(t)|$. Os autores provam que a atualização pode ser decomposta em um componente de sinal invariante à escala, um termo explícito de "atraso de escala" proporcional a $(\tau_2 - \tau_1)\delta(t)$ e termos de resto de ordem superior.

Principais Contribuições

1. Formalização da Invariância de Escala do Gradiente: O artigo define a invariância de escala do gradiente de primeira ordem, onde a resposta linear explícita a mudanças na escala do gradiente desaparece.
2. Caracterização Teórica do Adam: Os autores provam que o Adam atinge a invariância de escala do gradiente de primeira ordem se e somente se $\beta_1 = \beta_2$ (ou equivalentemente $\tau_1 = \tau_2$).
   • Quando $\beta_1 \neq \beta_2$, a atualização contém um termo de primeira ordem proporcional à deriva de escala do gradiente, tornando a atualização sensível a flutuações na magnitude do gradiente.
   • Quando $\beta_1 = \beta_2$, esse termo de primeira ordem cancela-se exatamente, empurrando a sensibilidade para a segunda ordem. Consequentemente, a atualização comporta-se mais como um método baseado em sinal, que é inerentemente invariante à escala.
3. Validação Sintética e Empírica:
   • Experimentos Sintéticos: Experimentos controlados com sinais de gradiente redimensionados demonstram que, quando $\beta_1 = \beta_2$, a norma do vetor de atualização permanece estável sob mudanças de escala, enquanto $\beta_1 \neq \beta_2$ resulta em desvios significativos de primeira ordem.
   • Treinamento do Mundo Real: Experimentos extensivos em tarefas de visão (EfficientNet, ResNet, ViT) e linguagem (NanoGPT, T5) mostram que a oscilação da norma da atualização ($\|R_k\|$) é minimizada quando $\beta_1 = \beta_2$. Os autores definem uma métrica de oscilação $\omega$ para quantificar essa estabilidade, encontrando que configurações diagonais produzem consistentemente trajetórias de atualização mais suaves.
   • Significância Estatística: Um teste binomial em múltiplos pares modelo-conjunto de dados confirma que o $\beta_2$ minimizante para a estabilidade da atualização coincide com $\beta_1$ com alta significância estatística.

Resultados
Os experimentos confirmam que o cancelamento teórico do termo de atraso de escala se traduz diretamente nas dinâmicas práticas de treinamento.

• Estabilidade da Norma de Atualização: Em todas as arquiteturas testadas (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5), a norma de atualização $\|R_k\|$ exibe oscilação significativamente menor quando $\beta_1 = \beta_2$ em comparação com configurações fora da diagonal.
• Análise de Decomposição: Uma reprodução diagnóstica em gradientes de sonda com dados fixos revela que, quando $\beta_1 \neq \beta_2$, o termo explícito de atraso de escala representa aproximadamente 50% do orçamento absoluto da atualização normalizada. Quando $\beta_1 = \beta_2$, esse termo desaparece, e a atualização passa a ser dominada pelo componente de sinal invariante à escala.
• Robustez: As descobertas mantêm-se através de diferentes sementes aleatórias, cronogramas de taxa de aprendizado e famílias de arquiteturas, sugerindo que o fenômeno é uma propriedade fundamental da estrutura do otimizador e não um artefato de hiperparâmetros específicos.

Significância e Alegações
O artigo alega fornecer uma explicação teórica coerente para o sucesso empírico do regime balanceado ($\beta_1 = \beta_2$) no Adam. Ele postula que essa configuração não é meramente uma heurística conveniente, mas um alinhamento estrutural que concede ao Adam invariância de escala do gradiente de primeira ordem.

Os autores argumentam que essa propriedade coloca o regime balanceado do Adam na mesma classe conceitual que otimizadores recentes de última geração (como Lion e Muon) que projetam explicitamente robustez à escala. Ao identificar que essa propriedade desejável é latente na formulação padrão do Adam, o trabalho preenche a lacuna entre métodos adaptativos tradicionais e designs modernos invariantes à escala.

O artigo conclui que reduzir a sensibilidade à escala do gradiente é um princípio estrutural para a otimização adaptativa estável. Embora o trabalho não proponha um novo otimizador, ele oferece um princípio orientador para o design futuro de otimizadores e sugere que definir $\beta_1 = \beta_2$ é uma escolha fundamentada para melhorar a estabilidade do treinamento, particularmente em regimes onde a magnitude do gradiente flutua. Os autores permanecem modestos, observando que sua análise é local e coordenada a coordenada, e que o valor ótimo do $\beta$ comum ao longo da diagonal permanece uma questão em aberto dependente de dinâmicas de treinamento específicas.