Resumo Técnico: Além de uma Única Explicação para a Lacuna Adam–SGD

Declaração do Problema

Por mais de uma década, a disparidade de desempenho entre o otimizador adaptativo Adam e o Gradiente Descendente Estocástico (SGD) tem sido uma questão central no aprendizado profundo, particularmente no contexto de modelos de linguagem de grande escala (LLMs) baseados em Transformers. Embora o Adam seja o padrão de fato para os modelos fundamentais modernos, a literatura existente oferece explicações fragmentadas para esta "lacuna Adam–SGD". Essas explicações são tipicamente estudadas isoladamente e atribuem a lacuna a fatores específicos:

1. Propriedades dos Dados: Distribuições de vocabulário de cauda pesada (Zipfianas) em dados de texto criando paisagens de otimização anisotrópicas.
2. Arquitetura: Heterogeneidade de componentes em Transformers (ex: atenção softmax, camadas de embedding, camadas de normalização).
3. Dinâmica de Otimização: Efeitos do tamanho do lote (batch size) e características do ruído do gradiente (ex: ruído de cauda pesada).

O problema central abordado por este trabalho é a falta de uma compreensão unificada de como esses fatores interagem. Permanece incerto se um único fator impulsiona a lacuna universalmente, ou se o fenômeno surge de interações complexas entre dados, arquitetura e hiperparâmetros de treinamento em diferentes domínios.

Metodologia

Os autores conduzem um estudo empírico controlado e de larga escala abrangendo quatro domínios distintos: linguagem, visão, genômica e aprendizado em grafos. O estudo utiliza tanto arquiteturas Transformer modernas quanto modelos clássicos não-Transformer (ex: ResNet, GCNN, GAT).

Design Experimental:

• Protocolo de Ajuste Unificado: Para controlar variáveis de confusão, os autores realizam uma varredura conjunta das taxas de aprendizado ($\eta$) e parâmetros de momentum ($\beta$) para ambos os otimizadores. Para o Adam, eles utilizam uma parametrização vinculada ($\beta_1 = \beta_2 = \beta$) para se alinhar à teoria do SignSGD, enquanto também testam o ajuste independente em estudos de ablação.
• Restrições Globais: Os experimentos empregam o corte de norma de gradiente global (para 1) e cronogramas consistentes de warmup/cosseno.
• Métrica da Lacuna: A lacuna de desempenho é definida como $\Delta^* = L^*_{Adam} - L^*_{SGD}$, onde $L^*$ é a perda de treinamento final da melhor configuração de hiperparâmetros. Um $\Delta^*$ negativo indica que o Adam supera o SGD.
• Modelagem Teórica: Os autores complementam os achados empíricos com um modelo de lacuna teórica baseado em limites de convergência não-euclidianos (Kovalev, 2025). Eles comparam o NSGD (SGD Normalizado) com momentum contra um proxy de SignSGD para o Adam, analisando como a lacuna depende da razão de constantes de suavidade ($r = L_\infty / L_2$) e do tamanho do lote ($B$).

Principais Contribuições e Resultados

1. Nenhum Fator Único Explica a Lacuna

O estudo refuta sistematicamente a hipótese de que qualquer fator único (distribuição de vocabulário, mecanismos de atenção ou tipo de arquitetura) seja necessário ou suficiente para explicar a lacuna Adam–SGD.

• Distribuição de Vocabulário: A lacuna persiste mesmo em dados genômicos (HG38) com uma distribuição de vocabulário quase uniforme ($v=5$) e tamanho de vocabulário pequeno, contradizendo a hipótese de desequilíbrio de classes de cauda pesada.
• Atenção Softmax: Substituir camadas de atenção softmax em um GPT por convoluções com portão (GCNN) não elimina a lacuna; o Adam ainda supera o SGD, sugerindo que os mecanismos de atenção não são o único motor.
• Heterogeneidade da Arquitetura: Embora a heterogeneidade de componentes (ex: embedding vs. camadas de head) influencie a lacuna, ela não é determinante. Um Vision Transformer (ViT) treinado no ImageNet21K pode exibir uma tendência reversa onde o SGD supera o Adam, apesar de ter complexidade arquitetônica semelhante a modelos onde o Adam vence.

2. O Fenômeno do Tamanho de Lote de Cruzamento (Crossover)

A principal descoberta empírica é a existência de um tamanho de lote de cruzamento. À medida que o tamanho do lote ($B$) escala, a vantagem relativa muda do SGD para o Adam.

• Interação Dados e Arquitetura: O ponto específico de cruzamento e a inclinação da transição dependem conjuntamente da modalidade de dados e da arquitetia. Por exemplo, dados de imagem (I21K) requerem tamanhos de lote significativamente maiores para deslocar a vantagem para o Adam em comparação com dados de linguagem ou genômica, o que é consistente com o sucesso histórico do SGD em tarefas de visão.
• Sensibilidade Arquitetural: Pequenas mudanças arquiteturais, como substituir ReLU por GeLU ou BatchNorm por LayerNorm, podem deslocar a preferência do otimizador de SGD para Adam no mesmo conjunto de dados.

3. Dependência do Regime de Treinamento

A lacuna se comporta de maneira diferente dependendo do regime de otimização:

• Sobreparametrizado (Multi-época): Em configurações onde o modelo pode atingir uma perda de treinamento próxima de zero (ex: pequenos conjuntos de dados treinados por muitos épocas), a lacuna diminui conforme o treinamento progride, e o SGD pode eventualmente igualar o desempenho do Adam.
• Subparametrizado (Um-época): Em configurações modernas de LLM (grandes conjuntos de dados, um único época), a lacuna persiste durante todo o treinamento, com o Adam mantendo uma vantagem consistente sobre o SGD.

4. Modelo de Lacuna Teórica

Os autores propõem um modelo teórico que prevê dois regimes baseados na razão de suavidade da geometria $r = L_\infty / L_2$:

• Regime I ($1 < r < d^{1/3}$): Ocorre um cruzamento onde o SGD é favorecido em pequenos tamanhos de lote, e o Adam torna-se favorecido conforme $B$ aumenta. Isso coincide com a maioria das configurações experimentais.
• Regzime II ($d^{1/3} < r < d$): O SGD (NSGD) é favorecido em todos os tamanhos de lote. Este regime corresponde aos experimentos de ResNet no ImageNet21K, onde o SGD supera o Adam mesmo com grandes tamanhos de lote.
  O modelo sugere que a lacuna é determinada pela interação entre a geometria de otimização, propriedades do conjunto de dados e a variância do ruído do gradiente.

Significância

O artigo afirma oferecer uma perspectiva unificada que reconcilia hipóteses anteriormente conflitantes. Em vez de atribuir a lacuna Adam–SGD a uma única causa (ex: "dados de texto são Zipfianos" ou "Transformers são complexos"), os autores demonstram que a lacuna é uma propriedade emergente da interação entre a distribuição de dados, o design arquitetônico e o tamanho do lote.

A identificação do tamanho de lote de cruzamento fornece uma heurística prática: a escolha entre Adam e SGD não deve ser absoluta, mas deve considerar o regime específico de tamanho de lote e o par dado-arquitetura. O modelo teórico valida ainda mais essas observações empíricas, prevendo que o desempenho relativo é contingente à razão de suavidade do landscape de perda e às características de ruído.

O trabalho conclui que, embora o Adam ofereça uma vantagem prática consistente em configurações modernas, de grande escala e subparametrizadas (especialmente com grandes tamanhos de lote), o SGD permanece competitivo ou superior em regimes específicos (ex: tarefas de visão com grandes lotes ou configurações sobreparametrizadas), desafiando a noção de um vencedor universal de otimizadores.