📊 statistics

AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods

Este artigo apresenta o AdAdaGrad e sua variante escalar AdAdaGradNorm, esquemas de tamanho de lote adaptativo para métodos de gradiente adaptativo que aumentam progressivamente os tamanhos dos lotes durante o treinamento para alcançar garantias teóricas de convergência e melhorar tanto a eficiência do treinamento quanto a generalização do modelo em aprendizado profundo de larga escala.

Autores originais: Tim Tsz-Kit Lau, Han Liu, Mladen Kolar

Publicado 2026-08-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tim Tsz-Kit Lau, Han Liu, Mladen Kolar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, as ferramentas mais poderosas são construídas ensinando os computadores a aprender com oceanos vastos de dados. Esse processo de aprendizagem baseia-se em um método chamado gradiente descendente estocástico, que pode ser pensado como um caminhante tentando encontrar o ponto mais baixo em um vale montanhoso e enevoado. O caminhante não consegue ver toda a paisagem de uma só vez, por isso dá pequenos passos baseados na inclinação logo abaixo de seus pés. Para se mover de forma eficiente, o caminhante deve decidir quantos exemplares do terreno deve verificar antes de dar um passo. Se verificar poucos, sua visão será ruidosa e ele poderá tropeçar; se verificar muitos, moverá-se muito lentamente e perderá tempo. Durante anos, a estratégia dominante no treinamento em larga escala tem sido verificar o máximo de terreno possível de uma só vez, usando grupos massivos de dados para acelerar o processo. No entanto, essa abordagem frequentemente leva a um problema sutil: embora o computador aprenda muito bem os dados de treinamento, ele tem dificuldade em desempenhar bem com novos dados não vistos. Esse descompasso, conhecido como lacuna de generalização, sugere que o tamanho bruto do grupo de dados importa tanto quanto a velocidade da aprendizagem.

Os pesquisadores Tim Tsz-Kit Lau, Han Liu e Mladen Kolar desenvolveram uma nova abordagem para resolver esse dilema, introduzindo um sistema que ajusta automaticamente o tamanho do grupo de dados durante o treinamento. Em vez de manter um número fixo ou seguir um cronograma rígido, o método deles, chamado AdAdaGrad, observa o processo de aprendizagem em tempo real e decide quando aumentar a quantidade de dados sendo processados. A ideia central é começar com um grupo de dados pequeno e gerenciável para permitir uma aprendizagem flexível e, em seguida, expandir gradualmente o tamanho do grupo à medida que o modelo se torna mais confiante. Essa expansão não é aleatória; ela é impulsionada por um teste estatístico que mede o quanto o grupo de dados concorda consigo mesmo. Se o grupo for consistente, o sistema sabe que é seguro olhar para mais dados de uma só vez. Se o grupo for ruidoso, ele permanece pequeno para evitar que o modelo fique confuso. Esse ajuste dinâmico permite que o computador desfrute da velocidade dos grandes grupos de dados nos estágios finais do treinamento, mantendo a aprendizagem cuidadosa e precisa dos pequenos grupos nos estágios iniciais.

Os pesquisadores testaram essa ideia em diversas tarefas diferentes, que variam de problemas matemáticos simples a sistemas complexos de reconhecimento de imagens que identificam dígitos manuscritos e objetos como carros ou aviões. Nesses experimentos, eles compararam seu método adaptativo contra abordagens padrão que utilizam tamanhos de lote fixos. Os resultados mostraram que o sistema deles poderia alcançar alta precisão em novos dados utilizando menos passos totais para chegar lá. Por exemplo, ao treinar uma rede neural para reconhecer imagens do conjunto de dados CIFAR-10, o método adaptativo atingiu uma precisão de validação de mais de 90 por cento usando uma configuração específica, enquanto métodos de tamanho fixo frequentemente lutavam para igualar esse desempenho sem sacrificar a velocidade. O estudo descobriu que a abordagem adaptativa foi particularmente eficaz em estreitar a lacuna entre o quão bem o modelo aprendeu seus dados de treinamento e o quão bem ele desempenhou em novos dados. Isso sugere que o momento de quando um modelo vê grandes quantidades de dados é tão crítico quanto a quantidade em si.

Uma descoberta fundamental do trabalho é que essa estratégia adaptativa funciona bem mesmo quando combinada com algoritmos de aprendizagem modernos que ajustam seus próprios tamanhos de passo automaticamente. Os pesquisadores provaram matematicamente que seu método converge para uma solução estável com alta probabilidade, o que significa que o modelo encontrará reliablemente uma boa resposta sem ficar preso ou divergir. Eles também demonstraram que o método é eficiente na prática, capaz de utilizar todo o poder do hardware de computação moderno ao eventualmente mudar para grupos de dados muito grandes quando o processo de treinamento permite. Em um teste específico envolvendo uma rede de reconhecimento de imagens de grande escala, o método adaptativo foi capaz de usar o tamanho máximo de grupo de dados disponível durante a maior parte do treinamento, mas ainda assim alcançou melhores resultados do que um método que utilizou um grupo menor e fixo durante todo o processo. Isso indica que o sistema equilibrou com sucesso a necessidade de velocidade com a necessidade de precisão.

O artigo também destaca que esta abordagem não se limita a um único tipo de algoritmo de aprendizagem. Os pesquisadores mostraram que a mesma lógica adaptativa poderia ser aplicada a diferentes variações de gradiente descendente, incluindo aquelas que ajustam as taxas de aprendizagem para cada parâmetro individual do modelo. Embora os detalhes matemáticos dessas variações difiram, o princípio subjacente de monitorar a consistência dos dados para decidir o tamanho do grupo permaneceu eficaz em todos os casos. Os autores observaram que, embora seus experimentos atuais tenham focado em modelos e conjuntos de dados menores para demonstrar o conceito, o método foi projetado para escalar para os sistemas massivos usados na inteligência artificial moderna. Eles reconheceram que implementar isso em um ambiente distribuído, onde muitos computadores trabalham juntos, apresenta desafios de engenharia que exigirão mais trabalho. No entanto, as garantias teóricas e os resultados experimentais positivos sugerem um caminho promissor para treinar modelos maiores de forma mais eficiente e eficaz.

Em última análise, este trabalho oferece uma nova maneira de pensar sobre como os computadores aprendem com os dados. Ele se afasta da ideia de que maior é sempre melhor ou que um cronograma fixo é a única maneira de gerenciar a complexidade. Em vez disso, propõe um sistema responsivo que se adapta às necessidades do processo de aprendizagem conforme ele se desenrola. Ao deixar que os próprios dados ditem o ritmo e o escopo da aprendizagem, os pesquisadores mostraram que é possível treinar modelos que são simultaneamente rápidos e precisos. O sucesso desses esquemas adaptativos sugere que o futuro do treinamento de modelos em larga escala pode residir na flexibilidade, permitindo que os sistemas naveguem pelo complexo cenário da inteligência artificial com um nível de intuição que regras fixas não podem proporcionar.

Resumo Técnico: AdAdaGrad – Esquemas de Tamanho de Lote Adaptativo para Métodos de Gradiente Adaptativo

1. Definição do Problema

No aprendizado profundo em larga escala, a escolha do tamanho do lote (batch size) no paradigma de otimização de gradiente estocástico de minilote é um hiperparâmetro crítico que equilibra a eficiência computacional com a generalização do modelo. Embora o treinamento com lotes grandes seja dominante devido aos avanços de hardware (GPUs/TPUs), ele frequentemente leva a um "gap de generalização", onde modelos treinados com lotes grandes generalizam pior do que aqueles treinados com lotes pequenos. Este fenômeno é atribuído ao fato de o treinamento com lotes grandes convergir para mínimos agudos no panorama de perda (loss landscape).

Estratégias existentes para mitigar este gap frequentemente dependem de cronogramas heurísticos de tamanho de lote (ex: tamanhos constantes ou warmups lineares) ou de escalonamento adaptativo da taxa de aprendizado (ex: AdaScale). No entanto, essas abordagens carecem frequentemente de garantias teóricas rigorosas de convergência, particularmente para métodos de gradiente adaptativos (como AdaGrad e Adam), que são prevalentes no aprendizado profundo moderno. Além disso, métodos de amostragem adaptativa existentes (que ajustam dinamicamente os tamanhos dos lotes com base em estatísticas de gradiente) foram analisados primariamente para o Gradiente Descendente Estocástico (SGD) sob suposições restritivas (ex: convexidade ou tamanhos de passo fixos), deixando uma lacuna entre a teoria e a prática para otimizadores adaptativos em cenários não convexos.

2. Metodologia

O artigo introduz o AdAdaGrad e sua variante escalar AdAdaGrad-Norm, que integram estratégias de tamanho de lote adaptativo com atualizações de gradiente adaptativas. A metodologia central baseia-se em métodos de amostragem adaptativa originalmente desenvolvidos para SGD, mas adaptados aqui para tamanhos de passo adaptativos escalares e por coordenada.

2.1 Testes de Amostragem Adaptativa

Os algoritmos aumentam dinamicamente o tamanho do lote $b_k$ durante o treinamento com base na variância dos gradientes estocásticos em relação ao gradiente completo. Dois testes primários são empregados:

Teste de Norma (Norm Test): Verifica se a variância do gradiente do lote é limitada por uma fração da norma ao quadrado do gradiente completo.
$\text{Var}_{i \in B_k}(\nabla f(x_k; \xi_i)) \leq \eta^2 \|\nabla F_{B_k}(x_k)\|^2$
Teste de Produto Interno Aumentado: Uma alternativa mais branda que controla a variância da projeção dos gradientes das amostras sobre o gradiente do lote, combinada com um teste de ortogonalidade para garantir que o gradiente do lote não seja quase ortogonal ao gradiente completo.

2.2 Integração com Otimizadores Adaptativos

Os esquemas propostos combinam estas regras de tamanho de lote com:

AdaGrad-Norm: Atualiza os parâmetros usando um tamanho de passo escalar $\alpha / \sqrt{v_k}$ , onde $v_k$ acumula as normas quadradas dos gradientes passados.
AdaGrad: Atualiza os parâmetros usando tamanhos de passo por coordenada $\alpha / \sqrt{v_k}$ , onde $v_k$ acumula gradientes ao quadrado elemento a elemento.
Adaptação por Coordenada: Para o AdaGrad, o artigo propõe um teste de norma de variância exato por coordenada, garantindo que a condição de variância seja satisfeita para cada dimensão de parâmetro individualmente. Isso é crucial porque o pré-condicionador do AdaGrad é diagonal.

2.3 Detalhes de Implementação

A implementação prática utiliza estatísticas empíricas de lote computadas a partir do minilote atual para estimar a variância e determinar o próximo tamanho de lote. Isso contrasta com a análise teórica, que assume uma versão de "teste exato" onde o tamanho do lote é escolhido para satisfazer condições de variância ao nível da população. Os autores implementam estes esquemas no PyTorch usando torch.func e vmap para computação eficiente de gradiente por amostra.

3. Principais Contribuições

3.1 Contribuições Teóricas

Garantias de Convergência: O artigo estabelece taxas de convergência de alta probabilidade de $\mathcal{O}(1/K)$ para um ponto estacionário de primeira ordem para funções suaves não convexas dentro de $K$ iterações. Isto é uma melhoria significativa em relação às taxas padrão de $\mathcal{O}(1/\sqrt{K})$ frequentemente associadas a métodos adaptativos sob variância limitada.
Suavidade Generalizada: A análise de convergência para o AdAdaGrad-Norm é estendida para funções que satisfazem suavidade $(L_0, L_1)$ (suavidade generalizada), uma condição mais realista para arquiteturas de aprendizado profundo (ex: transformers) do que a suavidade $L$ -Lipschitz padrão.
Crescimento Forte Esperado (E-SG): Os autores provam que satisfazer os testes de amostragem adaptativa exatos implica que a condição de Crescimento Forte Esperado é satisfeita ao longo das iterações, o que é um motor fundamental para as taxas de convergência melhoradas.
Análise Inovadora para Otimizadores Adaptativos: A análise aborda o desafio técnico de acoplar o gradiente estocástico tanto na direção de atualização quanto no denominador adaptativo (ex: $\sqrt{v_k}$ ), uma característica não presente na análise padrão de SGD.

3.2 Contribuições Empíricas

Redução do Gap de Generalização: Experimentos em tarefas de classificação de imagens (MNIST, CIFAR-10) demonstram que os esquemas propostos podem reduzir o gap de generalização entre lotes pequenos e grandes.
Troca entre Eficiência e Generalização: Os métodos permitem começar com lotes pequenos (para generalização) e aumentar progressivamente para lotes grandes (para eficiência) sem necessidade de agendamento manual.
Desempenho:
- AdAdaGrad (com teste de norma) supera consistentemente as linhas de base de lote constante e os métodos adaptativos padrão em acurácia de validação, mantendo alta eficiência de treinamento.
- AdAdaGrad-Norm mostra forte desempenho, embora em alguns cenários convexos possa ter um desempenho inferior ao SGD com tamanhos de lote adaptativos.
- AdAdam: Uma extensão para o Adam (AdAdam) mostra tendências semelhantes, alcançando alta acurácia com tamanhos de lote efetivos grandes e menos passos do que o Adam de lote constante.

4. Resultados

O artigo valida suas afirmações através de experimentos numéricos em:

Regressão Logística (MNIST): Um problema convexo onde o AdAdaGrad alcançou a melhor acurácia de validação (90%) e perda, embora com um compromisso em passos computacionais dependendo do parâmetro $\eta$ .
CNN de três camadas (MNIST & CIFAR-10): Em objetivos não convexos, o AdAdaGrad superou significativamente o AdaSGD e as linhas de base de lote constante em acurácia de validação. Por exemplo, no MNIST, o AdAdaGrad com $\eta=0.1$ alcançou 96% de acurácia em 149 iterações com um tamanho de lote médio >40.000, enquanto lotes grandes constantes sofreram com baixa generalização.
ResNet-18 (CIFAR-10): Os esquemas propostos treinaram com sucesso modelos maiores. O AdAdaGrad com $\eta=0.025$ utilizou lotes totais (50.000) nos estágios finais, alcançando alta acurácia com apenas 23 passos adicionais em comparação com uma linha de base de lote constante de 50.000, enquanto evitou a queda de generalização vista na linha de base de lote grande constante.

5. Significância e Alegações

O artigo alega ser o primeiro a fornecer esquemas de tamanho de lote adaptativo baseados em métodos de amostragem adaptativa especificamente para métodos de gradiente adaptativos que vêm com:

Garantias de convergência rigorosas (taxas de alta probabilidade de $\mathcal{O}(1/K)$ ) para objetivos não convexos suaves.
Forte desempenho empírico na redução do gap de generalização no treinamento com lotes grandes.
Implementações eficientes compatíveis com bibliotecas modernas de aprendizado profundo (PyTorch).

Os autores enfatizam que seu trabalho destaca o potencial dos métodos de tamanho de lote adaptativo para automatizar a troca entre eficiência de treinamento e generalização do modelo, particularmente no contexto de otimizadores adaptativos que são agora padrão no treinamento de larga escala (ex: transformers). Eles observam que, embora os resultados teóricos dependam de condições de "teste exato" idealizadas, os resultados empíricos usando testes aproximados baseados em lote validam a utilidade prática da abordagem.

Limitações e Trabalho Futuro: O artigo reconhece que os testes por coordenada são computacionalmente caros para modelos de alta dimensão, levando ao uso de testes de norma padrão nos experimentos. Também nota que estender estes esquemas para paradigmas de treinamento distribuído (Paralelismo de Dados, Paralelismo de Tensor) permanece como uma área aberta para pesquisas futuras.