Resumo Técnico: SVRG e Além via Correção de Posterior

Declaração do Problema

O Gradiente de Redução de Variância Estocástica (SVRG) e suas variantes são técnicas estabelecidas para acelerar a otimização estocástica ao utilizar gradientes de lote completo (full-batch) para estabilizar atualizações de mini-lote (mini-batch). Apesar de mais de uma década de pesquisa e inúmeras variantes práticas (ex: SAGA, SARAH, Spider), esses métodos nunca foram fundamentalmente conectados à inferência Bayesiana. Embora a redução de variância tenha sido aplicada para acelerar procedimentos Bayesianos (ex: inferência variacional estocástica), uma conexão teórica mais profunda explicando o SVRG através de princípios Bayesianos, ou usando métodos Bayesianos para derivar novas extensões de SVRG, tem estado ausente. Além disso, as variantes existentes de SVRG do tipo Newton geralmente corrigem apenas o gradiente, negligenciando correções de Hessian, e o SVRG padrão tem dificuldade em fornecer acelerações em configurações de aprendizado profundo em comparação com problemas convexos.

Metodologia

Os autores preenchem essa lacuna derivando o SVRG como um caso especial de Correção de Posterior (PoCo), um método Bayesiano proposto recentemente para adaptação de conhecimento (Khan, 2025).

Fundamentação Teórica

1. Regra de Aprendizado Bayesiana (BLR) & Gradientes Naturais: O trabalho utiliza a BLR, que unifica algoritmos de aprendizado ao otimizar sobre distribuições $q(\theta)$ na família exponencial usando gradientes naturais. A regra de atualização no espaço de parâmetros naturais $\lambda$ é dada por:
   $$\lambda \leftarrow (1-\eta)\lambda - \eta \sum_{i=0}^N \tilde{\nabla} L_i(\lambda)$$
   onde $\tilde{\nabla}$ denota o gradiente natural.

2. Correção de Posterior (PoCo): O PoCo generaliza a BLR introduzindo uma estimativa de posterior mais antiga $\hat{q}_{out}$ (derivada de um parâmetro $\lambda_{out}$ anterior) para corrigir atualizações futuras. A regra de atualização torna-se:
   $$q_{in} \leftarrow q_{in}^{1-\eta} \hat{q}_{out}^{\eta} \exp\left( -\eta N [\hat{\ell}_{i|in} - \hat{\ell}_{i|out}] \right)$$
   Aqui, $\hat{\ell}$ representa funções de perda substitutas lineares. Esta formulação trata efetivamente as correções de gradiente como um mecanismo para a transferência de conhecimento entre gradientes antigos e novos.

3. Derivando SVRG a partir do PoCo:

   • Ao restringir o posterior $q$ a uma Gaussiana isotrópica $N(\theta | m, I)$ e aplicar a aproximação do método delta ($\mathbb{E}_q[\nabla \ell] \approx \nabla \ell(m)$), a atualização do PoCo reduz-se exatamente à regra de atualização padrão do SVRG.
   • Isso estabelece o SVRG como um caso especial de correção de posterior Bayesiana onde o "conhecimento" é a média de uma Gaussiana isotrópica.

4. Novas Extensões via Posteriors Flexíveis:
   O framework permite derivar novos algoritmos escolhendo diferentes posteriors da família exponencial:

   • Variante do tipo Newton (VON-PoCo): Ao utilizar Gaussianas multivariadas completas $N(\theta | m, S^{-1})$, o método deriva naturalmente correções tanto para a média quanto para a matriz de precisão (inversa da covariância). Isso resulta em uma estimativa de Hessiano de Redução de Variância Estocástica (SVRH), corrigindo o Hessian além do gradiente. Isso difere de trabalhos anteriores de Newton-SVRG que apenas corrigem gradientes.
   • Variante do tipo Adam (IVON-PoCo): Ao utilizar Gaussianas diagonais, os autores derivam uma versão com redução de variância do otimizador Improved Variational Online Newton (IVON). Esta variante, denominada IVON-PoCo (e sua versão com momentum IVON-PoCoMo), escala para problemas grandes. Ela utiliza "mega-lotes" (grandes subconjuntos de dados) para estimar estatísticas de lote completo, empregando um fator de ponderação $\alpha$ para lidar com o desvio das suposições de lote completo estritas.

Principais Contribuições

1. Unificação Teórica: O artigo fornece a primeira conexão fundamental entre SVRG e métodos Bayesianos, mostrando que o SVRG é um caso especial de Correção de Posterior sobre Gaussianas isotrópicas. Isso reestrutura a correção de gradiente como um mecanismo de adaptação de conhecimento.
2. Derivação de Novos Algoritmos:
   • VON-PoCo: Uma variante de SVRG do tipo Newton que incorpora automaticamente correções de Hessian, um recurso não presente na literatura de Newton-SVRG existente.
   • IVON-PoCo: Uma extensão escalável do tipo Adam que aplica redução de variância ao otimizador IVON, adequada para aprendizado profundo.
3. Avaliação Empírica: Os autores avaliam esses métodos em regressão logística, classificação de imagens (ResNets no CIFAR-10 e ImageNet) e pré-treinamento de modelos de linguagem (GPT-2).

Resultados

• Problemas Convexos (Regressão Logística): Em conjuntos de dados como MNIST, Covertype e CIFAR-10, tanto o VSGD-PoCo (primeira ordem) quanto o IVON-Poço (segunda ordem) superam significativamente seus contrapartes não corrigidos (VSGD e IVON). Eles alcançam precisão comparável ao L-BFGS de lote completo com menos avaliações de gradiente, espelhando a aceleração que o SVRG proporciona ao SGD.
• Aprendizado Profundo (ImageNet & GPT-2):
  • No ImageNet (ResNet-50), o IVON-PoCo mostra melhorias claras na precisão de teste quando medido por passos de otimização, embora os ganhos diminuam quando medido pelo total de exemplos de dados vistos (consistente com descobertas anteriores sobre SVRG em aprendizado profundo).
  • No pré-treinamento do GPT-2 (125M), o IVON-PoCoMo melhora a perplexidade de validação final em comparação com o AdamW e o IVON padrão. No entanto, os autores observam que essas melhorias não se traduzem em acelerações tangíveis em tempo de execução (wall-clock time) ou eficiência de computação de gradiente em comparação com simplesmente aumentar o tamanho do lote ou usar otimizadores padrão.
  • Os resultados alinham-se com Defazio & Bottou (2019), sugerindo que métodos de redução de variância atualmente enfrentam desafios para fornecer acelerações de tempo de execução em aprendizado profundo em comparação com configurações convexas.

Significância e Alegações

O artigo afirma estabelecer uma base para trabalhos futuros ao conectar o SVRG a princípios Bayesianos.

• Nova Perspectiva: Oferece uma interpretação inovadora do SVMG como um método de adaptação de conhecimento, generalizando-o através da lente da Correção de Posterior.
• Inovação Algorítmica: Demonstra que princípios Bayesianos podem gerar automaticamente extensões complexas (como correções de Hessian) que são difíceis de derivar via heurísticas padrão de SVRG.
• Alegações Modestas sobre Aprendizado Profundo: Os autores são explícitos ao afirmar que, embora seus métodos melhorem o desempenho final do modelo (precisão/perplexidade) em tarefas de aprendizado profundo, eles ainda não fornecem as mesmas acelerações computacionais observadas em problemas convexos. Eles veem este trabalho como um passo para potencialmente melhorar a eficácia da redução de variância para o aprendizado profundo no futuro, em vez de uma solução imediata para as ineficiências de tempo de execução observadas no treinamento de aprendizado profundo atual.