Sharpness-Aware Minimization with Z-Score Gradient Filtering

1. Problema Identificado

O artigo aborda um desafio fundamental no treinamento de Redes Neurais Profundas (DNNs): a generalização. Embora modelos profundos alcancem alto desempenho, eles frequentemente sofrem de overfitting (sobreajuste), o que é frequentemente atribuído à convergência para mínimos agudos (sharp minima). Mínimos agudos são regiões do espaço de perda onde pequenas perturbações nos parâmetros resultam em grandes aumentos na função de perda.

A técnica existente Sharpness-Aware Minimization (SAM) tenta mitigar isso perturbando os parâmetros na direção do gradiente para encontrar e minimizar a perda dentro de uma vizinhança local (uma bola $\ell_2$). No entanto, o artigo identifica uma falha crítica no SAM padrão:

• Ruído e Componentes Pequenos: O SAM utiliza o vetor de gradiente completo para calcular a direção de ascensão. Isso inclui muitos componentes de pequena magnitude que fornecem pouca informação sobre a curvatura e refletem principalmente ruído do minibatch.
• Distorção da Direção: Como o gradiente é normalizado antes da perturbação, até mesmo coordenadas ruidosas e insignificantes influenciam a direção de ascensão tanto quanto os componentes grandes e informativos. Isso distorce a perturbação, desalinhando-a das direções de curvatura real e amplificando a estocasticidade em espaços de parâmetros de alta dimensão.

2. Metodologia Proposta: ZSharp

Os autores propõem o ZSharp (Z-Score Filtered Sharpness-Aware Minimization), um método que integra normalização por Z-score e filtragem estatística ao passo de ascensão do SAM.

Mecanismo Principal:

1. Normalização por Z-Score por Camada: Para cada camada $\ell$ da rede, os gradientes são normalizados independentemente.

   • Calcula-se a média ($\mu$) e o desvio padrão ($\sigma$) dos gradientes da camada.
   • O gradiente normalizado é dado por: $\Omega(g^{(\ell)})_i = \frac{g^{(\ell)}_i - \mu(g^{(\ell)})}{\sigma(g^{(\ell)})}$.
   • Isso padroniza os gradientes, destacando componentes que se desviam significativamente da média estatística da camada.

2. Filtragem por Percentil (Máscara Binária):

   • Em vez de usar todos os componentes, constrói-se uma máscara binária $m$ que retém apenas os componentes com os maiores Z-scores absolutos.
   • Um hiperparâmetro de percentil $Q_p$ controla a fração de componentes mantidos. Por exemplo, se $Q_p = 0.95$, apenas os top 5% dos componentes com maior magnitude relativa são mantidos.
   • A máscara é aplicada ao gradiente original: $\nabla L(w)_\Omega = \nabla L(w) \odot m$.

3. Passo de Ascensão Modificado:

   • A perturbação $\epsilon$ no SAM é calculada usando o gradiente filtrado $\nabla L(w)_\Omega$ em vez do gradiente completo.
   • Se o gradiente filtrado for nulo, o método recua para o gradiente original (para garantir estabilidade).
   • A atualização de pesos subsequente (minimização) permanece idêntica ao SAM padrão.

3. Contribuições Chave

• Filtragem Estatística Inteligente: Introduz o uso de Z-scores para identificar componentes de gradiente estatisticamente significativos, ignorando o ruído de baixa magnitude que prejudica a estimativa de nitidez (sharpness).
• Simplicidade e Compatibilidade: O método adiciona apenas um hiperparâmetro ($Q_p$, o percentil de corte) e não requer alterações na arquitetura da rede ou no otimizador base (funciona com SGD, Adam, etc.).
• Garantias Teóricas de Convergência: Os autores provam que o ZSharp mantém as garantias de convergência do SAM padrão. Sob as mesmas suposições de suavidade ($\beta$-smoothness) e variância limitada, o método ainda converge para pontos estacionários, demonstrando que a filtragem não prejudica a estabilidade matemática do processo de otimização.
• Desempenho Superior: Demonstra empiricamente que focar em direções de gradiente "destacadas" leva a mínimos mais planos e melhores resultados de generalização.

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados padrão (CIFAR-10, CIFAR-100 e Tiny-ImageNet) utilizando diversas arquiteturas, incluindo ResNet (56 e 110), VGG-16 e Vision Transformers (ViT).

• Comparação: O ZSharp foi comparado com o AdamW (baseline), SAM padrão, ASAM (Adaptive SAM) e Friendly-SAM.
• Desempenho:
  • O ZSharp consistentemente alcançou a maior ou comparável acurácia de teste em todas as configurações.
  • Exemplo (ResNet-56 no CIFAR-10): O ZSharp atingiu 92.64% de acurácia, superando o SAM padrão (91.60%) e o ASAM (92.28%).
  • Exemplo (ViT no CIFAR-10): O ZSharp alcançou 85.43%, superando significativamente o SAM (84.32%) e o ASAM (83.02%).
• Análise de Hiperparâmetro ($Q_p$):
  • A configuração $Q_p = 0.95$ (manter apenas o top 5% dos gradientes) mostrou-se ótima.
  • À medida que $Q_p$ diminui (mantendo mais gradientes), o desempenho se aproxima do SAM padrão, confirmando que a filtragem agressiva é benéfica.
• Generalização vs. Perda de Treino: Curiosamente, o ZSharp apresentou uma perda de treino ligeiramente maior do que outros métodos, mas uma acurácia de teste superior. Isso corrobora a hipótese de que o método evita mínimos agudos (que têm baixa perda de treino mas alta perda de teste) e converge para mínimos mais planos e generalizáveis.

5. Significado e Conclusão

O artigo ZSharp representa um avanço significativo na otimização para aprendizado profundo ao demonstrar que a qualidade da direção de ascensão no SAM é tão importante quanto a magnitude. Ao filtrar estatisticamente o ruído dos gradientes, o método permite que o otimizador foque nas direções de curvatura mais relevantes do espaço de perda.

Impacto:

• Oferece uma solução simples e eficaz para melhorar a generalização em modelos grandes (como Transformers) onde o ruído do gradiente é mais pronunciado.
• Não exige reengenharia de arquiteturas complexas, sendo facilmente integrável em pipelines de treinamento existentes.
• Reforça a ideia de que a "nitidez" (sharpness) deve ser estimada apenas com base nas direções de gradiente estatisticamente significativas, descartando o ruído de fundo.

Em resumo, o ZSharp melhora a robustez e a generalização de redes neurais ao refinar o mecanismo de perturbação do SAM, garantindo que apenas os sinais de gradiente mais fortes e informativos guiem a busca por mínimos planos.