Resumo Técnico: Corrija a Perda, Não o Raio: Repensando a Perturbação Adversarial do Minimização Consciente de Agudeza

1. Declaração do Problema

Redes Neurais Profundas (DNNs) frequentemente sofrem de superparametrização e paisagens de perda não convexas, levando a numerosos ótimos locais com capacidades de generalização variadas. A hipótese predominante sugere que "mínimos planos" (regiões com baixa curvatura) generalizam melhor do que "mínimos agudos". A Minimização Consciente de Agudeza (SAM) foi proposta para abordar isso, minimizando a perda no pior caso dentro de um raio fixo no espaço de parâmetros $\rho$.

No entanto, os autores identificam uma incompatibilidade ao nível do mecanismo fundamental no SAM e em suas variantes:

• O Ideal: A planicidade é inerentemente uma propriedade de segunda ordem, caracterizada pela curvatura local (Hessiana) da paisagem de perda.
• A Realidade: O SAM constrói seu objetivo adversarial usando uma aproximação linear de primeira ordem. Dentro de um raio fixo $\rho$, a perturbação está alinhada com a direção do gradiente. Consequentemente, o sinal de aprendizado resultante é dominado pela norma do gradiente ($\rho \|\nabla L(w)\|$) em vez da curvatura.
• A Consequência: Como a norma do gradiente domina o sinal, a eficácia do SAM é largamente adiada para os estágios tardios do treinamento, quando os gradientes naturalmente se tornam pequenos o suficiente para que os termos de curvatura se tornem comparáveis. Isso cria uma discrepância entre o mecanismo de treinamento e o objetivo de encontrar mínimos planos ao longo de todo o processo de otimização.

2. Metodologia: SAM Equacionado à Perda (LE-SAM)

Para resolver essa incompatibilidade, os autores propõem o SAM Equacionado à Perda (LE-SAM), uma reformulação ao nível do mecanismo que inverte o paradigma tradicional do SAM. Em vez de fixar o raio de perturbação no espaço de parâmetros, o LE-SAM fixa um orçamento no espaço de perda $\sigma$.

Mecanismo Central

Inspirado pelo passo de Polyak clássico, o LE-SAM escalariza a variação de perda de primeira ordem.

1. Orçamento Fixo: Em vez de fixar $\rho$, o algoritmo fixa um aumento de perda alvo $\sigma$ no espaço de perda.
2. Cálculo Reverso do Raio: O raio de perturbação $\rho_t$ é calculado dinamicamente para garantir que a variação de perda de primeira ordem corresponda ao orçamento $\sigma$:
   $$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$$
   onde $\varrho$ é uma constante pequena para estabilidade numérica.
3. Perda Surrogada: Ao substituir esse raio adaptativo de volta na expansão de Taylor da perda, o termo de primeira ordem torna-se um escalar constante $\sigma$:
   $$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{escalar constante}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$$
   Como $\nabla_w \sigma = 0$, a penalidade da norma do gradiente é efetivamente removida do sinal de otimização. O sinal de aprendizado é deslocado inteiramente para o termo de curvatura de segunda ordem ($\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$).

Estratégias de Estabilização

Para prevenir instabilidade quando as normas dos gradientes são pequenas (o que poderia levar a $\rho_t$ excessivamente grandes), o LE-SAM emprega duas salvaguardas:

• Limitação do Raio: Um raio máximo $\rho_{max}$ é imposto.
• Recozimento do Orçamento de Perda: O orçamento $\sigma$ é gradualmente recozido para 0 durante os estágios finais do treinamento (por exemplo, via decaimento cosseno) para garantir convergência suave.

3. Contribuições Principais

O artigo afirma as seguintes contribuições:

1. Identificação de Incompatibilidade de Objetivo: Os autores demonstram que a perturbação adversarial no SAM padrão é gerada através de um surrogado linearizado de primeira ordem sob uma restrição de raio fixo, fazendo com que o sinal de aprendizado seja dominado pela magnitude do gradiente em vez da curvatura de segunda ordem necessária para mínimos planos.
2. Proposição do LE-SAM: Uma reformulação ao nível do mecanismo que fixa o orçamento de perda em vez do raio. Isso escalariza a variação de primeira ordem, removendo a dominância da norma do gradiente e deslocando o sinal de otimização para termos dominados pela curvatura ao longo de todo o processo de treinamento.
3. Superioridade Empírica: Experimentos extensivos mostram que o LE-SAM supera consistentemente o SAM padrão e suas variantes (incluindo ASAM, ESAM, F-SAM e Eigen-SAM) em diversos benchmarks, alcançando desempenho de última geração (SOTA).

4. Resultados Experimentais

Os autores avaliaram o LE-SAM em múltiplas tarefas e conjuntos de dados:

• Treinamento do Zero:
  • CIFAR-10/100: Usando ResNet-18, WideResNet-28-10 e PyramidNet-110, o LE-SAM alcançou a maior precisão entre todas as variantes do SAM. No CIFAR-100, superou o SAM padrão em 1,34 a 1,49 pontos.
  • ImageNet: Treinando ResNet-50 e ResNet-101 do zero, o LE-SAM superou o SAM em 0,71 e 0,77 pontos, respectivamente.
• Aprendizado por Transferência: Ajuste fino de um ViT-B-16 pré-treinado no CIFAR-10/100, o LE-SAM consistentemente superou o SAM.
• Generalização de Domínio (SDG): Nos conjuntos de dados PACS e VLCS, o LE-SAM melhorou a precisão média em 2,18 e 0,84 pontos sobre o SAM, respectivamente.
• Robustez: Sob ataques adversariais PGD $L_2$ e $L_\infty$, o LE-SAM demonstrou maior robustez, superando o SAM em até 2,47 pontos.
• Aprendizado de Cauda Longa: No CIFAR-100-LT, combinando LE-SAM com o método SOTA GLMC, houve melhorias adicionais sobre GLMC+SAM.

Análise do Mecanismo

• Métricas de Planicidade: Análise do traço da Hessiana e do autovalor superior confirmou que o LE-SAM converge para mínimos mais planos (menor traço da Hessiana e autovalor máximo) em comparação com SAM e SGD.
• Dinâmica de Treinamento: Diferentemente do SAM, que mostra ganhos significativos apenas no estágio tardio do treinamento, o LE-SAM demonstrou lacunas substanciais de desempenho ao longo de todo o processo de treinamento, validando que o sinal de curvatura está ativo desde o início.
• Custo Computacional: O LE-SAM mantém a mesma complexidade assintótica do SAM (duas passagens para frente e para trás por iteração) com sobrecarga negligenciável para o cálculo do raio dinâmico.

5. Significado e Afirmações

O artigo argumenta que a limitação primária dos métodos existentes de Minimização Consciente de Agudeza é sua dependência de uma aproximação de primeira ordem com raio fixo, que inadvertidamente prioriza a magnitude do gradiente sobre a curvatura. Ao "corrigir a perda, não o raio", o LE-SAM repensa fundamentalmente o mecanismo de perturbação adversarial.

Os autores afirmam que essa abordagem fornece uma visão unificada da aprendizagem consciente de agudeza que é intrinsecamente consciente da curvatura. Ao desacoplar o tamanho da perturbação da norma do gradiente, o LE-SAM oferece um caminho mais direto e robusto para regiões planas, resultando em desempenho de generalização superior em diversas arquiteturas, conjuntos de dados e cenários de treinamento (incluindo aprendizado por transferência e generalização de domínio) sem incorrer em sobrecarga computacional significativa.