Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

Resumo Técnico: Caracterização da Dinâmica de Treinamento Dependente de Otimizador através do Deslocamento e Localização de Autovetores de Hessian

Definição do Problema
Compreender o treinamento de redes neurais permanece um desafio devido à natureza de alta dimensão e não convexa do panorama de perda (loss landscape). Embora a matriz Hessian (a matriz das segundas derivadas da perda em relação aos parâmetros) seja uma ferramenta padrão para analisar a dinâmica de treinamento, a generalização e a nitidez (sharpness), a maior parte dos trabalhos anteriores foca nos autovalores da Hessian (magnitude da curvatura) ou na estabilidade do subespaço de autovetores superiores ($top-k$) como um todo. Existe uma lacuna crítica na compreensão da evolução dos autovetores individuais de maior ordem, que codificam as direções específicas de curvatura no espaço de parâmetros. Não está claro se esses autovetores se estabilizam, derivam ou se reorganizam durante o treinamento com mini-lotes (mini-batches), e se diferentes otimizadores induzem trajetórias geométricas qualitativamente distintas através do panorama de perda.

Metodologia
Os autores investigam a evolução dependente do tempo dos principais autovetores da Hessian, $\{v^{(i)}(t)\}$, durante o treinamento de Perceptrons Multicamadas (MLPs) nos conjuntos de dados MNIST e FashionMNIST. O estudo compara três otimizadores: Gradiente Descendente Estocástico (SGD), Adam e Sharpness-Aware Minimization (SAM).

Para quantificar a dinâmica dos autovetores, o artigo utiliza duas métricas complementares:

1. Deslocamento de Autovetor: Inspirado em análises de sistemas vítreos (glassy systems), esta métrica mede a distância euclidiana ao quadrado entre um autovetor em um tempo inicial $t_w$ e seu estado após um tempo de espera $t$. Isso atua como uma função de correlação de dois tempos para distinguir entre dinâmicas estacionárias e comportamento de "envelhecimento" (aging), onde a taxa de mudança depende da idade do treinamento. Um modelo nulo aleatório, baseado na Hessian esperada sob uma inicialização de parâmetros aleatória, serve como base para a descorrelação completa.
2. Razão de Participação Inversa (IPR): Esta métrica quantifica a localização da massa do autovetor. Um valor de IPR próximo de $1/N$ (onde $N$ é o número de parâmetros) indica delocalização (espalhamento uniforme), enquanto valores próximos de $O(1)$ indicam localização (concentração em um pequeno subconjunto de parâmetros). Neste contexto, o IPR mede como a sensibilidade à curvatura é distribuída através dos pesos da rede.

Os experimentos utilizam um MLP totalmente conectado de 3 camadas treinado com mini-lotes. A Hessian é avaliada no conjunto de dados completo em intervalos, e os autovetores são computados via iteração de Lanczos usando produtos Hessian-vetor para evitar a formação da matriz completa.

Principais Resultados
O estudo revela comportamentos claros e dependentes do otimizador tanto no deslocamento quanto na dinâmica de localização:

• Deslocamento e Estabilidade:

  • SGD: Exibe comportamento de "envelhecimento", onde o autovetor principal ($v^{(1)}$) muda rapidamente inicialmente, mas estabiliza progressivamente. O deslocamento satura abaixo da base de referência aleatória, indicando que o SGD leva a direções de curvatura progressivamente mais estáveis.
  • Adam: Mostra uma reorganização substancialmente mais forte. O deslocamento do autovetor achata próximo à base de referência aleatória, sugerindo uma descorrelação quase completa e um deslocamento persistente das direções de curvatura principais ao longo do treinamento.
  • SAM: Exibe um comportamento intermediário, com uma deriva mais lenta, porém persistente, em comparação ao SGD.
  • Estas dinâmicas são robustas a variações de tamanho de lote e taxa de aprendizado, exceto no regime de lote total (full-batch).

• Localização (IPR):

  • Adam: Induz um fenômeno de forte localização onde o autovetor principal torna-se concentrado em um pequeno subconjunto de parâmetros (IPR $\approx 0.1$). Isso sugere que, sob o Adam, um pequeno subconjunto de pesos contribui desproporcionalmente para as direções de curvatura principais.
  • SGD: Mostra uma tendência de deslocalização, com valores de IPR diminuindo em direção à base uniforme ($1/N$), indicando que a sensibilidade à curvatura se espalha mais uniformemente entre os parâmetros.
  • SAM: Exibe uma localização ligeiramente maior que o SGD, mas mantém baixa variância entre as execuções.

• Alinhamento: O artigo observa que, embora os gradientes geralmente se alinhem com os autovetores superiores, o alinhamento da atualização do Adam permanece baixo (abaixo de 0.1), provavelmente devido ao seu parâmetro de momento, enquanto as atualizações de SGD e SAM alinham-se mais proximamente com o gradiente.

Significância e Alegações
O artigo afirma que o rastreamento da dinâmica dos autovetores da Hessian captura diferenças fundamentais no comportamento dos otimizadores que não são visíveis através da análise espectral isolada. A principal significância reside em demonstrar que:

1. A Escolha do Otimizador dita a Geometria: Diferentes otimizadores não apenas atravessam o mesmo panorama em velocidades diferentes; eles induzem formas qualitativamente distintas de exploração do panorama. O SGD estabiliza as direções de curvatura, enquanto o Adam as reorganiza continuamente.
2. Localização como uma Estatística Estável: Apesar da mistura de autovetores sob o Adam, a métrica de localização (IPR) permanece uma estatística estável durante o treinamento. Isso sugere que, mesmo quando as direções específicas de curvatura rotacionam, a natureza da curvatura (se ela é impulsionada por poucos parâmetros ou distribuída) permanece consistente para um determinado otimizador.
3. Implicações para Análise: Estas descobertas sugerem que instabilidades de autovetores podem facilitar a otimização ao permitir a exploração de novas regiões do panorama de perda. Além disso, a localização observada sob o Adam pode ter implicações práticas para podagem (pruning) direcionada e quantificação de incerteza, pois identifica subconjuntos específicos de pesos que dominam as direções mais convexas.

Os autores concluem que estas dinâmicas são robustas a variações de hiperparâmetros (dentro dos regimes de mini-lote) e que trabalhos futuros podem aproveitar estas observações para melhorar a dinâmica dos otimizadores e explorar a redundância de parâmetros.