Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

Resumo Técnico: Explicando a Regularização Baseada em f-Divergência via Curvatura Local e Minimização Consciente de Acurácia (Sharpness-Aware Minimization)

Enunciado do Problema
No contexto de agentes de aprendizado contínuo (lifelong learning) e aprendizado profundo geral, alcançar uma generalização robusta requer o controle do sobreajuste (overfitting) e da sensibilidade local. Duas abordagens proeminentes para isso são a regularização baseada em divergência (que penaliza discrepâncias entre distribuições preditivas em entradas originais e perturbadas) e a Minimização Consciente de Acurácia (SAM), que busca parâmetros com paisagens de perda planas. Embora ambos os métodos sejam motivados pela robustez a perturbações, sua relação teórica permanece amplamente inexplorada. Especificamente, não está claro se a geometria local induzida por um regularizador de divergência pode ser formalmente relacionada à estrutura do Hessiano que o SAM controla implicitamente.

Metodologia
O artigo estabelece um quadro teórico unificado analisando a geometria local de segunda ordem da regularização por $f$-divergência. Os autores procedem através dos seguintes passos:

1. Expansão Quadrática Local: Eles derivam uma expansão de Taylor de segunda ordem para $f$-divergências quando a distribuição preditiva do modelo $P$ e uma distribuição perturbada $Q$ estão próximas. Eles mostam que, neste regime local, qualquer $f$-divergência reduz-se a uma penalidade quadrática escalonada por $\phi''(1)/2$.
2. Interpretação Geométrica:
   • Espaço de Parâmetros: Quando as perturbações ocorrem no espaço de parâmetros ($\theta \to \theta + \delta$), o regularizador induz uma penalidade proporcional a $\delta^\top F_x(\theta) \delta$, onde $F_x(\theta)$ é a matriz de informação de Fisher.
   • Espaço de Entrada: Quando as perturbações ocorrem no espaço de entrada ($x \to T(x)$), o regularizador induz uma forma quadrática de "pullback" envolvendo o gradiente da densidade em relação à entrada.
3. Conexão com SAM: O SAM é mostrado como uma aproximação local de uma penalidade de curvatura espectral proporcional ao autovalor dominante do Hessiano ($\lambda_{\max}(H)$). O artigo demonstra que, para objetivos de log-verossimilhança negativa (NLL) com distribuições de família exponencial (por exemplo, entropia cruzada com softmax), a matriz de Fisher coincide com a matriz de Gauss-Newton Generalizada (GGN), que captura a componente semidefinida positiva do Hessiano. Assim, a regularização baseada em divergência e o SAM tornam-se localmente comparáveis através de uma geometria de curvatura compartilhada.
4. Ambiente de Teste Empírico Controlado: Para validar essas afirmações teóricas, os autores utilizam a família de divergência JSD $\alpha$-skew assimétrica. O coeficiente de curvatura local para esta família escala como $\alpha(1-\alpha)$, atingindo o máximo no ponto simétrico $\alpha = 1/2$. Isso permite um experimento controlado onde a força da penalização de curvatura é variada sem alterar a estrutura fundamental do regularizador.

Principais Contribuições

• Expansão Local Unificada: O artigo deriva uma expansão de segunda ordem local para a regularização por $f$-divergência, demonstrando que ela induz penalidades sensíveis à curvatura determinadas pela geometria de Fisher no espaço de parâmetros e por uma métrica de pullback no espaço de entrada.
• Elo Formal com SAM: Estabelece que, sob suposições probabilísticas padrão (especificamente NLL com famílias exponenciais), a geometria induzida pela regularização de divergência é localmente comparável às interpretações de segunda ordem do SAM via relação Fisher/GGN/Hessiano.
• Estrutura de Perturbação Geral: A análise estende-se às perturbações no espaço de entrada, mostrando que a regularização baseada em divergência oferece um quadro de perturbação mais geral do que o SAM padrão (que é tipicamente definido via perturbações de parâmetros), mantendo a mesma interpretação de sensibilidade local.
• Derivação do Coeficiente de Curvatura: Para a família JSD $\alpha$-skew assimétrica, os autores derivam explicitamente que o coeficiente de curvatura local é proporcional a $\alpha(1-\alpha)$, identificando o caso simétrico ($\alpha=1/2$) como o regime de penalização de curvatura máxima.

Resultados
A validação empírica foi realizada em quatro conjuntos de dados de referência (CIFAR-10, Fashion-MNIST, EMNIST e Oxford-IIIT Pet) usando um modelo EfficientNet-B2 com perturbações no espaço de entrada (máscara aleatória).

• Tendências de Desempenho: Em todos os conjuntos de dados, o desempenho do modelo (medido por acurácia e Log-Verossimilhança Negativa) foi consistentemente melhor próximo ao regime simétrico $\alpha = 1/2$. Isso se alinha com a previsão teórica de que a penalização de curvatura local mais forte (maximizada em $\alpha=1/2$) produz uma generalização superior.
• Visualização da Paisagem de Perda: Visualizações da paisagem de perda no CIFAR-10 utilizando ResNet-18 revelaram que os modelos treinados com regularização de divergência convergem para mínimos locais mais planos em comparação com o baseline. Além disso, o modelo treinado com a configuração simétrica ($\alpha=0.5$) exibiu a bacia mais plana, correspondendo à maior penalização de curvatura, enquanto a configuração assimétrica ($\alpha=0.9$) mostrou uma planicidade intermediária.
• Métricas Estatísticas: A análise quantitativa das estatísticas da paisagem de perda (perda média, traço do quadrado do Hessiano e autovalor máximo) confirmou que a configuração simétrica $\alpha=0.5$ resultou na menor perda média e reduziu as métricas de curvatura em comparação tanto com o baseline quanto com as configurações altamente assimétricas.

Significância e Alegações
O artigo afirma esclarecer a relação entre a regularização baseada em divergência e a minimização consciente de acurácia a partir de uma perspectiva geométrica local. Ele postula que, embora os dois métodos não sejam identicamente objetivos, eles se alinham localmente através de uma geometria de curvatura comum quando suposições probabilísticas específicas são atendidas.

Os autores enquadram modestamente sua contribuição como primordialmente analítica. Eles esclarecem quando a regularização baseada em divergência, a geometria de Fisher e os objetivos conscientes de acurácia tornam-se localmente comparáveis. O estudo empírico foca em validar a perspectiva de curvatura local mais ampla dentro do contexto específico da família JSD $\alpha$-skew e perturbações de entrada, em vez de alegar uma equivalência experimental direta ao SAM em todos os cenários. O trabalho sugere que a força da curvatura local induzida é um fator significativo na eficácia da regularização baseada em divergência, sendo que o regime simétrico oferece o desempenho ideal nos cenários testados.