How Far Can Sharpness and Complexity Jointly Explain Generalization?

Resumo Técnico: Até onde a Nitidez e a Complexidade podem explicar a Generalização?

Enunciado do Problema
Redes neurais profundas frequentemente alcançam um forte desempenho preditivo em regimes altamente sobreparametrizados, criando um abismo entre o sucesso empírico e a compreensão teórica. Limites clássicos baseados em capacidade falham em explicar por que essas redes generalizam bem em dados estruturados enquanto se ajustam facilmente a rótulos aleatórios. Embora a literatura recente tenha identificado a nitidez (sharpness — sensibilidade a perturbações) e a complexidade (tamanho ou conteúdo de informação do modelo) como dois fatores centrais na generalização, o seu poder explicativo conjunto permanece amplamente inexplorado. Avaliações quantitativas existentes têm tratado, em grande parte, as medidas de generalização como preditores escalares individuais, muitas vezes combinando nitidez e complexidade em um único escalar através de formas funcionais prescritas. Essa abordagem deixa aberta a questão de quanto da generalização pode ser explicada pelo par de fatores $(S, C)$ sem se comprometer com uma combinação específica, e se as falhas na predição derivam do próprio framework de dois fatores ou de definições de métricas inadequadas.

Metodologia
Os autores empregam uma análise empírica e conceitual para investigar o escopo explicativo da visão nitidez-complexidade através de diversas arquiteturas e conjuntos de dados.

1. Frameworks de Avaliação:

   • Regressão Linear: Os autores ajustam um modelo linear $Gap = \beta_0 + \beta_S S + \beta_C C + \epsilon$ para avaliar o poder preditivo de pares de métricas. Eles relatam $R^2$ e os sinais dos coeficientes.
   • Análise de Pareto (Taxa de Contradição de Pareto - PCR): Para evitar suposições sobre linearidade, os autores introduzem uma ferramenta de avaliação não paramétrica. Eles verificam se a ordenação induzida pelas métricas $(S, C)$ concorda com a ordenação das lacunas de generalização (generalization gaps). Um "par candidato" consiste em dois modelos onde um possui tanto menor nitidez quanto menor complexidade. Um "par contraditório" ocorre se o modelo com menor $(S, C)$ apresentar uma pior lacuna de generalização. A PCR é a razão entre os pares contraditórios e os pares candidatos. Uma PCR baixa indica forte concordância com a relação monotônica esperada pela visão de dois fatores.

2. Definições de Métricas:

   • Baselines de Nível de Parâmetro: O estudo avalia métricas de escala invariantes existentes, especificamente Adaptive SAM (adapS) para nitidez e Path Norm para complexidade. Estas são comparadas contra baselines não invariantes como o traço da Hessiana e a norma $\ell_2$ dos pesos.
   • Métricas Orientadas à Função: Para abordar a ambiguidade de parametrização (onde diferentes parâmetros resultam na mesma função), os autores propõem métricas definidas mais próximas do espaço funcional:
     • Bayes Sharpness (bayesS): Definida como o aumento normalizado da perda média da posterior. Utiliza uma posterior adaptativa $Q$ com covariância proporcional às magnitudes dos parâmetros para garantir invariância de escala, medindo o aumento real da perda induzido por preditores amostrados, em vez de depender de aproximações de Hessiana.
     • Divergência KL Funcional (func norm): Uma métrica de complexidade derivada da teoria PAC-Bayes. Ela calcula a divergência KL entre as distribuições a priori e a posteriori após mapear as amostras de parâmetros para suas funções induzidas em um conjunto de dados de referência. Isso mede o desvio no comportamento preditivo em vez de valores brutos de parâmetros.

3. Escopo Experimental:
   A avaliação cobre arquiteturas equipadas com normalização (ResNet, VGG, WideResNet), variantes sem normalização (no-BN) e Vision Transformers (ViT). Crucialmente, o estudo inclui configurações "Mistas", onde modelos de diferentes arquiteturas e conjuntos de dados (CIFAR-10 e CIFAR-100) são agrupados para testar a comparabilidade entre arquiteturas e conjuntos de dados.

Principais Contribuições

• Análise do Poder Explicativo Conjunto: O artigo fornece a primeira avaliação quantitativa em larga escala de quão bem a nitidez e a complexidade juntamente explicam a generalização, indo além de medidas de escalar único.
• Inovação Metodológica: A introdução da Análise de Pareto (PCR) como uma ferramenta complementar à regressão linear permite a avaliação da visão de dois fatores sem assumir uma forma funcional específica (linear ou outra) entre $(S, C)$ e a lacuna de generalização.
• Métricas Orientadas à Função: A proposta de Bayes Sharpness e Divergência KL Funcional oferece realizações de nitidez e complexidade que são menos dependentes de representações brutas de parâmetros. Isso aborda a ambiguidade de parametrização, particularmente em arquiteturas com conexões de salto (skip connections) ou camadas de normalização.
• Insights Diagnósticos: O estudo distingue falhas causadas por definições de métricas inadequadas de potenciais limitações intrínsecas do framework de dois fatores.

Resultos

• Limitações de Métricas de Nível de Parâmetro: As baselines de escala invariantes existentes (ex: adapS + path norm) performam razoavelmente bem em redes equipadas com normalização (ex: ResNet18, WideResNet), mas perdem significativamente o poder explicativo quando a normalização é removida (ex: no-BN ResNet18) ou quando os modelos são agrupados entre diferentes arquiteturas. Nestes casos, o $R^2$ da regressão cai, os coeficientes tornam-se negativos e a PCR aumenta (indicando frequentes contradições).
• Sucesso de Métricas Orientadas à Função: O par orientado à função proposto $(bayesS, func norm)$ estende significativamente o escopo explicativo.
  • Ele recupera alto $R^2$ e baixa PCR em configurações sem normalização onde métricas de nível de parâmetro falham (ex: no-BN ResNet18: $R^2$ melhora de 0.07 para 0.83; PCR cai de 77.8% para 1.2%).
  • Mantém o poder preditivo em configurações mistas de cross-arquitetura e cross-dataset, sugerindo que estas métricas fornecem uma base mais estável para comparação do que as métricas de nível de parâmetro.
• Falhas Remanescentes: As métricas orientadas à função falham em fornecer uma explicação completa para Vision Transformers (ViT), particularmente em configurações padrão onde as perdas de teste são extremamente altas. Nestes regimes, a visão de dois fatores produz alta PCR e coeficientes negativos. Os autores sugerem que isso pode ser devido ao fato de as métricas não serem totalmente de nível de função (a Bayes Sharpness ainda depende de perturbações no espaço de parâmetros) ou porque esses modelos operam fora do regime de generalização significativo onde os limites PAC-Bayes são frouxos.
• Insuficiência de Fator Único: A análise de fator único confirma que nem a nitidez nem a complexidade sozinhas são suficientes para explicar a generalização, apoiando a necessidade da visão de dois fatores.

Significância e Alegações
O artigo alega que a perspectiva de nitidez-complexidade é uma lente informativa para entender a generalização em diversos cenários, mas não afirma ser uma teoria completa.

• Refinando a Visão: Os resultados sugerem que muitas falhas aparentes da visão de dois fatores devem-se a limitações nas definições de métricas (especificamente, a dependência de representações de nível de parâmetro) em vez de falhas intrínsecas no framework em si. Ao mover-se para definições orientadas à função, o escopo explicativo pode ser significativamente expandido.
• Questões em Aberto: As falhas remanescentes (ex: em ViT) indicam que as realizações atuais ainda não são completas. Os autores postulam duas possibilidades: ou são necessárias definições de nível de função mais robustas para a nitidez e complexidade para estender o escopo, ou o framework de dois fatores é intrinsecamente incompleto e requer fatores adicionais além de $(S, C)$ para explicar totalmente a generalização.
• Utilidade Prática: Métricas com forte poder explicativo podem servir como ferramentas diagnósticas para comparação de modelos, seleção de hiperparâmetros e design de penalidades de regularização.

Em resumo, o trabalho caracteriza quantitativamente os limites do framework de nitidez-complexidade, demonstrando que, embora seja uma ferramenta explicativa poderosa, sua eficácia é contingente de como esses fatores são realizados e medidos.