Resumo Técnico: Detecção de Overfitting em Redes Neurais durante Grokking de Longo Horizonte usando Teoria de Matrizes Aleatórias

Declaração do Problema

Treinar redes neurais profundas (NNs) sem overfitting é desafiador, e detectar overfitting é igualmente difícil, particularmente quando não há acesso aos dados de treinamento, dados de teste, estados do otimizador ou históricos de treinamento. Esta é uma questão crítica para modelos base de pesos abertos, onde os usuários podem possuir os pesos e cartões do modelo, mas carecem do contexto para determinar se um checkpoint foi treinado de forma robusta ou se sofreu overfitting em correlações específicas dos dados.

O artigo foca no fenômeno do grokking, onde a precisão de treinamento de um modelo atinge quase a perfeição enquanto a precisão de teste permanece próxima do acaso por um período prolongado antes de melhorar abruptamente. Embora pesquisas anteriores se concentrassem na transição de memorização para generalização, este trabalho investiga o regime de longo horizonte após o grokking. Nesta fase, denominada "anti-grokking", um modelo que generalizou com sucesso pode perder seu desempenho em dados não vistos e reverter ao overfitting de seus dados de treinamento, apesar de manter uma precisão de treinamento quase perfeita. Distinguir esta fase prejudicial de "anti-grokking" da fase inicial de "pré-grokking" (onde o modelo ainda não encontrou uma solução generalizante) é difícil usando apenas curvas padrão de precisão de treinamento/teste, pois ambos os regimes exibem alta precisão de treinamento e baixa precisão de teste.

Metodologia

Os autores propõem um método diagnóstico novel baseado na Teoria de Matrizes Aleatórias (RMT) que opera exclusivamente sobre as matrizes de pesos do modelo, sem exigir acesso a dados.

Conceito Central: Armadilhas de Correlação

O método baseia-se no princípio da auto-média. Em um modelo bem treinado e generalizante, as matrizes de pesos devem exibir propriedades estatísticas consistentes com matrizes aleatórias quando sua estrutura interna é randomizada.

1. Randomização: Para cada matriz de pesos de camada $W$, as entradas são embaralhadas elemento a elemento para criar uma matriz randomizada $W_{rand}$.
2. Análise Espectral: A distribuição espectral empírica (ESD) da matriz de covariância $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$ é computada.
3. Linha de Base Marchenko-Pastur (MP): A ESD é ajustada à distribuição Marchenko-Pastur, que serve como linha de base teórica para uma matriz aleatória não correlacionada e auto-média.
4. Detecção de Armadilhas: Os autores identificam Armadilhas de Correlação como outliers de autovalores ($\lambda_{trap}$) que se situam significativamente além da borda direita da distribuição MP ajustada (considerando flutuações Tracy-Widom).
   • Definição: Uma Armadilha de Correlação é um autovalor $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$.
   • Significado: Esses outliers indicam uma violação da auto-média, sugerindo a presença de correlações estruturadas e não aleatórias dentro da camada que persistem mesmo após o embaralhamento entrada a entrada.

Distinção entre Armadilhas Prejudiciais e Benignas

Como a presença de armadilhas indica não-auto-média, mas não prova inerentemente overfitting prejudicial, os autores introduzem um teste de ablação diagnóstico baseado em Divergência de Jensen-Shannon (JSD) sem dados:

• Procedimento: Uma armadilha específica (autovetor) é substituída por um vetor aleatório. O modelo é então executado em entradas de sonda (tokens aleatórios para transformers, entradas Gaussianas para MLPs).
• Métrica: A JSD entre os logits de saída do modelo original e do modelo abladado é calculada.
• Classificação:
  • Armadilha Prejudicial: Remover a armadilha altera significativamente a distribuição de saída do modelo (alta JSD) e altera a precisão de teste.
  • Armadilha Benigna: Remover a armadilha tem um efeito negligenciável nas saídas e na precisão.

Principais Contribuições

1. Definição de Armadilhas de Correlação: Os autores definem Armadilhas de Correlação como outliers espectrais em matrizes de pesos de camadas embaralhadas que violam a linha de base Marchenko-Pastur, servindo como uma assinatura de estrutura não-auto-média.
2. Identificação de Anti-Grokking: O artigo caracteriza o "anti-grokking" como uma fase distinta que segue a generalização bem-sucedida, onde a precisão de teste degrada enquanto a precisão de treinamento permanece alta. Esta fase é estruturalmente distinta do pré-grokking.
3. Armadilhas de Correlação como Diagnóstico: O estudo demonstra que as Armadilhas de Correlação estão ausentes durante o pré-grokking e o grokking, mas emergem e aumentam em número e escala especificamente durante o início do anti-grokking.
4. Vínculo Mecanístico com Overfitting: Os autores vinculam essas armadilhas à localização (onde a variância é concentrada em um pequeno conjunto de coordenadas) e à condensação espectral (onde um único modo dominante carrega variância macroscópica), ambos os quais impedem que o erro de generalização se concentre.
5. Validação Empírica: O método foi validado em três arquiteturas e tarefas distintas:
   • Um MLP de 3 camadas no MNIST.
   • Um Transformer pequeno em uma tarefa de Adição Modular (MA).
   • Um Transformer estilo GPT2 em uma tarefa de composição sintética.
6. Aplicação a Modelos Base: O diagnóstico foi aplicado a checkpoints de pesos abertos dos modelos gpt-oss-20b e gpt-oss-120b da OpenAI, revelando a presença de Armadilhas de Correlação, sugerindo overfitting potencial em modelos de escala de fronteira.

Resultados

• Separação de Fases: Em todos os três benchmarks (MLP, MA, GPT2), o número de Armadilhas de Correlação permanece efetivamente zero durante o pré-grokking e o grokking. Um aumento agudo na contagem de armadilhas correlaciona-se precisamente com o declínio na precisão de teste durante a fase de anti-grokking.
• Controle por Decaimento de Pesos: Experimentos com decaimento de pesos (WD=0,01) mostraram que, embora o anti-grokking ainda ocorra, o crescimento das Armadilhas de Correlação e a severidade da degradação da precisão de teste são significativamente suprimidos em comparação com a configuração sem decaimento de pesos (WD=0).
• Robustez a Perturbações: Estudos de perturbação confirmaram que as contagens de armadilhas não são meramente um proxy para a escala global (norma) dos pesos. Mesmo quando as normas globais dos pesos foram alteradas, as armadilhas permaneceram ausentes no pré-grokking/grokking e apareceram apenas no anti-grokking.
• Insight Mecanístico (MLP): No estudo de caso do MLP, direções de armadilhas localizadas foram encontradas evoluindo para estruturas "semelhantes a protótipos" no espaço de pixels. Essas estruturas fizeram com que o modelo dependesse da magnitude global de entrada (e.g., $\|x\|^2$) em vez de padrões semânticos de dígitos, levando a um comportamento frágil em entradas embaralhadas ou Gaussianas, enquanto mantinha precisão de treinamento perfeita.
• Ablação JSD: O diagnóstico JSD distinguiu com sucesso entre armadilhas que, quando removidas, degradaram o desempenho do modelo (prejudiciais) e aquelas que tiveram pouco efeito (benignas).

Significado e Alegações

O artigo alega que Armadilhas de Correlação fornecem um diagnóstico prático, baseado apenas em pesos, para detectar assinaturas de overfitting potencialmente prejudicial em modelos treinados sem acesso a dados de treinamento ou teste.

• Distinção Estrutural: O principal significado é a capacidade de distinguir estruturalmente entre um modelo que ainda não aprendeu (pré-grokking) e um modelo que aprendeu e depois desaprendeu/generalizou mal (anti-grokking). Ambos os estados parecem idênticos via métricas de precisão, mas diferem fundamentalmente em seus espectros de pesos.
• Triagem de Modelos Base: A detecção de Armadilhas de Correlação em grandes LLMs de pesos abertos sugere que modelos de escala base podem, inadvertidamente, sofrer overfitting em seus dados de treinamento de maneiras que são detectáveis via análise espectral.
• Utilidade Regulatória e Prática: Os autores sugerem que este método poderia servir como uma ferramenta imparcial para órgãos reguladores ou usuários avaliarem a segurança e robustez do modelo, particularmente quando dados proprietários não estão disponíveis.
• Limitações: Os autores notam modestamente que suas evidências provêm de configurações controladas de grokking de longo horizonte. Eles não alegam que todo overfitting produz Armadilhas de Correlação, nem afirmam que a presença de armadilhas em modelos de fronteira prova definitivamente comportamento prejudicial sem avaliação adicional baseada em tarefas. A contagem de armadilhas é um sinal de alerta, não uma pontuação de qualidade universal.