Resumo Técnico: Repulsão de Recursos e Bloqueio Espectral

Declaração do Problema

O "grokking"—o fenômeno em que redes neurais transitam abruptamente da memorização para a generalização muito depois que a perda de treinamento atingiu um platô—tem sido explicado através de diversas lentes, incluindo interpretabilidade mecânica e regularização implícita. Tian [2025] forneceu um framework principiado decompondo a dinâmica do grokking em redes de duas camadas em três estágios, culminando em um estágio de "Aprendizado interativo de recursos" (Estágio III). Dentro deste estágio, o Teorema 6 de Tian postula um "teorema de repulsão": recursos ocultos semelhantes repelem-se mutuamente devido à estrutura fora da diagonal da matriz $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$.

No entanto, o framework de Tian deixou duas questões empíricas sem resposta:

1. Temporização: Em que ponto específico do treinamento este mecanismo de repulsão se torna empiricamente observável?
2. Observabilidade: Este mecanismo se manifesta como uma assinatura mensurável e online em quantidades que os praticantes podem calcular sem diagnósticos offline caros?

Este artigo aborda essas questões testando o Teorema 6 e um observável espectral candidato na configuração exata de adição modular de Tian.

Metodologia

O estudo replica a configuração de adição modular de Tian [2025] ($M=71$ classes, $K=2048$ unidades ocultas, fração de treinamento $p \approx 0.40$) usando otimização Adam com decaimento de peso $\eta$. Os autores empregam dois testes complementares em múltiplas sementes aleatórias:

1. Verificação Direta do Teorema 6:

   • Os autores calculam $B$ exatamente usando a identidade de Woodbury para reduzir a complexidade computacional.
   • Em checkpoints determinísticos, identificam os 200 pares de recursos mais semelhantes com base na similaridade cosseno.
   • Verificam a regra de sinal: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$, onde $P$ é uma matriz de projeção excluindo as colunas $j$ e $\ell$.
   • Esta verificação é realizada em diferentes funções de ativação ($\sigma(x)=x^2$ e $\sigma(x)=\text{ReLU}$).

2. Detecção de Assinatura Espectral:

   • Os autores monitoram a matriz de Gram de janela deslizante das atualizações de parâmetros ($\Delta W$).
   • Rastreiam a razão de lacuna espectral $\sigma_2/\sigma_3$ (a razão entre o segundo e o terceiro autovalor).
   • Um detector baseado em inclinação identifica o momento de "bloqueio" (lock-in) quando esta razão entra em um aumento sustentado, hipotetizando que a repulsão consolida recursos redundantes em uma estrutura de baixo posto (especificamente posto-2).
   • Análises de sensibilidade são conduzidas no tamanho da janela ($W$) e no decaimento de peso ($\eta$).

Principais Resultados

1. Verificação do Teorema 6 (Geral quanto à Ativação)

A regra de sinal do Teorema 6 mantém-se empiricamente em diferentes funções de ativação, confirmando que o mecanismo é geral quanto à ativação.

• $\sigma(x) = x^2$: A correspondência de sinal empírica para os 200 pares mais semelhantes sobe de 0,865 na época 50 para uma saturação firme de 0,985 até a época 300. A saturação ($\ge 0,95$) ocorre consistentemente na época 175 entre as sementes.
• $\sigma(x) = \text{ReLU}$: A regra de sinal também se mantém, saturando ainda mais rápido (1,000 até a época 500).
• Conclusão: O mecanismo de repulsão, governado pela estrutura de $\tilde{F}^\top \tilde{F}$, opera independentemente de a ativação ser uma função de potência ou ReLU.

2. Bloqueio Espectral (Específico quanto à Ativação)

Embora o mecanismo seja geral, a assinatura espectral da atualização de parâmetros é específica quanto à ativação.

• $\sigma(x) = x^2$ (Memorização Focada): O detector baseado em inclinação dispara em 15/15 sementes de grokking na época 174. Há uma separação massiva de magnitude ($229\times$) na razão $\sigma_2/\sigma_3$ de estágio tardio entre sementes de grokking (mediana $\approx 300$) e sementes de controle ($\eta=0$, mediana $\approx 1,31$). O espectro colapsa para posto-2, indicando que os recursos se consolidam em duas direções persistentes.
• $\sigma(x) = \text{ReLU}$ (Memorização Dispersa): O detector dispara em 0/15 sementes de grokking. A separação de magnitude colapsa para $1,4\times$, e o espectro permanece dominado por posto-1 ($\sigma_1 \gg \sigma_2 \approx \sigma_3$).
• Conclusão: A assinatura de bloqueio de posto-2 só emerge no regime de "memorização focada" (ativações de potência) onde os recursos colapsam em picos agudos. No regime de "memorização dispersa" (ReLU), os recursos permanecem distribuídos, impedindo a formação de uma assinatura espectral distinta de posto-2.

3. Controles Metodológicos e Escalonamento

• Sensibilidade ao Tamanho da Janela: O detector requer um tamanho de janela $W \in \{20, 30\}$. Janelas menores ($W \le 10$) produzem falsos positivos em condições de controle.
• Escalonamento de $\eta$: Uma execução estendida em $\eta = 10^{-5}$ confirma a previsão de escalonamento $1/\eta$ de Tian para o tempo de grokking (grokking na época 1527). No entanto, a magnitude do bloqueio ($\sigma_2/\sigma_3$) é significativamente reduzida ($\approx 25$ vs $\approx 300$), sugerindo que a estrutura de posto-2 está incompletamente desenvolvida nesta escala de tempo lenta.
• Detector de Métrica de Nível ($\rho_{tian}$): Uma métrica mais simples baseada na estrutura fora da diagonal da Gram de ativação prevê o início do grokking com tempo de antecedência positivo para $\sigma=x^2$, mas falha em generalizar para ReLU ou diferentes configurações $(M, p)$, marcando o início da dinâmica de recursos em vez do grokking bem-sucedido.

Significado e Afirmações

O artigo traça uma distinção crítica entre estrutura e mecanismo:

1. O Mecanismo (Geral): O Teorema 6 de Tian governa a estrutura de sinal fora da diagonal de $B$ através das propriedades da Gram de recursos $\tilde{F}^\top \tilde{F}$. Este mecanismo é robusto e independente da função de ativação específica $\sigma$.
2. A Assinatura (Específica): A assinatura espectral observável nas atualizações de parâmetros depende de como a repulsão se traduz em atualizações de pesos, o que é mediado pela derivada $\sigma'$.
   • Ativações de potência ($\sigma=x^2$) produzem recursos focados que se consolidam em duas direções, resultando em um bloqueio espectral de posto-2.
   • ReLU produz recursos dispersos que permanecem dominados por posto-1, carecendo da assinatura de bloqueio espectral apesar da presença do mecanismo de repulsão subjacente.

Os autores conectam esta dissociação empírica ao Teorema 5 de Tian, que distingue formalmente entre regimes de memorização focada e dispersa. O artigo conclui que, embora o mecanismo de repulsão seja universal no Estágio III, a abordagem espectral para diagnósticos de grokking é dependente da ativação. Os praticantes não podem assumir que uma única métrica espectral (como $\sigma_2/\sigma_3$) detectará grokking em todas as funções de ativação; a escolha do diagnóstico deve alinhar-se com o regime de memorização específico induzido pela função de ativação.