Resumo Técnico: Grokking ou Falha? Como Baixa Precisão Impulsiona Picos de Perda tipo Estilingue

1. Declaração do Problema

Redes neurais profundas treinadas sem regularização explícita frequentemente exibem um fenômeno conhecido como "Grokking", onde os modelos alcançam generalização súbita muito depois de atingir precisão perfeita no treinamento. Esse processo é frequentemente acompanhado pelo Mecanismo de Estilingue: instabilidades periódicas caracterizadas pelo crescimento rápido, quase exponencial, da norma dos parâmetros da última camada, seguidos por picos abruptos na perda de treinamento.

Embora a literatura existente atribua esses picos a dinâmicas intrínsecas de otimização — como a Borda da Estabilidade (EOS) ou interações entre escalas de gradiente e otimizadores adaptativos —, o mecanismo de gatilho preciso permanece incerto. Este artigo investiga se essas instabilidades são inerentes à paisagem de otimização ou artefatos da aritmética de precisão finita.

2. Metodologia e Marco Teórico

Os autores propõem que o Mecanismo de Estilingue não é um fenômeno de otimização intrínseco, mas sim um resultado dos limites de precisão da aritmética de ponto flutuante durante o cálculo da perda de Entropia Cruzada (CE).

2.1 Colapso do Softmax (SC)

O cerne do mecanismo reside no erro de absorção inerente à adição em ponto flutuante. À medida que o treinamento avança e o modelo entra em um regime de alta confiança (precisão perfeita no treinamento), o logit da classe correta ($z_r$) torna-se significativamente maior que os logits das classes incorretas ($z_k$).

• No cálculo do Softmax, o denominador envolve uma operação log-sum-exp: $Z = \log(\sum \exp(z_k))$.
• Quando a margem $z_r - \max_{k \neq r} z_k$ excede um limiar determinado pela precisão da mantissa (por exemplo, $\approx 16$ para float32), os termos menores são absorvidos pelo termo maior devido à precisão limitada.
• Consequentemente, a probabilidade computada para a classe correta torna-se exatamente 1, e o gradiente em relação ao logit da classe correta, $\partial L / \partial z_r$, arredonda para exatamente zero. Esse fenômeno é denominado Colapso do Softmax (SC).

2.2 Quebra da Restrição de Soma Zero

Em aritmética exata, a soma dos gradientes em todas as classes para uma única amostra é zero ($\sum_k \nabla_{W_k} L = 0$), garantindo que a média global dos pesos do classificador ($W_G$) permaneça estática.

• Sob SC, o gradiente para a classe correta desaparece, enquanto os gradientes para as classes incorretas permanecem não nulos (embora pequenos).
• Isso quebra a restrição de soma zero, introduzindo um desvio líquido na atualização da média global do classificador $W_G$. Especificamente, $W_G$ desvia na direção de $-\mu_G$, onde $\mu_G$ é a média global das características da camada penúltima.

2.3 Inflação Numérica de Características (NFI)

O artigo identifica um ciclo de realimentação positiva denominado Inflação Numérica de Características (NFI):

1. O desvio em $W_G$ altera o fluxo de gradiente de volta para a camada de características.
2. A média das características $\mu_G$ recebe um desvio na direção de $-W_G$.
3. Isso cria uma dinâmica acoplada onde $W_G$ e $\mu_G$ tornam-se antiparalelos, e suas normas crescem exponencialmente.
4. À medida que essas normas crescem, a margem para algumas amostras (particularmente outliers) eventualmente cai abaixo do limiar de absorção, fazendo com que o gradiente da classe correta reapareça abruptamente.

2.4 O Pico do Estilingue

O reaparecimento do gradiente da classe correta dispara o pico de perda:

• Antes do pico, o gradiente da classe correta é zero e os gradientes das classes incorretas são minúsculos. O acumulador de segundo momento do otimizador Adam ($v_t$) decai, fazendo com que a taxa de aprendizado efetiva ($\eta / \sqrt{v_t + \epsilon}$) se torne extremamente grande.
• Quando o gradiente reaparece subitamente, essa taxa de aprendizado efetiva massiva resulta em uma atualização de parâmetros desproporcionalmente grande, levando a perda de volta aos níveis de adivinhação aleatória (o "Estilingue").

3. Contribuições Principais

1. Explicação Teórica do Estilingue: O artigo fornece uma prova rigorosa de que o Mecanismo de Estilingue é um artefato numérico causado pelo cálculo de perda CE de precisão finita, ligando-o especificamente ao Colapso do Softmax e à subsequente quebra da restrição de gradiente de soma zero.
2. Identificação da NFI: Os autores definem a Inflação Numérica de Características (NFI), um ciclo de realimentação entre a média global do classificador e a média global das características, que impulsiona o crescimento exponencial das normas de parâmetros observado antes dos picos de perda.
3. Distinção de Dinâmicas Intrínsecas: O trabalho demonstra que o Estilingue é distinto da Borda da Estabilidade (EOS). Enquanto a EOS envolve oscilações devido à curvatura do Hessiano, o Estilingue ocorre em regimes onde os autovalores do Hessiano desaparecem (regime de interpolação) e é eliminado pelo aumento da precisão.
4. Intervenções Práticas: O artigo propõe e valida métodos para suprimir a NFI, incluindo:
   • Uso de float64 para cálculo de perda (eliminando erros de absorção).
   • Aplicação da restrição de soma zero via projeção de gradiente.
   • Aplicação de Normalização de Lote (Batch Normalization) imediatamente antes do classificador final para remover o componente de média global.
   • Aumento do parâmetro $\epsilon$ do Adam para limitar a taxa de aprendizado efetiva.

4. Resultados Experimentais

Os autores validam sua teoria em múltiplas arquiteturas (MLP, VGG11, ResNet18, ViT, Transformers) e conjuntos de dados (Aritmética Modular, CIFAR-10, FineWeb para LLMs).

• Sensibilidade à Precisão: A troca do cálculo de perda para float64 elimina completamente os picos de Estilingue, mesmo quando os parâmetros do modelo permanecem em float32. Isso confirma que a instabilidade origina-se no cálculo da perda, não nas dinâmicas do modelo.
• Dependência Arquitetural: O fenômeno é observado na maioria das arquiteturas, mas está notavelmente ausente no ResNet18. Os autores atribuem isso à capacidade do ResNet18 de reduzir a massa de probabilidade residual ($\epsilon$) rapidamente o suficiente para impedir que o ciclo de realimentação NFI entre no regime de crescimento exponencial antes que o modelo se estabilize.
• Mitigação:
  • Normalização de Camada (LN) aplicada antes do classificador falha em mitigar o efeito e pode acelerar os picos ao restringir as normas das características.
  • Normalização de Lote (BN) aplicada imediatamente antes da camada linear final elimina com sucesso os picos ao centralizar as características e remover o componente de desvio.
  • Suavização de Rótulos (Label Smoothing) elimina picos induzidos por precisão, mas introduz uma instabilidade diferente relacionada à Borda da Estabilidade devido a autovalores do Hessiano não nulos.
• Contexto de LLM: No treinamento de Modelos de Linguagem Grandes, embora picos de Estilingue em lote completo sejam raros devido à estocasticidade de mini-lotes, o mecanismo NFI ainda impulsiona o crescimento anormal de logits. Os autores observam que, na modelagem de linguagem, desequilíbrios na frequência de tokens (Lei de Zipf) podem criar uma média global $W_G$ grande mesmo sem colapso numérico, levando a uma dinâmica diferente onde baixa precisão pode suprimir parcialmente a divergência induzida por frequência.

5. Significado e Alegações

O artigo reinterpreta o Mecanismo de Estilingue não como um comportamento de otimização misterioso, mas como uma dinâmica numérica de treinamento de precisão finita.

• Reinterpretação do Fluxo de Gradiente: Os resultados destacam uma lacuna entre análises teóricas de fluxo de gradiente (que assumem precisão infinita e frequentemente preveem crescimento logarítmico de normas) e o treinamento prático, onde erros numéricos podem impulsionar crescimento exponencial.
• Estabilidade no Treinamento de Baixa Precisão: À medida que o campo migra para precisões mais baixas (BF16, FP8, FP4) para treinamento em grande escala, entender a NFI é crítico. Os autores argumentam que erros numéricos no cálculo de log-probabilidades representam um modo de falha distinto que pode desestabilizar o treinamento, separado de erros de quantização em multiplicação de matrizes ou sumidouros de atenção.
• Escopo Moderado: Os autores reconhecem limitações, observando que sua análise depende da suposição do Modelo de Características Não Confinadas e investiga principalmente a interação entre a última camada e as características penúltimas. Eles não afirmam explicar todas as formas de instabilidade de treinamento, mas visam especificamente os picos de perda periódicos observados em treinamento de longo prazo sem regularização.

Em conclusão, o artigo afirma que o Estilingue é uma falha, não um recurso, impulsionado pelos erros de absorção da aritmética de ponto flutuante, e oferece explicações concretas e testáveis e intervenções para o crescimento anormal de parâmetros no estágio tardio do treinamento.