📊 statistics

A Stochastic--Geometric Theory of Scaling Laws in Grokking

Este artigo propõe uma teoria estocástico-geométrica explicando o grokking como uma transição induzida pela otimização de uma casca de memorização para um núcleo de generalização dentro do espaço de parâmetros do Adam, derivando e validando leis de escala para o tempo de atraso com base na taxa de aprendizado, tamanho do lote e regularização.

Autores originais: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um personagem de videogame tentando resolver um quebra-cabeça difícil. No início, o personagem corre freneticamente, memorizando cada passo do caminho que acabou de percorrer. Eles zeram a pontuação instantaneamente, mas não aprenderam de fato as regras; apenas memorizaram o mapa específico. Isso é chamado de memorização.

Então, algo mágico acontece. Após um longo e entediante período onde nada parece mudar, o personagem de repente para, olha para o tabuleiro e entende. Eles começam a resolver novos quebra-cabeças inéditos perfeitamente. Esse momento súbito de "eureka!" é o que os pesquisadores chamam de grokking (compreensão profunda).

Por muito tempo, ninguém sabia por que esse atraso acontecia. Era magia? Um erro de sistema? Neste artigo, os autores sugerem uma nova maneira de visualizar o que está acontecendo dentro do cérebro (a rede neural) do computador usando um mapa de formas e distâncias.

A Cebola de Soluções

Os autores propõem que o espaço onde o "cérebro" do computador pode existir se parece com um conjunto de esferas aninhadas, como uma cebola ou um alvo.

A Camada Externa (Inicialização): Quando o computador começa, suas configurações estão espalhadas em uma camada externa fina. É como lançar dardos que todos atingem a borda de um balão gigante.
A Camada Intermediária (Memorização): À medida que o computador aprende, ele desliza rapidamente para uma camada intermediária. Aqui, ele memorizou perfeitamente os dados de treinamento. É como o personagem do nosso jogo que memorizou o mapa, mas não entende as regras. O computador fica preso aqui por um longo tempo.
O Núcleo (Generalização): Bem no centro da cebola reside o núcleo de "generalização". Este é o ponto ideal onde o computador realmente entende as regras e consegue resolver novos problemas.

O fenômeno do "grokking" é simplesmente a jornada da camada intermediária, através do espaço vazio, até o núcleo. O mistério era: Por que leva tanto tempo para chegar lá?

A Caminhada do Bêbado e a Atração Magnética

Os autores explicam que o processo de aprendizado do computador (usando um otimizador chamado Adam) é uma mistura de duas forças:

A Caminhada do Bêbado (Difusão): Como o computador aprende a partir de pequenos lotes de dados, seu caminho é um pouco instável, como uma pessoa bêbada caminhando em linha reta. Esse balanço é aleatório.
A Atração Magnética (Drift): Existe também uma força constante puxando o computador em direção ao centro, especialmente devido a uma regra chamada regularização $\ell_2$ (que atua como um ímã suave tentando manter as configurações pequenas).

Os autores sugerem que o computador fica preso na camada intermediária porque a "caminhada do bêbado" é fraca demais para empurrá-lo para fora dessa camada, e a "atração magnética" não é forte o suficiente para arrastá-lo diretamente ao centro imediatamente. Ele tem que vagar pela camada intermediária por um tempo até que, por acaso, os balanços aleatórios o empurrem o suficiente para que ele caia no núcleo.

As Regras do Jjeu (Leis de Escala)

Os autores não apenas adivinharam isso; eles usaram matemática (especificamente algo chamado teoria do tempo de parada e equações diferenciais estocásticas) para prever exatamente quanto tempo esse atraso deve durar. Eles descobriram três "botões" principais que controlam a velocidade dessa jornada:

Taxa de Aprendizado ( $\eta$ ): Este é o tamanho do passo que o computador dá. O artigo mostra que, se você tornar os passos muito pequenos, levará uma eternidade para escapar da camada intermediária. Se torná-los muito grandes, o computador pode ultrapassar o alvo. Existe uma zona "Goldilocks" (o ponto ideal).
Tamanho do Lote ( $b$ ): Este é o número de exemplos que o computador observa antes de dar um passo. O artigo sugere que lotes maiores tornam a "caminhada do bêbado" menos instável, o que, na verdade, retarda a fuga da camada intermediária.
Regularização ( $\lambda$ ): Esta é a força da "atração magnética". O artigo encontra que uma atração mais forte ajuda o computador a escapar da camada intermediária mais rápido, mas apenas até certo ponto.

Eles derivaram fórmulas específicas (leis de escala) para como esses botões alteram o tempo de espera para o grokking. Por exemplo, o tempo para saltar da memorização para a generalização é aproximadamente proporcional a $1/(\eta \lambda)$ . Isso significa que, se você dobrar a taxa de aprendizado ou a regularização, o tempo de atraso é cortado pela metade.

O Que Eles Descartaram

O artigo é muito cuidadoso ao dizer o que eles não estão alegando. Eles não dizem que o grokking acontece porque a rede subitamente "encontra um circuito" ou devido a algum despertar misterioso de natureza biológica. Em vez disso, argumentam que é puramente um resultado da geometria do espaço de solução e da aleatoriedade do processo de otimização. Eles também descartam a ideia de que isso seja apenas um golpe de sorte; sua matemática sugere que é uma característica estrutural previsível de como o Adam otimiza esses tipos específicos de problemas.

O Quão Certos Eles Estão?

Os autores estão bastante confiantes em sua teoria, mas são cuidadosos ao distinguir entre o que provaram e o que mediram.

A Matemática: Eles derivaram essas leis de escala usando provas matemáticas rigorosas baseadas em modelos de tempo contínuo do processo de aprendizado. Eles usaram um sistema de álgebra simbólica (um programa de computador que faz cálculos matemáticos) para verificar suas fórmulas, o que lhes confere alta confiança nas equações.
A Prova: Eles testaram suas ideias em dois tipos específicos de quebra-cabeças: aprendizado de teoria de grupos (especificamente no grupo simétrico $S_5$ ) e aritmética modular (especificamente nos inteiros módulo 127, escrito como $Z_{127}$ ).
Os Resultados: Nesses experimentos, o comportamento do computador coincidiu com suas previsões. Por exemplo, quando alteraram a taxa de aprendizado ou o tamanho do lote, o tempo para o grokking mudou exatamente como suas fórmulas previam. Eles também observaram a curva em formato de "U" para o raio de memorização, o que sua teoria dizia que aconteceria.

No entanto, eles observam que sua matemática depende de certas condições, como ter uma taxa de aprendizado pequena e um tamanho de lote grande. Eles não afirmam que isso explica cada instância de grokking em todas as redes neurais possíveis, mas sim que explica o fenômeno nesses tarefas específicas e estruturadas onde a geometria "camada-núcleo" existe.

A Conclusão

O grokking não é magia; é uma jornada geométrica. O computador começa do lado de fora, fica preso em uma "camada de memorização" e precisa vagar até que o ruído aleatório de seu processo de aprendizado o empurre para o "núcleo de generalização". O tempo necessário para fazer esse salto depende de quão rápido ele dá os passos (taxa de aprendizado), quão constantes são seus passos (tamanho do lote) e quão fortemente ele é puxado para o centro (regularização). Os autores mapearam essas regras com matemática e as confirmaram com experimentos, nos dando uma imagem mais clara de por que essas redes neurais às vezes parecem dormir por um longo tempo antes de subitamente acordarem.

Problema
A generalização tardia, ou "grokking", é um fenômeno observado em redes neurais treinadas em tarefas altamente estruturadas e livres de ruído (ex: aritmética modular, aprendizado de teoria de grupos). Nesses cenários, os modelos alcançam rapidamente uma perda de treinamento próxima de zero (memorização), mas falham em generalizar por um período prolongado antes de uma transição abrupta para um forte desempenho de teste. Apesar do extenso estudo empírico, o mecanismo subjacente que impulsiona esse atraso e o papel específico dos hiperparâmetros (taxa de aprendizado, tamanho do lote, regularização) permanecem pouco compreendidos.

Metodologia
Os autores propõem um arcabouço estocástico-geométrico para caracterizar o grokking, fundamentado na dinâmica de otimização do otimizador Adam com regularização de encolhimento de peso $\ell_2$ .

Caracterização Topológica: O artigo postula que a dinâmica de otimização do Adam induz uma configuração topológica "casca-núcleo" (shell–core) no espaço de parâmetros.
- Inicialização: As soluções concentram-se em uma fina casca hiperesférica externa ( $\Theta$ ).
- Memorização: Envolvida por $\Theta$ , encontra-se uma casca de soluções de memorização ( $M \setminus G$ ), onde o modelo ajusta os dados de treinamento, mas falha em generalizar.
- Generalização: No centro, reside um núcleo compacto de soluções de generalização ( $G$ ).
- A transição da memorização para a generalização é modelada como uma fuga estocástica da casca externa para o núcleo interno.
Formulação de Equação Diferencial Estocástica (SDE):
- Os autores derivam um limite de tempo contínuo para a dinâmica do Adam, formulando uma SDE de estado conjunto para os parâmetros ( $\theta$ ) e as estimativas de primeiro e segundo momento ( $m, v$ ). Esta SDE leva em conta a estocasticidade dos gradientes de mini-lote e os mecanismos de correção de viés do Adam.
- Redução de Estágio Tardio: Observações empíricas sugerem que, nos estágios tardios do treinamento (pós-memorização), as estimativas de momento convergem para seus limites de campo médio e o ruído do gradiente torna-se pequeno e isotrópico. Essas propriedades permitem que a complexa SDE de estado conjunto seja reduzida a uma SDE radial tratável que governa a evolução da norma quadrada do parâmetro ( $r_t^2 = \|\theta_t\|^2$ ).
Análise de Tempo de Parada:
- O tempo de transição da variedade de memorização ( $\partial M$ ) para a variedade de generalização ( $\partial G$ ) é analisado usando a teoria de tempo de parada para processos estocásticos.
- Os autores derivam leis de escala para os raios dessas variedades e o tempo de transição esperado, resolvendo problemas de valor de contorno de Dirichlet e equações de tempo médio de primeira passagem derivadas das Sções SDEs reduzidas.

Principais Contribuições

Topologia Casca-Núcleo Induzida pela Otimização: O artigo introduz um prior teórico onde a inicialização se concentra em uma casca que envolve soluções de memorização, que, por sua vez, envolvem um núcleo de generalização. Esta configuração é induzida especificamente pelas dinâmicas do Adam com encolhimento de peso.
Caracterização Estocástica-Geométrica: O grokking é formalmente caracterizado como um problema de transição estocástica. A geometria do espaço de solução é definida pelo primeiro tempo de parada no qual os fluxos de gradiente estocástico escapam da variedade de memorização e alcançam a variedade de generalização.
Derivação de Leis de Escala: Os autores derivam leis de escala assintóticas em forma fechada para:
- Raio de Memorização ( $\rho_M$ ): Depende da taxa de aprendizado ( $\eta$ ), tamanho do lote ( $b$ ) e regularização ( $\lambda$ ). A teoria prevê uma dependência em forma de U em relação à razão $\eta/b$ .
- Raio de Generalização ( $\rho_G$ ): Depende de $\eta$ , $\lambda$ e $b$ , decompondo-se em um termo dependente do cenário e uma correção de flutuação.
- Tempo de Transição de Solução ( $\tau_{M \to G}$ ): O número esperado de iterações para transitar da memorização para a generalização escala inversamente com o coeficiente de regularização ( $\lambda$ ) e a taxa de aprendizado ( $\eta$ ), especificamente $\tau \propto 1/(\eta \lambda)$ .

Resultados
As previsões teóricas foram validadas através de experimentos em duas tarefas de aprendizado estruturado: aprendizado de teoria de grupos no grupo simétrico $S_5$ e aritmética modular em $\mathbb{Z}_{127}$ .

Validação Empírica: Experimentos confirmaram as leis de escala previstas para os raios das variedades e tempos de transição através de diferentes hiperparâmetros.
Curva em Forma de U: Os dados apoiaram a previsão teórica de que o raio de memorização $\rho_M$ exibe uma curva em forma de U em relação a $\eta/b$ .
Recuperação de Literatura: As leis de escala derivadas recuperaram resultados empíricos conhecidos da literatura anterior, como a dependência inversa do atraso de grokking em relação à regularização e a "zona Goldilocks" para normas de peso.
Verificação Simbólica: Todos os resultados em forma fechada e assintóticos foram verificados mecanicamente por um sistema de álgebra simbólica (Julia) para garantir a correção técnica.

Significância
O artigo afirma fornecer um arcabouço teórico que conecta a geometria das variedades de solução com as dinâmicas estocásticas do otimizador Adam. Ao caracterizar o grokking através da análise de tempo de parada de SDEs, o trabalho oferece uma explicação mecanística para o fenômeno da generalização tardia. Ele esclarece como hiperparâmetros específicos modulam a difusão estocástica e o desvio determinístico para influenciar o tempo necessário para um modelo transitar da memorização para a generalização. Os autores observam que seus resultados dependem das condições necessárias para o limite SDE do Adam (taxa de aprendizado suficientemente pequena e tamanho de lote grande) e não se aplicam diretamente ao regime de $\eta/b$ grande.