🤖 machine learning

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold

Este artigo explica o fenômeno da generalização tardia conhecido como grokking ao provar que, no limite de taxas de aprendizado e decaimento de peso pequenos, o gradiente descendente minimiza a norma do peso na variedade de perda zero, um mecanismo validado através de uma expressão de forma fechada derivada para a dinâmica pós-memorização e simulações experimentais.

Autores originais: Tiberiu Musat

Publicado 2026-06-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tiberiu Musat

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Mistério: O que é o "Grokking"?

Imagine que você está ensinando matemática para um robô. Você mostra a ele um exemplo: $1 + 1 = 2$ .

Fase 1 (Memorização): O robô aprende rapidamente a dizer "2" sempre que vê "1 + 1". Ele memorizou a resposta. Se você pedir para ele resolver um novo problema, como $2 + 2$ , ele falha. Ele é apenas um papagaio repetindo o que ouviu.
A Longa Espera: Você continua treinando o robô. Por muito tempo, nada parece mudar. Ele ainda só conhece aquele único exemplo.
Fase 2 (Grokking): De repente, após centenas ou milhares de passos extras, o robô tem um "momento de estalo". Ele entende a regra da adição. Agora, ele consegue resolver $2 + 2$ , $5 + 3$ e qualquer outro problema de adição perfeitamente.

Este estranho atraso — onde o robô passa de "memorizar" para "entender" muito tempo depois de já ter dominado os dados de treinamento — é chamado de Grokking.

A Ideia Principal do Artigo: O Manifold de "Erro Zero"

Os autores deste artigo querem explicar por por que isso acontece. Eles propõem uma nova maneira de olhar para como o robô aprende durante esse longo período de espera.

Pense no cérebro do robô como uma paisagem gigante e multidimensional.

O Objetivo: O robô quer chegar a um vale onde o "erro" (o quão errado ele está) é zero.
O Vale de Erro Zero: Assim que o robô memoriza o exemplo único ( $1+1=2$ ), ele chega ao fundo de um vale muito específico e plano. Neste vale, o robô comete zero erros nos dados de treinamento.
O Problema: Este vale é enorme. Existem milhões de maneiras diferentes de organizar os botões internos (pesos) do robô para obter erro zero. Algumas dessas configurações são "espertas" (elas generalizam para novas matemáticas) e outras são "bobas" (elas só funcionam para aquele exemplo único).

O Mecanismo Secreto: Minimização de Norma

O artigo argumenta que, uma vez que o robô entra neste "Vale de Erro Zero", o processo de treinamento muda seu objetivo. Ele para de tentar diminuir o erro (porque o erro já é zero) e começa a tentar simplificar a si mesmo.

A Analogia: O Equilibrista
Imagine o robô como um equilibrista em um cabo de aço muito longo e sinuoso (o Vale de Erro Zero).

O Cabo: O cabo representa todas as formas possíveis de o robô acertar a resposta.
O Empurrão: O processo de treinamento inclui um "decaimento de peso" (uma pequena força que constantemente empurra o robô para usar menos energia).
O Resultado: Como o robô já está no cabo (erro zero), a única coisa que ele pode fazer é deslizar ao longo do cabo. A força de "economia de energia" o empurra em direção à parte do cabo que é a mais curta e simples.

Os autores provam matematicamente que o robô está essencialmente deslizando ao longo deste cabo, procurando pela solução mais simples. Eventualmente, ele encontra o caminho "mais simples", que acontece de ser o caminho que entende a regra geral da adição. É por isso que a generalização acontece depois da memorização: o robô precisa terminar sua longa e lenta descida pelo cabo para encontrar a solução simples.

A Prova do "Modelo de Brinquedo"

Para mostrar que isso não é apenas uma coincidência, os autores construíram um robô minúsculo e simples (um modelo linear) com apenas dois botões.

Eles treinaram o robô em $1+1=2$ .
Observação: O robô rapidamente encontrou uma solução que funcionava para os dados de treinamento, mas era estranha (por exemplo, usando um número positivo enorme e um número negativo enorme que se cancelavam).
O Deslize: Então, lentamente, o "decaimento de peso" empurrou os botões para uma solução muito mais simples e equilibrada (1 e 1).
O Resultado: Assim que os botões alcançaram esse ponto simples e equilibrado, o robô subitamente tornou-se excelente em resolver qualquer problema de adição, não apenas $1+1$ .

A Visão "Isolada": Focando na Camada de Embedding

O artigo também aborda uma segunda questão: Podemos entender apenas parte do cérebro do robô sem modelar o todo?

No caso específico da adição modular (matemática com relógio, como 11 + 2 = 1), pesquisas anteriores mostraram que o robô organiza os números em um círculo.

A Analogia: Imagine que a primeira camada do robô é um cartógrafo. Ele pega os números e os coloca em um mapa.
A Descoberta: Os autores criaram um atalho matemático. Eles mostraram que, se assumirmos que a segunda camada do robô está sempre "perfeitamente ajustada" à primeira camada, podemos escrever uma fórmula simples que prevê exatamente como o cartógrafo (a primeira camada) irá se mover.
A Simulação: Quando rodaram essa fórmula em um computador, ela recriou perfeitamente o efeito de "Grokking". O cartógrafo reorganizou lentamente os números de um amontoado bagunçado para um círculo perfeito, e então o robô começou a entender a matemática.

Resumo das Descobertas

Grokking é Geometria: O atraso no aprendizado não é um erro; é uma característica da geometria. O robô tem que percorrer uma longa distância ao longo de um caminho de "erro zero" para encontrar a solução mais simples.
Decaimento de Peso é o Motor: A pequena força que tenta tornar os números do robô menores (decaimento de peso) é o que o empurra ao longo deste caminho. Sem ela, o robô ficaria preso no ponto de "memorização" para sempre.
Simplificação Funciona: Você pode prever como uma rede complexa aprende olhando apenas para uma parte dela (a camada de embedding) e assumindo que o resto da rede se adapta instantaneamente a ela.

O Que o Artigo Não Alega

Não alega que isso funciona para todo tipo de IA ou todo tipo de dado (foca em problemas matemáticos específicos e redes simples).
Não sugere o uso disso para construir melhores IAs médicas ou carros autônomos ainda.
Não afirma ter resolvido o mistério de todas as redes neurais, apenas o fenômeno específico do "grokking" nesses contextos.

Em resumo, o artigo nos diz que o Grokking é o robô fazendo uma longa e lenta caminhada em linha reta para encontrar a maneira mais simples e elegante de resolver um problema.

Resumo Técnico: A Geometria do Grokking

Enunciado do Problema
O artigo aborda o fenômeno do "grokking" em redes neurais, onde um modelo alcança uma generalização perfeita nos dados de teste apenas após um atraso substancial após a memorização completa do conjunto de treinamento. Embora pesquisas anteriores tenham vinculado essa generalização tardia ao aprendizado de representação impulsionado pelo decaimento de peso (weight decay), a dinâmica subjacente precisa permanece incerta. Especificamente, os autores buscam responder: (1) Qual é o papel exato do decaimento de peso no aprendizado pós-memorização? e (2) É possível isolar a dinâmica de aprendizado de componentes específicos da rede (como camadas de embedding) do restante da rede?

Metodologia e Estrutura Teórica
Os autores abordam o problema através da lente da otimização restrita e do fluxo de gradiente, analisando o sistema no limite de taxas de aprendizado e coeficientes de decaimento de peso infinitesimalmente pequenos ( $\lambda \to 0$ ).

Dinâmica Pós-Memorização: O artigo prova formalmente que, uma vez que uma rede atinge perda de treinamento zero (memorização), a dinâmica de aprendizado subsequente é restrita à variedade de perda zero ( $Z$ ). Neste regime, o gradiente descendente efetivamente minimiza a norma dos pesos ( $\|\theta\|^2$ ) enquanto permanece em $Z$ . Os autores estabelecem que o gradiente da perda torna-se ortogonal ao espaço tangente da variedade de perda zero conforme os parâmetros se aproximam de $Z$ , o que significa que a função de perda não mais impulsiona as atualizações de parâmetros; em vez disso, o decaimento de peso impulsiona os parâmetros em direção à solução de norma mínima dentro do conjunto de perda zero.
Dinâmica de Componentes Isolados: Para analisar camadas específicas, os autores propõem uma aproximação onde a dinâmica de um subconjunto de parâmetros ( $\theta_1$ ) é desacoplada do restante ( $\theta_2$ ). Ao assumir que $\theta_2$ se adapta instantaneamente ao valor ideal para qualquer dado $\theta_1$ (tratando $\theta_2$ efetivamente como uma variável rápida), eles derivam uma função de custo efetiva $R(\theta_1) = \min_{\theta_2} L_\lambda(\theta_1, \theta_2)$ .
Derivação de Rede de Duas Camadas: Aplicando este framework a uma rede de duas camadas com perda de erro quadrático médio, os autores derivam uma expressão de forma fechada para a dinâmica de aprendizado da primeira camada (a camada de embedding). No limite de perda zero e sobre-parametrizado, mostra-se que a dinâmica dos pesos da primeira camada $W_1$ segue o fluxo de gradiente de uma função de custo específica que equilibra o decaimento de peso contra o ajuste da segunda camada.

Principais Resultados

Prova Teórica: O artigo prova que, para quase todos os conjuntos de dados, o conjunto de perda zero é uma variedade suave livre de singularidades durante o treinamento padrão. Eles provam ainda que o gradiente da perda é ortogonal a esta variedade próximo à solução, confirmando que o aprendizado pós-memorização é impulsionado inteiramente pela minimização de norma.
Validação por Modelo de Brinquedo (Toy Model): Usando modelos lineares em tarefas de adição, os autores demonstram que os modelos convergem inicialmente para uma solução de perda zero (memorização) e depois derivam lentamente ao longo da variedade de perda zero em direção à solução de norma mínima (generalização). A velocidade desta deriva é inversamente proporcional ao coeficiente de decaimento de peso.
Simulação de Grokking: Os autores simulam a dinâmica de forma fechada derivada para a primeira camada de uma rede treinada em adição modular. A simulação reproduz com sucesso o característico grokking tardio: o modelo mantém perda de treinamento zero enquanto a acurácia de teste permanece no nível do acaso por centenas de passos, eventualmente saltando para a generalização perfeita.
Aprendizado de Representação: A simulação revela que, durante a fase de generalização, os vetores de embedding se organizam em estruturas circulares no domínio de Fourier. Especificamente, as normas das características de Fourier se equalizam e as características tornam-se ortogonais, espelhando as "representações circulares" observadas em estudos de interpretabilidade prévios do grokking.

Significância e Alegações
O artigo afirma fornecer uma explicação geométrica formal para o grokking, identificando-o como um processo de duas fases: uma fase rápida de memorização seguida por uma fase lenta de minimização de norma na variedade de perda zero. Ao derivar uma expressão de forma fechada para a dinâmica da camada de embedding, os autores oferecem uma base teórica para entender como componentes específicos da rede aprendem representações.

Os autores posicionam este trabalho como um passo para desmistificar o funcionamento interno das redes neurais, o que é crucial para o desenvolvimento de sistemas de IA mais seguros e confiáveis. Eles observam que suas descobertas alinham-se com o trabalho concomitante de Boursier et al. (2026) em relação ao fluxo de gradiente regularizado. O artigo reconhece modestamente as limitações, notando que foca em perda de erro quadrático médio em vez de entropia cruzada e que está atualmente restrito a redes de duas camadas, deixando a dinâmica de arquiteturas mais profundas como um desafio em aberto.