🤖 machine learning

The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting

Este artigo revela que redes neurais de alta entropia, ao contrário de modelos treinados convencionalmente com AdamW, mantêm a robustez contra o esquecimento catastrófico apesar de apresentarem desempenho de generalização idêntico, um fenômeno denominado "ilusão do grokking" que é atribuído a representações de características mais ricas indicadas por um posto efetivo mais elevado nos pesos da rede.

Autores originais: Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Publicado 2026-08-03

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver enigmas matemáticos. Você quer que ele seja inteligente, mas também quer que ele seja resistente. No mundo da inteligência artificial, "inteligente" geralmente significa que o robô consegue olhar para um problema que nunca viu antes e resolvê-lo corretamente. Isso é chamado de generalização. Mas há uma armadilha oculta: um robô pode ser incrivelmente inteligente em um momento, mas incrivelmente frágil no seguinte. Se você pedir a ele para aprender uma nova habilidade imediatamente após dominar a primeira, ele pode subitamente esquecer tudo o que acabou de aprender. Isso é chamado de esquecimento catastrófico.

Cientistas há muito se perguntam: o que torna o cérebro de um robô verdadeiramente robusto? É apenas sobre obter as respostas certas, ou existe algo mais profundo sobre como o robô armazena essas respostas? Pense nisso como uma biblioteca. Você pode ter uma biblioteca com os livros perfeitos (alta generalização), mas se as prateleiras forem frágeis e os livros estiverem empilhados de forma precária, adicionar um único livro novo pode fazer toda a torre desmoronar. Este artigo explora se a "forma" do cérebro do robô — especificamente, quanto "espaço de manobra" ele tem em sua memória — determina se ele consegue lidar com novas informações sem perder as antigas.

A Ilusão do "Grokking": Quando Pontuações Perfeitas Escondem uma Fraqueza

Os pesquisadores por trás deste estudo decidiram testar uma ideia fascinante: Uma pontuação perfeita garante uma memória forte? Para descobrir, eles montaram um experimento controlado usando um jogo matemático simples: aritmética modular (basicamente, somar números e encontrar o resto, como um relógio que reinicia após 67 horas).

Eles treinaram dois tipos diferentes de modelos de IA nesse jogo até que ambos obtivessem uma pontuação perfeita de 100%:

O Modelo "Padrão": Este foi treinado usando um método comum e padrão (chamado AdamW). Ele aprendeu a tarefa rapidamente e obteve uma pontuação perfeita.
O Modelo de "Alta Entropia": Este foi treinado usando um método especial, inspirado na física (chamado Dinâmica Molecular Wang-Landau). Ele também obteve uma pontuação perfeita de 100%, mas foi encontrado em uma área "maior" do espaço matemático onde as soluções residem. Pense no modelo padrão como encontrar um vale minúsculo e estreito para se sentar, enquanto o modelo de alta entropia encontrou um planalto enorme e amplo.

Ambos os modelos pareciam idênticos no papel: ambos eram 100% perfeitos no jogo matemático. Mas os pesquisadores suspeitavam que eles escondiam uma diferença secreta.

O Teste de Injeção de Ruído: Esquecendo de Propósito

Para testar sua resistência, os pesquisadores pregaram uma peça. Eles disseram aos dois modelos: "Ok, vocês são ótimos em matemática. Agora, memorizem esta nova lista de dados sem sentido". Eles injetaram "ruído" — números aleatórios e sem sentido com rótulos aleatórios — na mistura de treinamento. Eles forçaram os modelos a aprender esse lixo perfeitamente (obtendo 99,8% de precisão no novo conteúdo) enquanto ainda tentavam lembrar do jogo matemático original.

Os resultados foram chocantes e revelaram o que os autores chamam de "Ilusão do Grokking".

O Modelo Padrão (AdamW): Assim que começou a memorizar o novo nonsense, começou a desmoronar. Sua capacidade de resolver o jogo matemático original despencou de 100% para menos de 75%. Ele havia "esquecido" sua habilidade original para abrir espaço para a nova. Era como um aluno que, ao tentar memorizar uma lista de números de telefone aleatórios, de repente esqueceu como fazer uma adição básica.
O Modelo de Alta Entropia: Este modelo era um tanque. Mesmo após memorizar os mesmos dados de ruído perfeitamente, manteve suas habilidades matemáticas originais quase inteiramente intactas, permanecendo entre 95% e 98% de precisão. Ele conseguiu conter a nova informação sem perder a antiga.

O artigo sugere que a pontuação "perfeita" do modelo padrão era uma ilusão. Parecia forte, mas era, na verdade, frágil. O modelo de alta entropia, porém, era genuinamente robusto.

Por Que Um Falhou e o Outro Teve Sucesso?

Os pesquisadores investigaram os "cérebros" desses modelos para ver o que era diferente. Eles usaram uma ferramenta matemática chamada Decomposição de Valores Singulares (pense nisso como um raio-X que mostra quantas diferentes "direções" um modelo usa para armazenar informações).

Eles descobriram que o Modelo de Alta Entropia tinha um "posto (rank) efetivo" muito maior. Em termos simples, isso significa que seu cérebro usou um conjunto de ferramentas muito mais amplo e diversificado para resolver o problema. Não estava dependendo de apenas alguns caminhos estreitos e frágeis. Em vez disso, possuía uma rede rica e distribuída de características.

Quando o ruído entrou:

O Modelo Padrão teve que reorganizar seus poucos e estreitos caminhos para acomodar os novos dados, o que quebrou os caminhos antigos.
O Modelo de Alta Entropia tinha tanto "espaço extra" e tantos caminhos diferentes que pôde absorver o novo ruído sem perturbar as habilidades matemáticas originais. Era como uma ponte larga e robusta que pode suportar um caminhão pesado (os novos dados) sem abalar a fundação, enquanto a ponte estreita (o modelo padrão) colapsou sob o mesmo peso.

O Que Isso Significa para o Futuro

O estudo conclui que a generalização perfeita não é igual à robustez perfeita. Só porque um modelo tira um A+ em um teste, não significa que ele não falhará quando a vida lhe lançar um imprevisto.

Os autores sugerem que a "forma" da memória de um modelo importa. Modelos que ocupam espaços de "alta entropia", maiores, em seu mundo matemático, são naturalmente melhores em lembrar das coisas quando precisam aprender coisas novas. Isso sugere que, no futuro, podemos precisar treinar a IA não apenas para obter a resposta correta, mas para encontrar os "vales mais largos" no espaço de solução. Isso pode ajudar a construir uma IA que não esqueça seu passado quando aprende seu futuro, tornando-a muito mais confiável para tarefas do mundo real onde as coisas estão sempre mudando.

Embora esses resultados sejam atualmente baseados em simulações com enigmas matemáticos, os autores acreditam que este princípio pode se aplicar a sistemas de IA muito maiores e mais complexos, potencialmente resolvendo o problema milenar de máquinas que esquecem o que aprenderam ontem.

Resumo Técnico: A Ilusão do Grokking: O Equilíbrio Verdadeiro Mitiga o Esquecimento Catastrófico

Declaração do Problema
Embora o desempenho de redes neurais (NN) seja tradicionalmente avaliado por meio de métricas de treinamento e teste, estas não capturam totalmente a robustez de uma representação aprendida. Um modelo pode generalizar perfeitamente para um conjunto de teste, mas permanecer frágil; atualizações subsequentes de parâmetros necessárias para aprender novas informações podem levar ao esquecimento catastrófico, onde o conhecimento adquirido anteriormente colapsa. Esse descompasso entre generalização e robustez levanta uma questão fundamental: quais propriedades de uma rede neural determinam sua resiliência à interferência? Trabalhos recentes estabeleceram uma "vantagem de alta entropia", onde soluções que ocupam volumes maiores no espaço de parâmetros (quantificados pela entropia de Boltzmann) exibem uma generalização superior em comparação com soluções convencionalmente otimizadas. Este artigo investiga se essa vantagem de alta entropia se estende além da generalização para a robustez contra o esquecimento catastrófico.

Metodologia
Os autores utilizam aritmética modular ( $x + y \mod 67$ ) como um cenário experimental controlado, aproveitando especificamente o fenômeno do "grokking", onde modelos eventualmente alcançam uma generalização perfeita. Para isolar o efeito da entropia do desempenho de generalização, o estudo compara dois tipos de modelos que alcançam idêntica precisão de teste perfeita (100%) e perdas de treinamento semelhantes sob a mesma restrição de norma de peso ( $\|w\|=30$ ):

AdamW-goldilocks: Um Transformer padrão treinado com o otimizador AdamW.
WLMD-equilibrium: Um Transformer amostrado a partir do panorama de entropia de Boltzmann usando Dinâmica Molecular Wang-Landau (WLMD), representando um estado de alta entropia.

Experimento de Injeção de Ruído:
Para avaliar a robustez, os autores projetam um protocolo de injeção de ruído. O vocabulário dos modelos treinados é expandido, e os modelos são ajustados (fine-tuning) em um conjunto de dados misto contendo os dados de treinamento originais e novos dados ruidosos com rótulos aleatórios ou estruturados. O objetivo é forçar os modelos a memorizar totalmente os novos dados (alcançando >99,8% de precisão de treinamento no conjunto combinado) enquanto monitoram a retenção da precisão de teste da tarefa original. Três tipos de ruído são testados:

Ruído aleatório.
Ruído estruturado com similaridade parcial ( $x^2 + y \mod 37$ ).
Ruído estruturado com alta similaridade ( $x + y \mod 37$ ).

Análise Mecanística:
O estudo emprega Decomposição de Valores Singulares (SVD) nas matrizes de peso das camadas de atenção e MLP para analisar o Posto Efetivo (Effective Rank - ER). O ER quantifica o número de direções singulares significativas, servindo como uma medida de riqueza representacional. Além disso, a similaridade de cosseno é calculada entre os vetores de parâmetros antes e depois da injeção de ruído para medir o deslocamento global de parâmetros.

Principais Resultados

A "Ilusão do Grokking": Apesar de alcançarem a generalização perfeita inicialmente, os modelos treinados com AdamW sofrem de esquecimento catastrófico quando forçados a memorizar novos dados. Na condição mais desafiadora (ruído aleatório), a precisão de teste da tarefa original cai de 100% para abaixo de 75%. Em contraste, os modelos WLMD-equilibrium (alta entropia) mantêm aproximadamente 95% de precisão de teste sob as mesmas condições.
Entropia e Robustez: A lacuna de robustez persiste em todos os tipos de ruído, mas diminui à medida que os novos dados tornam-se estruturalmente mais similares à tarefa original. Modelos de alta entropia superam consistentemente os modelos AdamW na retenção de conhecimento prévio.
Posto Efetivo como um Buffer: A análise de SVD revela que os modelos WLMD-equilibrium possuem um posto efetivo significativamente maior nas camadas de atenção e MLP, tanto antes quanto depois da injeção de ruído, em comparação aos modelos AdamW. Embora ambos os modelos experimentem uma redução no posto efetivo após aprender novos dados, os modelos de alta entropia retêm uma representação de características muito mais rica. Isso sugere que a abundância de capacidade representacional nos estados de alta entropia atua como um buffer contra o esquecimento.
Deslocamento de Parâmetros: A similaridade de cosseno entre os parâmetros pré e pós-injeção é menor para os modelos WLMD, indicando maiores deslocamentos de parâmetros. No entanto, como esses modelos residem em um volume alto e de alta entropia, eles permanecem dentro da mesma região funcional, apesar do deslocamento, enquanto os modelos AdamW, residindo em bacias de baixa entropia mais estreitas, caem para fora da região funcional.

Significância e Alegações
O artigo afirma identificar um fenômeno denominado "ilusão do grokking", onde soluções que parecem ter "grokado" (alcançado desempenho de teste saturado) via treinamento convencional ainda podem ser altamente frágeis a novas informações. A principal contribuição é demonstrar que a generalização perfeita não implica igual robustez.

Os autores argumentam que o framework da física estatística, especificamente o conceito de entropia de Boltzmann, fornece uma lente principiológica para entender a resiliência do modelo. Eles postulam que estados de alta entropia, por ocuparem volumes maiores no espaço de parâmetros, possuem inerentemente uma vantagem de robustez. Além disso, o estudo vincula essa robustez a um posto efetivo mais alto, sugerindo que representações de características mais ricas e distribuídas servem como um buffer contra interferência. Essa descoberta desafia a visão prevalecente de que estruturas de baixo posto estão sempre associadas à robustez (como visto em contextos de treinamento adversarial), propondo, em vez disso, um terceiro regime onde a amostragem de alta entropia produz representações de alto posto e intrinsecamente robustas.

O artigo conclui que essas descobertas oferecem uma nova perspectiva sobre o esquecimento catastrófico no aprendizado contínuo, sugerindo que estratégias guiadas pela entropia podem posicionar os modelos em regiões do espaço de parâmetros que são intrinsecamente mais robustas ao esquecimento, em vez de apenas regularizar atualizações.

A Ilusão do "Grokking": Quando Pontuações Perfeitas Escondem uma Fraqueza

O Teste de Injeção de Ruído: Esquecendo de Propósito

Por Que Um Falhou e o Outro Teve Sucesso?

O Que Isso Significa para o Futuro

Mais como este