📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

Este artigo demonstra que em redes neurais de duas camadas com ativações monomiais holomorfas treinadas em aritmética modular, a classe de funções expressáveis colapsa para uma variedade algébrica de dimensão finita, fazendo com que a rede exiba um resultado binário de generalização instantânea ou falha de treinamento garantida — eliminando, assim, o fenômeno do grokking inteiramente à medida que a relação de capacidade-grokking atinge seu regime limite.

Autores originais: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Publicado 2026-07-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver enigmas matemáticos. Geralmente, quando treinamos esses robôs (chamados de redes neurais), esperamos que eles melhorem quanto mais praticamos. Mas às vezes, algo estranho acontece: o robô memoriza as respostas perfeitamente, consegue uma pontuação perfeita em sua lição de casa, mas depois falha miseravelmente quando você lhe dá um novo problema semelhante. Ele fica ali, preso em um "modo de memorização", por milhares de passos. Então, de repente, sem qualquer aviso, ele desperta para um novo modo e começa a resolver os novos problemas corretamente. Esse despertar estranho e atrasado é chamado de grokking. É como um aluno que decora tudo para uma prova, esquece tudo no dia seguinte e, de repente, compreende o conceito uma semana depois.

Cientistas têm tentado descobrir por que esse atraso acontece. Eles sabem que o tamanho do cérebro do robô (sua "capacidade") importa. Se o cérebro for muito pequeno, ele pode nunca aprender. Se for enorme, ele aprende instantaneamente. Mas o que acontece no meio do caminho? O atraso apenas diminui conforme o cérebro do robô aumenta? Ou existe um ponto onde o cérebro do robô é tão estranhamente construído que ele não consegue aprender a resposta de jeito nenhum? Este artigo mergulha nessa questão ao construir um robô matematicamente perfeito e específico para ver o que acontece quando as regras do aprendizado são levadas ao seu limite absoluto.

O Robô com um Cérebro de Tamanho Único para Todos

Os autores deste artigo decidiram parar de adivinhar e começar a construir. Em vez de usar um céreio de robô padrão e bagunçado, eles construíram um tipo especial de rede com uma regra muito estrita: ela só pode pensar em um tipo específico de padrão matemático chamado "monômio holomorfo".

Pense no cérebro deste robô como um chaveiro com um conjunto de chaves muito específico.

Robôs Padrão (Aproximadores Universais): A maioria dos modelos de IA é como um chaveiro com uma caixa de ferramentas gigante. Não importa qual fechadura você dê a eles, eles podem eventualmente abri-la se tiverem tempo suficiente e ferramentas suficientes. Eles podem levar muito tempo para descobrir a combinação certa (memorização), e então subitamente acertam (generalização), mas eles sempre conseguem abrir a porta.
O Robô Deste Artigo: Este robô tem apenas um formato de chave específico. Ele só pode abrir fechaduras que correspondam exatamente a esse formato. Se você der a ele uma fechadura que não se encaixe nesse formato, ele não apenas levará muito tempo para abri-la; ele não conseguirá abri-la de jeito nenhum. Não é uma questão de "falta de prática"; é uma questão de "ferramenta errada".

Os pesquisadores testaram este robô em tarefas de aritmética modular (basicamente, problemas matemáticos onde os números giram, como um relógio). Eles perguntaram: Se o cérebro do robô for tão limitado que ele não consegue sequer representar a resposta, ele ainda faz "grokking"?

A Grande Descoberta: O Interruptor "Tudo ou Nada"

A resposta que encontraram é surpreendentemente simples e binária. Não há meio termo, não há atraso lento e não há grokking.

O Caso "Sim": Se o problema matemático que o robô é solicitado a resolver por acaso corresponder ao formato específico de sua chave, o robô o resolve instantaneamente. Ele aprende os dados de treinamento e os novos dados ao mesmo tempo. Não há período de espera. É como entregar ao chaveiro a chave exata para a qual ele nasceu para segurar; a porta se abre imediatamente.
O Caso "Não": Se o problema não corresponder ao formato da chave, o robô falha completamente. Ele não memoriza as respostas. Ele não fica preso em um loop. Ele simplesmente permanece no nível de tentativa aleatória para sempre. A perda de treinamento (uma medida de quão errado ele está) atinge um piso rígido e se recusa a descer, não importa o quão largo seja o cérebro do robô ou por quanto tempo você o treine.

Os autores provaram isso matematicamente. Eles mostraram que, para este tipo específico de robô, o conjunto de problemas que ele pode resolver é uma fatia pequena e fixa de todos os problemas possíveis. Se o seu problema não estiver nessa fatia, o robão é matematicamente incapaz de ajustar os dados. Não é um problema de otimização; é uma impossibilidade estrutural.

O Experimento: 585 Testes da Verdade

Para provar que isso não era apenas uma teoria, a equipe realizou 585 experimentos. Eles testaram o robô em 39 problemas matemáticos diferentes com 5 "formatos de chave" diferentes (graus de ativação).

O Resultado: O comportamento do robô correspondeu às previsões matemáticas com 99,8% de precisão.
O Padrão: Os resultados formaram uma "escada" perfeita. Se a soma dos números do problema resultasse no total correto, o robô tinha sucesso instantaneamente. Se não, ele falhava instantaneamente.
O Meio Termo Ausente: Em 585 execuções, houve zero casos de "grokking" (sucesso atrasado) e zero casos de "memorização sem generalização" (acertar a lição de casa, mas falhar no teste). O robô ou vencia imediatamente ou perdia imediatamente.

A Comparação: O Robô "Normal"

Para garantir que isso não era apenas uma peculiaridade estranha de seu robô especial, eles realizaram os mesmos testes em um robô padrão e "normal" (usando uma ativação ReLU, que é o padrão da indústria).

O Robô Normal: Este robô podia resolver todos os problemas. Ele memorizava tudo. Mas nos problemas difíceis, ele exibia o comportamento clássico de grokking: ele memorizava o conjunto de treinamento, ficava parado por milhares de passos e, então, subitamente generalizava.
O Contraste: Os problemas que fizeram o robô especial falhar completamente eram exatamente os mesmos problemas que faziam o robô normal fazer grokking. Isso prova que o "atraso" no grokking não é apenas sobre o problema ser difícil; é sobre o cérebro do robô ser quase grande o suficiente, mas não quite. O robô especial nos mostrou o que acontece quando o cérebro é pequeno demais para sequer começar a corrida.

O Teste do "Gargalo": Unindo os Pontos

Os pesquisadores queriam ver se havia um caminho suave entre a "falha instantânea" e o "sucesso instantâneo". Eles pegaram um robô normal e o espremeram através de um "gargalo", tornando-o cada vez mais estreito.

Gargalo Largo: O robô faz grokking (sucesso atrasado).
Gargalo Médio: O robô memoriza, mas nunca generaliza (ele fica preso).
Gargalo Minúsculo: O robô falha em memorizar (falha instantânea).

Este experimento conectou os pontos. Mostrou que o regime de "falha instantânea" do robô especial é apenas o extremo final do mesmo espectro onde o grok

E Quanto a Aprender as Chaves?

Alguém poderia se perguntar: "E se o robô pudesse aprender suas próprias chaves?" Os autores testaram isso permitindo que o robô aprendesse sua própria codificação de entrada (em vez de receber a codificação fixa de "raízes da unidade").

O Resultado: A "escada" de sucesso e falha instantâneos desapareceu. O robô agora podia resolver quase todos os problemas lineares instantaneamente.
A Exceção: Ainda havia um problema que ele não conseguia resolver: a tarefa de multiplicação ( $a \times b$ ). Mesmo com um cérebro aprendido, a estrutura do robô era simples demais para capturar a complexidade da multiplicação. Isso confirmou que a falha não era apenas sobre a matemática específica que usaram para alimentar o robô; era um limite fundamental da arquitetura do robô.

A Conclusão

Este artigo revela uma verdade fundamental sobre o treinamento de IA: O grokking é uma corrida entre a memorização e a generalização. Mas para que essa corrida aconteça, o corredor deve primeiro ser capaz de amarrar os sapatos.

Se o cérebro de uma rede neural for pequeno ou rígido demais para sequer representar a resposta (para "amarrar os sapatos"), a corrida nem começa. Não há atraso, não há luta e não há um despertar súbito. Há apenas uma parada obrigatória. A pergunta "quando ele vai fazer grokking?" dissolve-se na pergunta mais simples e primitiva: "Ele é capaz de representar o alvo?"

Os autores mostraram que, quando você leva uma rede ao seu limite matemático, o comportamento confuso e bagunçado do grokking desaparece, substituído por uma realidade binária e limpa: ou a matemática se encaixa e você vence instantaneamente; ou não se encaixa e você perde instantaneamente. É um lembrete de que, antes de podermos falar sobre como a IA aprende, temos que garantir que ela é realmente capaz de aprender o que estamos pedindo que ela faça.

Resumo Técnico: Representabilidade Algébrica como o Regime Limite do Grokking

Enunciado do Problema
A literatura recente sobre "grokking" — o fenômeno onde redes neurais treinadas em tarefas de aritmética modular transitam da memorização para a generalização após um atraso significativo — estabeleceu que a capacidade do modelo governa o tempo dessa transição. No entanto, os frameworks existentes (por exemplo, Song e Ye 2026) assumem que a rede é suficientemente grande para eventualmente memorizar os dados de treinamento. Este artigo investiga o regime limite onde a classe de funções expressáveis pela rede é tão restrita que ela não consegue representar a função alvo de forma alguma, mesmo em princípio. A questão central é: O que acontece com a dinâmica de memorização-generalização quando a capacidade da arquitetura é estruturalmente insuficiente para ajustar o conjunto de treinamento, em vez de ser meramente lenta para fazê-lo?

Metodologia
Os autores estudam uma arquitetura específica, exatamente solúvel: uma rede neural de dois níveis com valores complexos e uma ativação monomial holomorfa $\sigma(z) = z^k$ . A rede é treinada em tarefas de aritmética modular $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ (onde $p$ é primo), utilizando uma codificação de raízes da unidade, onde as entradas $(a, b)$ são mapeadas para $(\omega^a, \omega^b)$ com $\omega = e^{2\pi i/p}$ .

Escolhas metodológicas principais incluem:

Tratabilidade Algébrica: A escolha de $\sigma(z) = z^k$ garante que a saída da rede seja um polinômio de grau $k$ . Na codificação de raízes da unidade, isso restringe a saída da rede a um subespaço específico de caracteres do grupo $(\mathbb{Z}_p)^2$ .
Análise de Fourier: Os autores utilizam análise harmônica em grupos abelianos finitos para caracterizar a "classe expressável" $\mathcal{F}_k$ . Eles provam que, independentemente da largura oculta $H$ , a saída da rede é confinada a um subespaço de dimensão $(k+1)$ gerado por caracteres com rótulos de frequência $(\ell, k-\ell)$ para $0 \le \ell \le k$ .
Limites Teóricos: O artigo deriva um limite inferior para a perda de treinamento para alvos não representáveis, provando que a perda permanece estritamente positiva e independente da largura oculta.
Validação Experimental: A teoria é testada através de 585 execuções experimentais envolvendo 39 tarefas (35 de fase linear, 4 de fase não linear) e 5 graus de ativação ( $k=2$ a $6$).
Ablações Comparativas: O estudo inclui uma linha de base ReLU (aproximador universal) e uma ablação de "gargalo" (bottleneck) em redes ReLU para rastrear a transição da falha de representação para o grokking.

Principais Contribuições

Caracterização Algébrica Exata da Representabilidade:
O artigo fornece uma caracterização completa de quais tarefas modulares residem dentro da classe expressável $\mathcal{F}_k$ .
- Alvos de fase linear ( $f(a,b) = ma + nb \mod p$ ): Uma tarefa é representável se, e somente se, $m + n = k$ (assumindo que $m+n \le k$ ). Se esta condição não for atendida, o alvo é ortogonal a todo o subespaço expressável.
- Alvos de fase não linear (ex: $ab$, $a^2+b^2$ ): Estas tarefas possuem suporte de Fourier que se estende além da diagonal $u+v \equiv k \pmod p$ . O artigo prova que estas são inrepresentáveis para qualquer $k < p$ finito.
- Independência de Codificação: Através da Proposição 1, os autores mostram que, mesmo com embeddings aprendidos, a representabilidade de uma tarefa é restringida pelo rank da matriz alvo. Especificamente, a tarefa $ab$ (que corresponde a uma matriz DFT de rank total) permanece inrepresentável para qualquer $k < p-1$ , independentemente da codificação de entrada.
O Regime de "Sem Memorização":
O artigo prova que, para alvos não representáveis, a rede não consegue memorizar o conjunto de treinamento. Como a saída é algebricamente confinada a um subespaço que não contém o alvo, a perda de treinamento é limitada inferiormente por uma constante positiva (o gap espectral). Consequentemente, não há fase de "memorização", não há atraso de "grokking" e não há melhoria gradual; a rede simplesmente falha em ajustar os dados, permanecendo em um nível de precisão de acaso.
Validação Empírica de Resultados Binários:
Em 585 execuções, a previsão algébrica coincidiu com o resultado observado com 99,8% de precisão. Os resultados foram estritamente binários:
- Tarefas representáveis: Aprendidas quase instantaneamente (Generalização Instantânea, ou INST), sem lacuna entre a precisão de treino e teste.
- Tarefas não representáveis: Falha completa (FAIL), com a precisão de treinamento estagnada em níveis de acaso.
- Não houve nenhuma instância de grokking ou memorização sem generalização para a rede holomorfa.
Conexão com o Espectro de Capacidade:
O artigo une a lacuna entre o "extremo algébrico" (redes holomorfas) e os aproximadores universais padrão (redes ReLU).
- Linha de Base ReLU: Redes ReLU padrão memorizam todas as tarefas e exibem grokking em tarefas não lineares difíceis, com atrasos que escalam com a complexidade da tarefa.
- Ablação de Gargalo: Ao comprimir uma rede ReLU via um gargalo linear, os autores traçam um caminho contínuo do FAIL (quando o gargalo é estreito demais para ajustar os dados) para o MEM (memorização sem generalização) até o GROK (com um gap diminuindo conforme a capacidade aumenta). Isso demonstra que o regime "FAIL" observado no modelo holomorfo é o limite estrutural do espectro capacidade-grokking.

Significância e Alegações
O artigo argumenta que a pergunta de "quando uma rede fará grok" é uma questão secundária que pressupõe a condição primária de representabilidade.

Regime Limite: A rede holomorfa representa o caso limite onde a classe expressável colapsa para um objeto algébrico fixo. Neste regime, a competição entre as velocidades de memorização e generalização (o mecanismo do grokking) nunca começa porque a fase de memorização é estruturalmente impossogível.
Restrições Estruturais vs. de Otimização: Os resultados distinguem entre dificuldades de otimização (que causam atrasos de grokking em redes padrão) e impossibilidade de representação (que causa falha imediata em redes restritas).
Universalidade da Obstrução: A falha da tarefa $ab$ é mostrada como uma propriedade intrínseca das restrições de rank da arquitetura, não um artefato da codificação fixa de raízes da unidade.

Os autores concluem que seu trabalho define um regime onde a dinâmica do grokking se dissolve em uma questão binária de representabilidade. Embora os resultados algébricos específicos se apliquem a este cenário holomorfo, os experimentos de gargalo sugerem que a estrutura de três regimes (Falha $\to$ Memorização $\to$ Grokking) é uma característica geral do espectro de capacidade, com o modelo holomorfo fornecendo uma condição de contorno rigorosa e analiticamente solúvel para o lado "Falha" desse espectro.