🤖 machine learning

The Discrete-Log Clock: How a Transformer Learns Modular Multiplication

Este artigo demonstra que a complexidade aparente dos transformers ao aprenderem multiplicação modular é um artefato do uso de uma base analítica incorreta, revelando que eles na verdade implementam um algoritmo de "Relógio de Logaritmo Discreto" esparso e interpretável ao reduzir a multiplicação à adição no espaço dos caracteres multiplicativos.

Autores originais: Huu Danh Nguyen (Stanford University)

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Huu Danh Nguyen (Stanford University)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Mistério: Por que a IA estava "confusa"?

Imagine que você está tentando ensinar um robô a fazer matemática. Especificamente, você quer que ele aprenda a multiplicação modular (multiplicar dois números e manter apenas o resto quando dividido por um número específico, como 113).

Por muito tempo, os cientistas notaram algo estranho. Quando o robô finalmente "entendia" (um fenômeno chamado grokking, onde ele passa subitamente de memorizar respostas para compreender a regra), a matemática interna parecia bagunçada.

A Visão Antiga: Quando os cientistas olhavam para o cérebro do robô usando ferramentas padrão, viam uma confusão "densa". Parecia que o robô estava usando todas as frequências possíveis de som para resolver o problema. Parecia caótico e difícil de entender, ao contrário de como ele resolvia a adição simples, que parecia limpa e organizada.
O Problema: Os cientistas estavam olhando para o céremetro do robô através dos óculos errados. Eles estavam usando uma "régua padrão" projetada para adição, mas o robô estava, na verdade, fazendo multiplicação.

A Solução: Mudando a Lente

Os autores deste artigo perceberam que, para entender a multiplicação, você deve parar de olhar para os números como eles são (1, 2, 3...) e começar a olhá-los como potências de um gerador.

Pense nisso desta forma:

A Visão Padrão (Aditiva): Imagine o mostrador de um relógio com números de 1 a 12. Se você adicionar 1, você se move um passo. Isso é fácil de ver.
A Visão Escondida (Multiplicativa): Agora, imagine que os números no relógio estão embaralhados. O número "1" é na verdade um "3", o número "2" é um "9", e assim por diante. Nesse mundo embaralhado, a multiplicação funciona exatamente como a adição.

O artigo chama isso de "Relógio de Logaritmo Discreto" (Discrete-Log Clock). É um código secreto onde o problema complexo da multiplicação se transforma em um problema simples de adição.

O Que Eles Descobriram (O Momento "Aha!")

Quando os pesquisadores reexaminaram o cérebro do robô usando esta nova lente "embaralhada" (que eles chamam de transformada de caracteres multiplicativos), o caos desapareceu.

O Ruído Virou Sinal: Em vez de ver um espectro "denso" e bagunçado, eles viram um padrão muito limpo e esparso. O robô não estava usando todas as frequências; ele estava usando apenas 4 frequências específicas para fazer a matemática. Foi como encontrar uma melodia única e clara em uma sala cheia de ruído estático.
Os Neurônios se Organizaram: O robô possui milhares de pequenas unidades de processamento (neurônios). Na visão antiga, eles pareciam aleatórios. Na nova visão, 97% deles estavam perfeitamente sintonizados com apenas uma dessas 4 frequências. Eram como um coro onde cada cantor sabe exatamente qual nota atingir.
O Padrão Emergiu: Quando eles reorganizaram os dados com base neste código secreto, a atividade interna do robô formou listras diagonais perfeitas. Isso provou que o robô aprendeu um truque específico:
- Passo 1: Converter os números em seu "código secreto" (logaritmos discretos).
- Passo 2: Somar os códigos (exatamente como a adição normal).
- Passo 3: Converter o resultado de volta para o número normal.

A Analogia do "Relógio"

O artigo compara isso a um famoso "Algoritmo de Relógio" usado para adição.

Para Adição: O robô aprende a girar o ponteiro de um relógio.
Para Multiplicação: O robô aprende a girar um outro tipo de relógio (o Relógio de Logaritmo Discreto). Uma vez que ele gira o ponteiro nesse relógio especial, a resposta está lá.

Por Que os Cientistas Anteriores Perderam Isso?

Imagine que você está tentando ouvir uma música, mas está usando fones de ouvido com cancelamento de ruído que só deixam passar o baixo. Você ouve um som abafado e bagunçado e conclui: "Esta música é apenas ruído".

Os pesquisadores anteriores estavam usando esses "fones de ouvido" (ferramentas matemáticas padrão). Eles viram o "batido" (espectro denso) e pensaram que o robô estava usando um método complexo e inexplicável. Os autores simplesmente tiraram os fones de ouvido, mudaram para a frequência correta e perceberam que o robô estava, na verdade, tocando uma melodia bela e simples.

A Conclusão

A principal lição deste artigo não é apenas sobre matemática; é sobre como olhamos para as coisas.

A Lição: Se você está tentando entender um sistema complexo (como uma IA ou um grupo de pessoas), certifique-se de estar usando a "linguagem" ou a "base" correta para a tarefa.
O Resultado: Quando você combina sua ferramenta de análise com a estrutura real do problema (neste caso, usando a lente "multiplicativa" para a multiplicação), o ruído confuso e inexplicável transforma-se em um algoritmo claro, simples e compreensível.

O robô não inventou uma maneira nova e misteriosa de fazer matemática. Ele apenas encontrou o código secreto que transforma um problema difícil em um fácil, e os pesquisadores finalmente descobriram como ler esse código.

Resumo Técnico: O Relógio de Logaritmo Discreto

Enunciado do Problema
Embora os mecanismos internos de transformers que aprendem adição modular ( $a + b \mod p$ ) tenham sido totalmente revertidos como representações de Fourier esparsas (o algoritmo "Clock"), o mecanismo para multiplicação modular ( $a \cdot b \mod p$ ) permanecia elusivo. Estudos empíricos anteriores (Doshi et al., 2024; Furuta et al., 2024) relataram que transformers treinados em multiplicação aprendem espectros de Fourier "densos" que exigem todas as frequências, contrastando fortemente com a estrutura esparsa encontrada na adição. Isso sugeria que a multiplicação poderia depender de um algoritmo fundamentalmente diferente e menos interpretável.

Metodologia
Os autores treinam um decoder-only transformer de 1 camada para prever $a \cdot b \mod 113$ para entradas $a, b \in \{1, \dots, 112\}$ . O modelo é treinado em 30% dos dados e deve generalizar para os 70% restantes, exibindo o fenômeno "grokking", onde a generalização ocorre subitamente após um longo período de memorização.

A inovação metodológica central é uma mudança na base de análise. Em vez de aplicar a Transformada de Fourier Discreta (DFT) aditiva padrão aos embeddings de tokens, os autores aplicam a transformada de caracteres multiplicativos. Isso envolve:

Reconhecer que os inteiros não nulos módulo um primo $p$ formam um grupo cíclico $(\mathbb{Z}/p\mathbb{Z})^*$ .
Usar uma raiz primitiva $g$ (aqui $g=3$ ) para mapear as entradas para seus logaritmos discretos: $\alpha = \log_g(a)$ e $\beta = \log_g(b)$ .
Reordenar as linhas da matriz de embedding de acordo com esses logaritmos discretos.
Aplicar a DFT padrão a esses dados reordenados.

Esta abordagem aproveita o isomorfismo de grupo onde a multiplicação no espaço original corresponde à adição no espaço do logaritmo discreto ( $a \cdot b \equiv g^{\alpha + \beta} \mod p$ ).

Principais Resultados

Esparsidade Espectral: Quando analisado na base aditiva, o espectro de embedding parece plano e denso (coeficiente de Gini 0,07). No entanto, na base de caracteres multiplicativos, o espectério torna-se altamente esparso (coeficiente de Gini 0,58), com energia concentrada em apenas 4 frequências chave ( $\{2, 8, 47, 56\}$ ).
Sintonização de Neurônios: Na base multiplicativa, 96,9% (496/512) dos neurônios MLP são "claramente sintonizados" a uma única frequência, com mais de 85% da energia de ativação concentrada nela. Na base aditiva, zero neurônios atendem a esse limiar.
Visualização Estrutural: Quando os mapas de calor de ativação de neurônios são reordenados pelo logaritmo discreto, eles revelam listras diagonais periódicas 2D claras. Isso indica que os neurônios computam funções da forma $\cos(k(\alpha + \beta))$ , efetivamente realizando a adição no espaço logarítmico.
Análise SVD: Os componentes principais da matriz de embedding, quando reordenados pelo logaritmo discreto, exibem estruturas sinusoidais claras, confirmando a codificação de caracteres multiplicativos.

O Algoritmo "Relógio de Logaritmo Discreto"
O artigo conclui que o transformer implementa um algoritmo análogo ao algoritmo "Clock" para adição, denominado Relógio de Logaritmo Discreto. O mecanismo procede da seguinte forma:

Embedding: Inteiros são embedidos como funções sinusoidais de seus logaritmos discretos.
Roteamento: Mecanismos de atenção roteiam esses embeddings para a posição de saída.
Composição: O MLP aplica identidades trigonométricas para computar somas dos logaritmos discretos (efetivamente somando $\alpha + \beta$ ).
Decodificação: O modelo pontua candidatos de saída alinhando-os com a soma computada no espaço logarítmico, onde a resposta correta alcança interferência construtiva através das frequências chave.

Significância e Alegações
A principal contribuição é demonstrar que o "espectro denso" observado em trabalhos anteriores é um artefato de analisar os dados na base errada, e não um reflexo de complexidade algorítmica. Ao combinar a base de análise com a estrutura algébrica da tarefa (o grupo multiplicativo), os autores revelam que a multiplicação é reduzida à adição no espaço do logaritmo discreto.

O artigo afirma que esta metodologia é generalizável:

O espectro multiplicativo esparso foi confirmado em 10 primos diferentes ( $p=59$ a $113$).
O mecanismo é universal entre sementes aleatórias (aprox. 80% das sementes).
Resultados preliminares sugerem que a abordagem se estende à exponenciação modular ( $a^b \mod p$ ) usando um transformer de 2 camadas.

Os autores enfatizam que, para qualquer tarefa algébrica, aplicar a transformada de Fourier no grupo relevante (em vez da DFT aditiva padrão) é essencial para revelar estrutura interpretável onde ferramentas padrão anteriormente viam ruído.