💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

Este artigo demonstra que diversos modelos de linguagem, apesar de treinados com arquiteturas e sinais distintos, convergem para representações numéricas semelhantes baseadas em características periódicas, embora apenas alguns desenvolvam a capacidade de separação geométrica necessária para classificação modular, dependendo de fatores como dados, arquitetura e tokenização.

Autores originais: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Publicado 2026-04-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando uma grande festa onde diferentes tipos de músicos (Inteligências Artificiais) estão aprendendo a tocar música. O tema da festa é "Números".

Este artigo científico conta uma história fascinante sobre como esses músicos, mesmo vindo de escolas diferentes e usando instrumentos diferentes, acabam aprendendo a mesma coisa de formas surpreendentemente parecidas. Os autores chamam isso de "Evolução Convergente".

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Fenômeno da "Batida" (A Primeira Camada)

Todos os músicos, não importa se são um pianista clássico (modelos antigos), um DJ moderno (Transformers) ou um baterista experimental (RNNs), acabam aprendendo a mesma batida rítmica para os números.

A Analogia: Pense nos números como notas musicais. O estudo descobriu que, ao olhar para o "som" interno desses modelos, eles todos têm picos de energia em ritmos específicos: de 2 em 2, de 5 em 5 e de 10 em 10. É como se todos, independentemente de como foram treinados, soubessem que o mundo dos números funciona em ciclos (como os dedos da mão: 1, 2, 3... 10, e recomeça).
A Surpresa: Até mesmo a simples lista de quantas vezes os números aparecem nos textos (sem nenhum modelo de IA) já tem essa batida. É como se a própria linguagem humana já tivesse esse ritmo embutido.

2. O Grande Problema: Ter o Ritmo não é o mesmo que Dançar (A Segunda Camada)

Aqui está a parte mais importante do artigo. Ter a batida certa (o ritmo) não significa que o músico sabe dançar a coreografia.

A Analogia: Imagine dois dançarinos.
- Dançarino A (Modelos como Transformers): Ele ouve a batida e consegue se mover perfeitamente. Se você pedir para ele pular em grupos de 5, ele faz isso com precisão cirúrgica. Ele entendeu a lógica.
- Dançarino B (Modelos como LSTMs): Ele também ouve a batida perfeitamente (até melhor que o Dançarino A, às vezes!). Mas, quando você pede para ele pular em grupos de 5, ele tropeça e fica confuso. Ele tem o ritmo, mas não consegue usar essa informação para tomar decisões.

O artigo prova matematicamente que ter o "ritmo" (picos de Fourier) é necessário, mas não é suficiente para que o modelo entenda a matemática de verdade.

3. O Que Faz a Diferença? (Os Ingredientes Mágicos)

Então, o que faz o Dançarino A aprender a coreografia e o Dançarino B ficar apenas balançando a cabeça? O estudo descobriu que três coisas precisam se alinhar:

O Contexto (Os Dados): O modelo precisa ver números conversando com palavras e com outros números. Se você esconder os números ou misturá-los aleatoriamente, o modelo perde a capacidade de "dançar", mesmo mantendo o ritmo. É como tentar aprender a tocar uma música ouvindo apenas o metrônomo, sem ouvir a melodia.
O Instrumento (A Arquitetura): Alguns instrumentos são melhores para essa tarefa. Modelos modernos (como Transformers) conseguem conectar as informações de forma que a lógica matemática apareça. Modelos mais antigos (como LSTMs) têm dificuldade em organizar essa informação, mesmo tendo o ritmo.
O Treinador (O Otimizador): A forma como o modelo é corrigido durante o aprendizado também importa. Às vezes, um treinador ajuda o modelo a encontrar a solução mais elegante.

4. A Lição da "Matemática com Múltiplos Passos"

O estudo também olhou para modelos treinados especificamente para somar números.

Soma Grande (Múltiplos Tokens): Quando você pede para somar números grandes (ex: 123 + 456), o modelo é forçado a fazer a conta "pedaço por pedaço" (unidade, dezena, centena). Isso força o modelo a criar uma estrutura geométrica perfeita para entender os números. É como construir uma casa tijolo por tijolo; a estrutura fica sólida.
Soma Pequena (Um Único Token): Se o número inteiro cabe em um único "bloco" (token), o modelo pode "chutar" a resposta ou memorizar sem entender a lógica. A estrutura geométrica não se forma.

Resumo Final

A mensagem principal é: Não se engane com a aparência.

Muitos modelos de IA parecem ter "entendido" números porque mostram padrões rítmicos bonitos (os picos de Fourier). Mas, na verdade, muitos deles apenas memorizaram o ritmo sem entender a dança. Apenas quando a arquitetura certa, os dados certos e o treinamento certo se encontram, o modelo realmente aprende a "dançar" a matemática, conseguindo resolver problemas complexos de forma lógica.

É como se diferentes espécies de animais (convergência evolutiva) desenvolvessem asas para voar, mas algumas aves voam de verdade, enquanto outras apenas têm penas bonitas e não conseguem levantar voo. O artigo nos ensina a olhar além das penas e ver se o voo é real.

1. Problema e Motivação

Modelos de linguagem (LLMs) treinados em texto natural desenvolvem representações periódicas para tokens numéricos. Estudos anteriores (ex: Zhou et al., 2024) demonstraram que embeddings de inteiros em Transformers exibem picos consistentes no domínio de Fourier nos períodos $T = 2, 5$ e $10$.

O problema central investigado neste trabalho é a dissociação entre estrutura espectral e funcionalidade geométrica:

Convergência Espectral: A presença de picos de Fourier (estrutura periódica) é universal em diversos modelos.
Convergência Geométrica: A capacidade de classificar linearmente o resíduo de um número ( $n \mod T$ ) a partir de seu embedding.

A questão fundamental é: A presença de picos de Fourier garante que o modelo aprendeu uma estrutura aritmética modular funcional? O artigo demonstra que a resposta é não. Modelos podem exibir fortes picos de Fourier (como LSTMs e distribuições de frequência de tokens brutos) mas falhar completamente em probes lineares para modularidade, enquanto outros (como Transformers) aprendem ambas as estruturas.

2. Metodologia

Os autores utilizam uma abordagem combinada de teoria matemática e experimentos controlados em larga escala.

A. Definições e Métricas

Análise de Fourier: Calculam a Transformada Discreta de Fourier (DFT) dos embeddings de tokens numéricos ($0 $a$ N-1$) para detectar picos de potência em frequências $1/T$ .
Probes Lineares: Avaliam a "Convergência Geométrica" treinando classificadores lineares (regressão logística) para prever $n \mod T$ a partir do embedding. A métrica principal é o Coeficiente Kappa de Cohen ( $\kappa$ ), que ajusta a acurácia para o acaso.
Teorema 1 (Fundamentação Teórica): Provas matemáticas estabelecendo que a potência de Fourier ( $\Phi_T$ ) é uma condição necessária, mas não suficiente para a separabilidade linear. A separabilidade depende da relação entre a variância entre classes ( $S_B$ ) e a variância intra-classe ( $S_W$ ), especificamente do número de condição de $S_W$ . Se o sinal periódico estiver alinhado com o ruído intra-classe, a separabilidade falha mesmo com picos de Fourier altos.

B. Configuração Experimental

Modelos: Treinaram modelos de ~300M parâmetros (Transformers, Gated DeltaNet, Mamba-2, LSTM) e embeddings clássicos (GloVe, FastText, Word2Vec).
Dados: 10 bilhões de tokens do conjunto FineWeb-Edu com o tokenizador Llama-3 (que atribui tokens únicos para números de 0 a 999).
Ablação de Fatores:
1. Dados: Perturbações controladas para remover sinais específicos (ex: Isolate-k para limitar interação entre números, Swap Numbers para dissociar texto-número, Context Length reduzido).
2. Arquitetura: Comparação entre Transformers, RNNs lineares e LSTMs.
3. Otimizador: Comparação entre AdamW e Muon.
4. Tarefa de Aritmética: Treinamento direto em adição de dígitos (9 dígitos vs. 3 dígitos) para testar a influência da tokenização.

3. Principais Contribuições e Resultados

A. Hierarquia de Dois Níveis de Convergência

O trabalho identifica dois níveis distintos de aprendizado:

Convergência Espectral (Universal): Picos de Fourier em $T=2, 5, 10$ aparecem em todos os sistemas analisados, incluindo LSTMs, embeddings clássicos e até a distribuição bruta de frequência de tokens no corpus. Isso ocorre devido a restrições compartilhadas de tokenização e distribuição de dados.
Convergência Geométrica (Seletiva): A capacidade de separar classes modulares linearmente só ocorre em combinações específicas de dados, arquitetura e otimizador.
- Exemplo: LSTMs treinados nos mesmos dados que Transformers exibem picos de Fourier maiores, mas têm desempenho de probe no nível do acaso ( $\kappa \approx 0$ ).

B. Fatores Determinantes para a Convergência Geométrica

Através de ablações, os autores isolam três fatores críticos:

Sinais de Dados Complementares:
- A co-ocorrência texto-número é essencial (removê-la via Swap Numbers degrada drasticamente a performance).
- A interação entre números (vários números na mesma janela de atenção) melhora a performance.
- Contexto longo ajuda a acumular estatísticas de co-ocorrência ricas.
- Curiosamente, apenas a frequência de tokens (Unigram Replace) mantém os picos de Fourier, mas destrói a capacidade de probe.
Arquitetura:
- Transformers e RNNs Lineares (Mamba, Gated DeltaNet) alcançam forte convergência geométrica.
- LSTMs falham consistentemente em aprender a estrutura modular linear, apesar de aprenderem a estrutura espectral. Isso sugere que a arquitetura limita a capacidade de organizar o espaço de embeddings geometricamente, mesmo com o mesmo sinal de Fourier.
Otimizador:
- O efeito do otimizador (Muon vs. AdamW) depende da arquitetura. O Muon geralmente melhora a performance do Transformer, mas não há uma vantagem universal.

C. O Papel da Tokenização em Tarefas de Aritmética

Ao treinar modelos diretamente em adição:

Adição Multi-Token (9 dígitos): A tokenização força o modelo a resolver subproblemas modulares (cada dígito de saída depende de um módulo 1000 com transporte). Isso gera ambas as convergências (espectral e geométrica) independentemente do otimizador.
Adição Single-Token (3 dígitos): Como o operando e o resultado cabem em um único token, não há pressão modular explícita. O modelo não desenvolve estrutura periódica consistente; a representação depende aleatoriamente do otimizador e da semente, e não ocorre evolução convergente.

4. Significado e Implicações

Evolução Convergente: O fenômeno onde sistemas diferentes (biológicos ou artificiais) desenvolvem traços similares devido a pressões ambientais compartilhadas. Neste caso, a tokenização e a distribuição de dados forçam a emergência de características de Fourier, mas a funcionalidade (aritmética) depende de mecanismos mais complexos.
Alerta para Interpretabilidade: A presença de estruturas visíveis (como picos de Fourier) não garante que o modelo tenha aprendido a função subjacente. Diagnosticar modelos apenas por espectros pode levar a conclusões errôneas sobre a capacidade de raciocínio aritmético.
Distinção Estrutural vs. Funcional: O trabalho fornece um framework para distinguir entre "aprendizado de estrutura superficial" (espectral) e "aprendizado de estrutura funcional" (geométrica).
Generalização: A descoberta sugere que conceitos cíclicos (dias da semana, meses) podem seguir padrões similares, onde a estrutura espectral é universal, mas a utilidade funcional depende de como o modelo interage com esses conceitos no contexto.

Em resumo, o paper demonstra que a "inteligência" numérica em LLMs não é um subproduto inevitável da previsão de próximo token, mas sim o resultado de uma convergência evolutiva complexa que exige a alinhamento correto de dados, arquitetura e objetivos de treinamento para transformar padrões estatísticos (Fourier) em capacidades funcionais (aritmética modular).