IntSeqBERT: Learning Arithmetic Structure in OEIS via Modulo-Spectrum Embeddings

O artigo apresenta o IntSeqBERT, um modelo Transformer dual-stream que utiliza embeddings de magnitude logarítmica e espectro de módulos para capturar a estrutura aritmética de sequências inteiras do OEIS, superando significativamente as abordagens baseadas em tokenização na previsão de termos subsequentes através de uma combinação de regressão, classificação e um solucionador probabilístico baseado no Teorema Chinesa do Resto.

O essencial

Imagine que você tem um livro gigante chamado OEIS (a Enciclopédia Online de Sequências de Inteiros). Ele contém quase 400.000 listas de números, desde contagens simples de maçãs até números tão gigantes que nem o universo inteiro teria espaço para escrevê-los.

O desafio dos cientistas de computação é: como ensinar uma inteligência artificial a entender e prever o próximo número nessas listas?

O problema é que os modelos de IA comuns (como os que usam "tokens", ou seja, transformam números em palavras de um dicionário) têm um grande defeito: eles têm um dicionário limitado. Se você tentar ensinar a um deles um número que não está no dicionário (como um número com 100 dígitos), ele fica confuso e diz "não sei". Além disso, eles têm dificuldade em entender a "música" escondida nos números, como padrões de repetição (ex: números pares e ímpares).

Aqui entra o IntSeqBERT, a nova solução apresentada no artigo. Vamos explicar como ele funciona usando analogias do dia a dia.

1. O Problema: O "Dicionário Quebrado"

Imagine que você está tentando adivinhar a próxima palavra em uma frase, mas o seu dicionário só tem palavras até "Zebra". Se a frase precisar de "Zumbi", você trava.
Os modelos antigos tratam cada número como uma palavra única. Se o número é muito grande, ele não existe no dicionário. Além disso, eles não percebem que o número 12 é "par" e o 13 é "ímpar" de forma natural; eles apenas veem dois códigos diferentes.

2. A Solução: O "Duplo Olhar" (IntSeqBERT)

O IntSeqBERT não usa um dicionário. Em vez disso, ele olha para cada número através de dois óculos diferentes ao mesmo tempo (o que chamamos de "fluxo duplo"):

• Óculo 1: O "Medidor de Tamanho" (Magnitude)
  Imagine que você precisa medir a altura de uma montanha. Você não precisa saber o nome exato de cada pedra, apenas se ela é pequena, média ou gigantesca.
  O modelo olha para o tamanho do número em uma escala logarítmica (como uma régua que cresce exponencialmente). Isso permite que ele entenda números pequenos (como 5) e números astronômicos (como $10^{100}$) sem se perder. Ele aprende a "sentir" o crescimento do número.

• Óculo 2: O "Relógio de Padrões" (Módulo)
  Imagine que você está olhando para um relógio de 12 horas. Não importa se são 13 horas, 25 horas ou 1000 horas; no relógio, elas sempre caem em um número entre 1 e 12.
  O IntSeqBERT olha para o número através de 100 relógios diferentes (módulos de 2 a 101).

  • Um relógio de 2 horas mostra se é par ou ímpar.
  • Um relógio de 3 horas mostra o resto da divisão por 3.
  • Um relógio de 100 horas mostra os dois últimos dígitos.
    Isso revela a "estrutura matemática" oculta. Mesmo que o número seja gigante, o resto da divisão por 7, por exemplo, segue um padrão cíclico e previsível.

3. A Mágica: O "Maestro" (FiLM)

Como o modelo junta essas duas visões? Ele usa uma técnica chamada FiLM (Modulação Linear).
Pense no "Medidor de Tamanho" como um cantor e no "Relógio de Padrões" como um maestro. O maestro não canta, mas ele diz ao cantor: "Neste momento, cante mais alto" ou "Neste momento, cante mais baixo".
O modelo usa os padrões dos relógios (módulos) para ajustar e refinar a estimativa do tamanho do número. É como se a IA dissesse: "Ah, o número é grande, mas como ele deixa resto 1 quando dividido por 3, ele não pode ser qualquer número grande, tem que ser um específico".

4. O "Detetive Matemático" (Solver)

Depois de treinar, a IA precisa dar uma resposta concreta (um número inteiro), não apenas uma estimativa de tamanho ou um resto.
Para isso, o artigo apresenta um Solver (um solucionador). Ele funciona como um detetive que usa o Teorema Chinês do Resto.

• A IA diz: "O número é grande (tamanho), é positivo (sinal), deixa resto 1 ao dividir por 2, resto 2 ao dividir por 3, etc."
• O Solver pega todas essas pistas e cruza os dados. É como montar um quebra-cabeça: se você sabe que um número é par, termina em 5 e é múltiplo de 3, ele pode deduzir exatamente qual é o número.
• Resultado: O IntSeqBERT conseguiu prever o próximo número corretamente 7,4 vezes mais do que os modelos antigos.

5. O Que Eles Descobriram?

Ao analisar os dados, eles notaram algo fascinante:

• Os "relógios" compostos (como o de 96 horas, que é divisível por muitos números menores) são muito mais eficientes para capturar a estrutura matemática do que os relógios de números primos.
• É como se os números compostos fossem "resumos" de vários relógios menores. Quanto mais fatores um número tem, mais informações ele guarda sobre a sequência.

Resumo Final

O IntSeqBERT é uma inteligência artificial que aprendeu a ler sequências de números não como palavras soltas, mas como uma combinação de tamanho e padrões cíclicos.

• Antes: A IA tentava decorar cada número como um nome próprio.
• Agora: A IA entende a "física" dos números (tamanho e regras de divisão).

Isso permite que ela preveja números que nunca viu antes, desde que eles sigam as leis da matemática, abrindo portas para descobertas matemáticas automáticas e para a compreensão de padrões complexos que humanos ainda não perceberam.

Resumo técnico

Resumo Técnico: IntSeqBERT

1. Problema e Motivação

O artigo aborda o desafio de modelar sequências de inteiros da On-Line Encyclopedia of Integer Sequences (OEIS) usando redes neurais. As sequências na OEIS apresentam uma heterogeneidade extrema: os valores variam de constantes de um dígito a fatoriais e exponenciais astronômicos.

• Limitações dos Modelos Atuais: Os modelos de linguagem padrão (baseados em tokenização discreta) falham neste domínio porque:
  1. Não conseguem lidar com valores fora do vocabulário fixo (problema de Out-of-Vocabulary - OOV).
  2. Não conseguem capturar a estrutura aritmética multiplicativa ou periódica inerente aos números, pois "escondem" essa estrutura em IDs de tokens opacos.
  3. A tokenização tradicional quebra a escala para números grandes.

O objetivo é realizar modelagem de sequência mascarada (prever valores ocultos com base no contexto) e previsão do próximo termo, superando as limitações do benchmark anterior (FACT) que usa um Transformer padrão.

2. Metodologia: Arquitetura IntSeqBERT

Os autores propõem o IntSeqBERT, um codificador Transformer de fluxo duplo (dual-stream) projetado especificamente para inteiros, evitando a tokenização tradicional.

• Representação de Entrada Dual-Stream: Cada elemento da sequência é codificado em dois eixos complementares:
  1. Fluxo de Magnitude (Magnitude Stream): Um embedding contínuo em escala logarítmica do valor absoluto ($1 + \log_{10}|x|$). Isso captura o comportamento de crescimento e a escala do número.
  2. Fluxo de Módulo (Modulo Stream): Embeddings senoidais/cossenoidais ($\sin, \cos$) para os resíduos de 100 módulos diferentes (de $m=2$ a $m=101$). Isso captura periodicidade, paridade e estrutura teórica dos números.
• Fusão via FiLM: Os dois fluxos são fundidos usando FiLM (Feature-wise Linear Modulation). O fluxo de módulo gera parâmetros de escala ($\gamma$) e deslocamento ($\beta$) que modulam o fluxo de magnitude. Isso permite que a estrutura aritmética (módulos) guie a estimativa de magnitude.
• Objetivo de Treinamento Multi-tarefa: O modelo é treinado para prever simultaneamente três quantidades para cada posição mascarada:
  1. Magnitude: Regressão do valor logarítmico.
  2. Sinal: Classificação de 3 classes (+, -, 0).
  3. Resíduos: Classificação para 100 módulos diferentes.
• Solver Baseado em CRT: Para recuperar o inteiro concreto a partir das previsões probabilísticas, um Solver utiliza o Teorema Chinês do Resto (CRT). Ele combina as distribuições de resíduos previstas para reconstruir o número inteiro, utilizando uma busca em feixe (beam search) ponderada pela incerteza da magnitude.

3. Contribuições Principais

1. Arquitetura IntSeqBERT: Uma nova abordagem que substitui a tokenização por representações contínuas de magnitude e espectro modular. No modelo Large (91.5M parâmetros), superou a linha de base Vanilla em +8.9 pontos percentuais (pp) na precisão de magnitude e +4.5 pp na precisão média de módulo (MMA).
2. Descoberta Teórica (Análise de Espectro Modular): A análise revelou uma forte correlação negativa ($r = -0.851$) entre o Normalized Information Gain (NIG) e a razão $\phi(m)/m$ (função totiente de Euler). Isso fornece evidência empírica de que módulos compostos (que têm muitos fatores primos) capturam a estrutura aritmética da OEIS de forma mais eficiente via agregação CRT do que módulos primos.
3. Comportamento de Escala: A precisão de módulo e a precisão do Solver melhoram mais acentuadamente com o aumento do tamanho do modelo do que a precisão de magnitude, sugerindo que o raciocínio aritmético se beneficia desproporcionalmente de maior capacidade representacional.

4. Resultados Experimentais

Os experimentos foram realizados em 274.705 sequências da OEIS em três tamanhos de modelo (Small, Middle, Large) em uma única GPU (RTX 3070 Ti).

• Precisão Geral (Modelo Large):
  • Precisão de Magnitude: 95.85% (vs. 86.97% do Vanilla).
  • Precisão Média de Módulo (MMA): 50.38% (vs. 45.85% do Vanilla).
  • Ablação: Remover o fluxo de módulo causou uma queda de 15.2 pp na MMA, confirmando sua importância crítica.
• Previsão do Próximo Termo (Solver):
  • O IntSeqBERT alcançou 19.09% de precisão Top-1 (correspondência exata), uma melhoria de 7.4 vezes em relação à linha de base Vanilla (2.59%).
  • O modelo Vanilla colapsou para 0% de precisão em buckets de magnitude média e alta devido à falha em lidar com valores fora do vocabulário (token UNK), enquanto o IntSeqBERT manteve precisão significativa.
• Análise de Escala:
  • A precisão de módulo aumentou em +10.0 pp ao passar de Small para Large, enquanto a precisão de magnitude aumentou apenas +1.1 pp.

5. Significado e Conclusão

O trabalho demonstra que a incorporação explícita de estrutura aritmética modular (via espectro de resíduos) é fundamental para o aprendizado de sequências de inteiros, superando as limitações dos modelos puramente baseados em tokens.

• Impacto: O IntSeqBERT estabelece uma nova base representacional para IA em matemática, permitindo que modelos aprendam leis aritméticas e combinatórias em vez de apenas memorizar sequências.
• Limitações: O desempenho cai drasticamente para inteiros extremamente grandes ($|x| \ge 10^{20}$) devido a erros acumulados na reconstrução via CRT quando a precisão dos módulos não é perfeita.
• Futuro: Sugere-se o uso de CRT aproximado, expansão do espectro modular e aplicação em geração de conjecturas matemáticas.

Em suma, o IntSeqBERT prova que tratar inteiros como objetos com propriedades contínuas (magnitude) e periódicas (módulos) é superior à visão de inteiros como símbolos discretos para tarefas de raciocínio matemático em larga escala.