Numbers Already Carry Their Own Embeddings

Resumo Técnico: Embeddings de Operação Preservada Adélicos (AOE)

Definição do Problema
Apesar dos recentes marcos no raciocínio matemático por modelos de linguagem de grande escala (LLMs), um gargalo fundamental persiste: o "problema do número". As arquiteturas atuais tratam predominantemente os números como sequências de caracteres por meio de esquemas de tokenização como o Byte Pair Encoding (BPE). Essa abordagem fragmenta valores numéricos em unidades de subpalavras arbitrárias, despojando-os das relações intrínsecas aditivas e multiplicativas que definem os números. Consequentemente, os modelos exibem um raciocínio frágil, generalização inconsistente e erros sistemáticos em tarefas que exigem precisão aritmética. Embora tentativas anteriores tenham explorado embeddings contínuos ou codificações posicionais dígito a dígito, esses métodos frequentemente dependem da esperança de que os modelos redescubram implicitamente as regras matemáticas durante o treinamento, em vez de incorporá-las diretamente.

Metodologia: Embeddings de Operação Preservada Adélicos (AOE)
Os autores propõem o AOE, uma representação livre de treinamento fundamentada na teoria algébrica dos números. Em vez de tokenizar números, o AOE constrói embeddings dentro de um espaço adélico, que unifica a reta real com as complementações $p$-ádicas dos números racionais.

• Fundamentação Matemática: A construção utiliza o Anel de Adeles ($\mathbb{A}_\mathbb{Q}$), representando um número racional $q$ como uma tupla contendo seu valor real ($a_\infty$) e suas expansões $p$-ádicas ($a_p$) para um conjunto selecionado de primos.
• Preservação de Estrutura: Por design, esta representação preserva a estrutura algébrica coordenada a coordenada. Para quaisquer racionais $q_1, q_2$:
  • $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
  • $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
    Aqui, $\oplus$ e $\otimes$ denotam operações coordenada a coordenada nas vetores reais e $p$-ádicos concatenados.
• Construção do Embedding: Para gerar o embedding para um racional $q = n/m$:
  1. Componente Real: Representado como um vetor de comprimento $N$ na reta real.
  2. Componentes $p$-ádicos: Para um conjunto fixo de primos, os autores computam expansões $p$-ádicas de $N$ dígitos. Isso envolve resolver a congruência $mx \equiv n \pmod{p^N}$ usando o Lema de Hensel para elevar iterativamente as soluções de módulo $p$ para módulo $p^N$.
  3. Concatenação: O vetor real e os vetores $p$-ádicos truncados são concatenados para formar um tensor de forma $(n_p + 1) \times N$, onde $n_p$ é o número de primos escolhidos.
• Integração: O AOE é agnóstico à arquitetura e pode ser utilizado de forma direta (plug-and-play). Ele substitui as camadas de embedding padrão de Transformers por tensores adélicos pré-computados. Para preservar a informação estrutural, uma codificação posicional 2D leve é adicionada, codificando a posição da sequência, o índice do primo e o índice do dígito.

Principais Contribuições

1. Proposição do AOE: Uma representação livre de treinamento e algebricamente fundamentada que respeita diretamente a estrutura numérica sem exigir retreinamento específico para a tarefa.
2. Abordagem do "Problema do Número": O trabalho enquadra o AOE como um remédio principiado para o gargalo de representação numérica na IA, oferecendo um caminho para superar as limitações das abordagens baseadas em tokens.
3. Validação Empírica: Os autores demonstram que Transformers equipados com AOE superam os baselines padrão em benchmarks de combinatória algébrica, alcançando precisão perfeita em tarefas onde modelos anteriores falharam.

Resultados Experimentais
Os autores avaliaram o AOE no Dataset de Combinatória Algébrica (ACD), um benchmark projetado para conjecturas de nível de pesquisa em combinatória algébrica. Os experimentos compararam um baseline de Transformer padrão (usando nn.Embedding treinável e codificações posicionais senoidais) contra um Transformer equipado com AOE (usando tensores adélicos fixos e pré-computados).

• Desempenho: Através de seis tarefas de classificação (incluindo caminhos de rede, classes de mutação de quiver e polinômios de Schubert), o modelo AOE superou consistentemente o baseline.
• Conquista Notável: O modelo AOE alcançou 100% de precisão no benchmark Weaving Patterns (para $n=6$ e $n=7$), uma tarefa que historicamente resistiu a grandes modelos de linguagem e onde o baseline obteve apenas ~53%.
• Generalização: As melhorias variaram de ganhos modestos (ex: caminhos de rede) a saltos dramáticos (ex: polinômios de Schubert e classes de mutação de quiver), com perdas de teste menores indicando melhor calibração do modelo.
• Eficiência: Embora o AOE introduza overhead computacional (o treinamento é cerca de 4 a 5 vezes mais lento devido à pré-computação e à codificação posicional 2D), os ganhos de desempenho foram alcançados sem aumentar o número de parâmetros treináveis; de fato, o baseline possuía mais parâmetros treináveis.

Significância e Alegações
O artigo postula que os números contêm inerentemente a estrutura necessária para sua própria representação. Ao tornar essa estrutura explícita através do AOE, os modelos neurais podem alcançar níveis de confiabilidade em tarefas matemáticas simbólicas que escapam até mesmo aos maiores LLMs.

Os autores argumentam que o futuro do raciocínio de IA depende da incorporação das estruturas matemáticas dos próprios objetos, e não apenas da linguagem usada para descrevê-los. O AOE serve como uma prova de conceito de que ideias da teoria algébrica dos números podem funcionar como componentes plug-and-play em arquiteturas neurais, sugerindo um caminho para unir o rigor simbólico à escalabilidade neural.

Limitações Reconhecidas pelos Autores

• Escopo: O framework atual é restrito aos números racionais ($\mathbb{Q}$) devido à definição do Anel de Adeles. Estender isso para irracionais, valores complexos ou constantes transcendentais requer novas ferramentas teóricas.
• Hiperparâmetros: A seleção de primos e a precisão de dígitos é atualmente heurística e manual; estratégias mais adaptativas são necessárias para eficiência.
• Custo Computacional: A pré-computação e a codificação posicional 2D aumentam significativamente o tempo de treinamento em comparação com os embeddings padrão.