Resumo Técnico: Representações Numéricas Conscientes de Valor para Modelos de Linguagem Transformer

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) baseados em Transformer frequentemente demonstram um forte desempenho em benchmarks de raciocínio matemático complexo, mas permanecem frágeis ao lidar com compreensão numérica básica e operações aritméticas. A limitação central identificada é que os LLMs padrão processam números como tokens simbólicos (sequências de caracteres ou subpalavras) cujos embeddings são aprendidos unicamente a partir de estatísticas de coocorrência de tokens. Consequentemente, os modelos carecem de uma representação numérica explícita e contínua. Isso leva a erros sistemáticos em tarefas que exigem comparação de magnitude, ordenação e aritmética, particularmente à medida que o comprimento dos inputs numéricos aumenta. O artigo argumenta que as abordagens atuais de "raciocínio intensivo" (ex: Cadeia de Pensamento ou Chain-of-Thought) frequentemente mascaram essas fraquezas fundamentais ao gerar longos passos intermediários, mas não resolvem o problema subjacente de que os modelos não "sabem" intrinsecamente o que um número representa.

Metodologia

Os autores propõem uma representação numérica consciente de valor que aumenta os inputs tokenizados padrão com um token de prefixo dedicado, denotado como <num>, inserido imediatamente antes dos tokens de forma superficial do número.

Arquitetura e Mecanismo

1. Embedding Condicionado ao Valor: Diferente dos tokens padrão, o embedding do token <num> não é fixo. Em vez disso, ele é computado como uma função $f(x)$ do valor numérico subjacente $x$.

   • Fase de Treinamento: O verdadeiro valor numérico $x$ está disponível. Um módulo de embedding aprendível (seja um codificador de ponto fixo baseado em MLP ou um codificador recorrente baseado em RNN) computa $f(x)$. Este embedding é injetado na sequência de entrada do modelo junto com os embeddings de tokens padrão.
   • Fase de Inferência: O verdadeiro valor $x$ não está disponível. Uma cabeça de projeção mapeia o estado oculto $h$ que precede o token <num> para um espaço de embedding, aproximando o embedding baseado no valor ($proj(h) \approx f(x)$). Este embedding projetado condiciona a geração dos subsequentes tokens numéricos.

2. Variantes do Módulo de Embedding:

   • Baseado em MLP: Representa partes inteiras e fracionárias como vetores decimais de comprimento fixo, concatenados com recursos auxiliares (sinal, contagem de dígitos, casas decimais) e projetados através de uma camada feed-forward.
   • Baseado em RNN: Processa partes inteiras e fracionárias independentemente usando Unidades Recorrentes de Portão (GRUs), permitindo sequências de comprimento variável e precisão arbitrária, seguido de concatenação com recursos auxiliares e projeção linear.

3. Objetivo de Treinamento: Para abordar o descompasso entre treino e teste (onde o modelo "trapaceia" ao ver o valor real durante o treinamento, mas deve prevê-lo durante a inferência), os autores utilizam uma função de perda composta:

   • Perda de Modelagem de Linguagem Padrão ($L_{LM}^{emb}$): Treina o modelo usando o verdadeiro embedding baseado no valor $f(x)$.
   • Perda de Modelagem de Linguagem Projetada ($L_{LM}^{proj}$): Treina o modelo usando o estado oculto projetado $proj(h)$ para simular as condições de inferência.
   • Perda de Reconstrução ($L_{rec}$): Minimiza a distância de cosseno entre o estado oculto projetado e o verdadeiro embedding baseado no valor para forçar o alinhamento.
   • A perda total é uma soma ponderada: $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$.

Principais Contribuições

1. Novo Mecanismo de Codificação: A proposta de um token de prefixo consciente do valor cujo embedding é explicitamente condicionado ao valor numérico, desacoplando a representação da magnitude da tokenização de forma superficial.
2. Validação Empírica: Demonstração de que esta abordagem melhora consistentemente o desempenho em um benchmark projetado para isolar a competência aritmética, superando bases fortes sob idênticas condições de treinamento e inferência.
3. Compatibilidade Arquitetural: O método requer modificações mínimas e é diretamente aplicável a qualquer arquitetura Transformer decoder-only sem alterar os tokenizadores ou mecanismos de geração existentes.
4. Código Aberto: A implementação completa, incluindo mudanças arquiteturais, código de treinamento e scripts de avaliação, é liberada para apoiar a reprodutibilidade.

Resultados Experimentais

A abordagem foi avaliada no benchmark NUPA (Yang et al., 2024), que isola habilidades numéricas fundamentais através de inteiros, números de ponto flutuante, frações e notação científica.

• Baselines: Comparado contra um Transformer Padrão (autoregressivo, apenas tokens) e o Numerologic (Schwartz et al., 2024), um método que utiliza descrições de linguagem natural de magnitude (ex: contagem de dígitos) como entrada auxiliar.
• Desempenho:
  • Os modelos propostos NumValue-RNN e NumValue-MLP alcançaram uma acurácia de Correspondência Exata (Exact Match) de 0,724 e 0,720, respectivamente, comparados a 0,687 para o Transformer Padrão e 0,633 para o Numerologic.
  • Melhorias foram observadas em todos os formatos numéricos, tipos de tarefas (aritmética, comparação, conversão) e comprimentos de operandos (até 7 dígitos).
  • A variante baseada em RNN mostrou pontuações de Correspondência Exata ligeiramente superiores, atribuídas à sua capacidade de lidar com sequências de comprimento variável, enquanto a variante MLP mostrou desempenho marginalmente melhor em alinhamento de nível de dígito e estimativa de comprimento.
• Robustez: A lacuna de desempenho entre o método proposto e as bases permaneceu consistente ou aumentou conforme o número de dígitos aumentava, indicando melhor robustez à escala de entrada.

Significância e Alegações

O artigo alega que codificar explicitamente o valor numérico é uma maneira eficaz e eficiente de melhorar a robustez numérica fundamental em modelos de linguagem. Ao injetar informações de magnitude diretamente no espaço de entrada, a abordagem aborda a causa raiz dos erros numéricos básicos, em vez de compensá-los através de cadeias de raciocínio estendidas.

Os autores enfatizam que seu método fornece uma alternativa leve às estratégias intensivas de raciocínio. Eles argumentam que a competência numérica é uma capacidade distinta que requer representação explícita, não meramente um subproduto de um raciocínio aprimorado. Os resultados sugerem que tratar números como medições contínuas, em vez de tokens simbólicos discretos, aumenta significamente a capacidade dos modelos de raciocinar sobre quantidades numéricas.

Limitações Notadas pelos Autores:

• A avaliação é conduzida em nível de protótipo usando modelos treinados do zero em um benchmark restrito; os resultados podem não refletir totalmente o desempenho de modelos pré-treinados de grande escala em cenários complexos de seguimento de instruções.
• O método incorre em um custo de treinamento mais alto devido à necessidade de duas passagens de forward por exemplo (uma para projeção, outra para decodificação), embora isso não afete a latência de inferência.
• Nenhuma sintonia de hiperparâmetros dedicada foi realizada, o que pode impactar as métricas absoltas de desempenho, mas não altera as comparações relativas.