💬 NLP

LLMs Know More About Numbers than They Can Say

O estudo revela que, embora modelos de linguagem de grande escala (LLMs) frequentemente falhem ao comparar verbalmente números com notações mistas, suas representações internas codificam com precisão as magnitudes logarítmicas desses valores, e o refinamento dessas representações internas por meio de *fine-tuning* pode melhorar significativamente sua capacidade de raciocínio numérico explícito.

Autores originais: Fengting Yuchi, Li Du, Jason Eisner

Publicado 2026-02-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fengting Yuchi, Li Du, Jason Eisner

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo muito inteligente, que leu milhões de livros e sabe responder a perguntas complexas de matemática. Mas, se você perguntar a ele: "O que é maior: 5,7 vezes 10 ao quadrado ou 580?", ele pode ficar confuso e errar, mesmo sabendo a resposta.

Este artigo de pesquisa, escrito por cientistas da Universidade de Jiao Tong de Xangai e da Universidade Johns Hopkins, investiga exatamente esse mistério nos Modelos de Linguagem (LLMs), como o GPT-4 ou o Llama.

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. O Segredo Escondido: "O que eles sabem vs. o que eles dizem"

Os pesquisadores descobriram uma coisa fascinante: os modelos sabem muito mais do que conseguem dizer.

A Analogia da Biblioteca Silenciosa: Imagine que o cérebro do modelo é uma biblioteca gigante. Dentro dela, os livros sobre números estão organizados perfeitamente. Se você pudesse entrar na biblioteca e olhar para os livros (o que os pesquisadores chamam de "estados ocultos" ou hidden states), veria que o modelo sabe exatamente o tamanho de cada número. Ele consegue comparar 5.700 com 580 instantaneamente.
O Problema da Voz: O problema é que, quando você pede para o modelo falar a resposta (gerar texto), ele parece ter um "gagueira" ou uma "amnésia momentânea". Ele sabe o número, mas falha ao tentar transformá-lo em uma frase. É como se ele tivesse a resposta escrita em um papel dentro do bolso, mas quando você pergunta em voz alta, ele esquece de olhar o papel e chuta uma resposta aleatória.

2. A Investigação: Como eles descobriram isso?

Os pesquisadores usaram duas ferramentas principais para investigar o "cérebro" desses modelos:

A Lupa Linear (Probing): Eles usaram uma técnica matemática simples (uma "lupa") para olhar diretamente para o interior do modelo enquanto ele lia os números.
- Resultado: Eles conseguiram extrair o valor dos números com uma precisão impressionante (cerca de 98% de precisão em alguns casos). Isso prova que o modelo realmente entende o tamanho dos números, mesmo que esteja escrito de formas diferentes (como "5,7 x 10²" vs "570").
O Teste de Fala: Depois, eles perguntaram diretamente ao modelo qual número era maior.
- Resultado: A precisão caiu drasticamente, ficando entre 50% e 70% (quase como um chute aleatório).

A Conclusão Chocante: O modelo tem o conhecimento, mas não consegue acessá-lo quando precisa falar. É como um pianista que toca perfeitamente uma música complexa no piano (o processamento interno), mas quando alguém pede para ele cantar a melodia (a verbalização), ele esquece a letra.

3. O Grande Teste: "Treinando o Cérebro para Falar"

A parte mais emocionante do estudo foi o que eles fizeram para consertar isso.

Eles decidiram não apenas perguntar ao modelo, mas ajudá-lo a treinar. Eles adicionaram um "treinador extra" (uma perda auxiliar) durante o processo de aprendizado do modelo.

A Analogia do Treinador de Esportes: Imagine que o modelo é um atleta que sabe correr muito rápido (tem o conhecimento interno), mas tropeça na hora de cruzar a linha de chegada (falar a resposta). Os pesquisadores colocaram um treinador que vigia os músculos do atleta enquanto ele corre, garantindo que ele esteja usando a força certa.
O Resultado: Ao treinar o modelo para prestar atenção nesses "músculos internos" (as representações numéricas), a capacidade de falar a resposta correta melhorou significativamente. Alguns modelos passaram de 50% de acerto para quase 99%!

Resumo em Português Simples

O Modelo Sabe: Os modelos de IA entendem números e conseguem compará-los internamente com muita precisão, mesmo quando os números estão escritos de formas diferentes.
O Modelo Falha: Quando você pede para eles dizem qual é maior, eles erram muito, muitas vezes chutando ou seguindo um padrão errado (como sempre escolher o segundo número).
A Solução: Se você treinar o modelo focando em melhorar essa compreensão interna (o que ele "sente" sobre os números), ele aprende a falar a resposta correta com muito mais facilidade.

Em suma: Os modelos de IA são como crianças que sabem contar nos dedos, mas têm vergonha ou dificuldade de dizer o número em voz alta. Com o treino certo, elas podem aprender a falar o que já sabem.

Título: LLMs Sabem Mais Sobre Números do Que Conseguem Dizer

Autores: Fengting Yuchi, Li Du, Jason Eisner (Shanghai Jiao Tong University & Johns Hopkins University)

1. O Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) de última geração sejam capazes de resolver problemas matemáticos complexos, os autores identificaram uma falha crítica: eles cometem erros frequentes ao realizar comparações numéricas com notação mista.

Exemplo do problema: Ao perguntar "Qual é maior, $5.7 \times 10^2$ ou $580$?", modelos avançados como o GPT-4.1 e modelos open-source menores (7B-8B) falham com frequência, apesar de serem capazes de calcular o valor de $5.7 \times 10^2$ isoladamente.
Questão Central: Os LLMs realmente "sabem" o tamanho desses números (possuem uma representação interna de magnitude), ou eles apenas manipulam tokens textuais sem compreender o valor numérico subjacente? Existe uma lacuna entre o conhecimento interno (representações latentes) e a capacidade de verbalizar esse conhecimento.

2. Metodologia

Os autores utilizaram uma abordagem de sondagem (probing) e ajuste fino (finetuning) para investigar as representações internas dos modelos.

Modelos Testados: Uma variedade de LLMs open-weight de 7B a 8B parâmetros (Llama-2, Llama-3, Mistral, Qwen, DeepSeek-R1, OLMo) e modelos fechados (GPT-4.1, GPT-4.1-mini).
Dados:
- Dados Sintéticos: Pares de números comparando notação científica e decimal (ex: $5.7 \times 10^2$ vs. $580$).
- Dados Reais: Artigos científicos do arXiv (dataset peS2o) para testar generalização em texto real.
Técnicas de Sondagem (Probing):
1. Regressão Linear: Treinaram um classificador linear simples sobre os hidden states (estados ocultos) dos tokens numéricos para prever o log-magnitude ( $\log_2$ ) dos números.
2. Classificação Binária: Treinaram um classificador logístico sobre o estado oculto final do prompt para prever diretamente qual dos dois números é maior ( $a > b$ ).
Ajuste Fino com Perda Auxiliar: Para testar se a melhoria nas representações internas melhora a saída verbal, adicionaram a perda (loss) do classificador de sondagem como um objetivo auxiliar durante o finetuning do modelo ( $L_{total} = L_{LM} + \beta L_{cls}$ ).

3. Principais Contribuições e Descobertas

A. Representações Internas Precisas (O Modelo "Sabe")

Codificação Linear: Descobriram que as magnitudes logarítmicas de números (tanto em notação decimal quanto científica) são codificadas linearmente nas camadas ocultas dos LLMs.
Alta Precisão de Sondagem:
- Em dados sintéticos, uma simples projeção linear consegue recuperar os números com um erro relativo mediano de apenas 2,3%.
- Em dados do arXiv (mais ruidosos), o erro relativo foi de 19,06%, mas ainda com alta correlação ( $R^2 > 0.5$ ).
- Classificadores lineares alcançam >90% de precisão ao determinar qual número é maior, mesmo quando os números são muito próximos.
Conclusão: Os modelos possuem "senso numérico" interno robusto; a informação necessária para a comparação existe e é acessível via sondagem linear.

B. Falha na Verbalização (O Modelo "Não Consegue Dizer")

Discrepância de Desempenho: Ao contrário da alta precisão das sondas internas, a precisão verbal (respostas geradas pelo modelo) em tarefas de comparação de notação mista é baixa, variando entre 50% e 70% (muitos modelos operam perto do acaso de 50%).
Análise de Erros: Modelos menores (como Llama-2 e Mistral) frequentemente ignoram os valores e escolhem a segunda opção baseada em viés posicional do prompt de exemplo (one-shot), em vez de calcular a magnitude.
Correlação: Existe uma forte correlação entre a qualidade das representações nas camadas iniciais do modelo e a precisão da verbalização final. Modelos com sondas mais eficazes nas camadas iniciais tendem a ter melhor desempenho verbal.

C. Causalidade e Melhoria via Ajuste Fino

Experimento de Causalidade: Ao adicionar a perda da sonda de classificação como objetivo auxiliar durante o finetuning, os autores conseguiram melhorar significativamente a capacidade verbal dos modelos.
Resultados: O ajuste fino com perda auxiliar trouxe uma melhoria adicional de 3,22% na precisão verbalizada sobre o finetuning padrão.
Impacto: Em alguns modelos (como Mistral e Qwen), essa abordagem corrigiu mais de 2/3 dos erros restantes, elevando a precisão para >99%. Isso prova que melhorar a representação interna causa diretamente uma melhoria na capacidade de raciocínio verbal.

4. Resultados Quantitativos Chave

Métrica	Desempenho Verbal (Base)	Desempenho de Sondagem (Interno)	Melhoria com Loss Auxiliar
Precisão (Média)	50% - 70%	> 90% (Classificação)	+3.22% (acima do finetuning padrão)
Erro Relativo (Regressão)	N/A	~2.3% (Sintético) / ~19% (arXiv)	N/A
Observação	Falha em comparar notações mistas	Informação precisa está presente nas camadas ocultas	Ajuste interno corrige falhas de saída

5. Significado e Implicações

Natureza do Raciocínio Numérico: O estudo desafia a ideia de que LLMs apenas "alucinam" números. Eles possuem representações internas sofisticadas e precisas, mas falham em acessá-las durante a geração de texto em cenários de notação mista.
Limitações de Geração vs. Representação: Há uma desconexão entre o que o modelo "sabe" (representações latentes) e o que ele "diz" (geração de tokens). A geração de texto não está otimizada para extrair e verbalizar essas representações numéricas específicas.
Direção para Melhorias: A pesquisa sugere que o finetuning tradicional pode não ser suficiente. Estratégias que visam explicitamente melhorar as representações internas (como adicionar losses de sondagem) são uma via promissora para melhorar a numeracia de LLMs.
Limitações: Os resultados são baseados principalmente em dados sintéticos controlados. A generalização para contextos semânticos complexos (ex: unidades de medida, contexto científico real) e para modelos maiores (acima de 8B) ainda precisa de investigação, embora os autores notem que a tendência se mantém.

Conclusão

O artigo conclui que "LLMs sabem mais sobre números do que conseguem dizer". A numeracia não é uma habilidade ausente, mas sim uma habilidade internalizada que não é acessada de forma confiável durante a geração de linguagem natural. Ao alinhar os objetivos de treinamento com a qualidade dessas representações internas, é possível desbloquear um desempenho verbal significativamente superior.