💬 NLP

AI-rithmetic

O artigo investiga por que modelos de IA de ponta falham em aritmética básica, demonstrando que o erro de precisão aumenta com o número de dígitos e que a maioria das falhas deve-se a problemas de alinhamento de operandos (relacionados à tokenização) ou falhas no transporte de valores (*carry*).

Autores originais: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Publicado 2026-02-12

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🧠 O Paradoxo do "Gênio que não sabe somar": Entendendo por que a IA falha no básico

Imagine que você tem um amigo que é um gênio absoluto. Ele consegue explicar a teoria da relatividade, compõe sinfonias complexas e resolve problemas de física que deixariam Einstein de cabelo em pé. Mas, quando você pede para ele somar 457 + 892, ele trava, olha para você com cara de paisagem e responde "1350".

Parece absurdo, certo? Mas é exatamente isso que está acontecendo com as IAs mais avançadas do mundo (como o GPT-5 ou o Claude). Este artigo da Google investiga por que esses "gênios digitais" são tão brilhantes para coisas difíceis, mas tão atrapalhados para o básico.

Os pesquisadores descobriram que o erro da IA não é "burrice" no sentido humano, mas sim um problema de "engrenagens desalinhadas". Eles dividiram os erros em dois grandes vilões:

1. O Vilão do "Desalinhamento" (A Analogia do Prato de Comida) 🍽️

Imagine que você está tentando comer uma sopa com uma colher. Se você posicionar a colher corretamente, tudo flui. Mas, se você estiver com a mão meio torta e a colher ficar deslocada para o lado, você vai acabar derrubando a sopa ou pegando o lado errado do prato.

Isso é o que acontece com modelos como o GPT-5. Por causa da forma como a IA "lê" os números (um processo chamado tokenização), ela às vezes "desloca" os algarismos. É como se ela tentasse somar o número 123 com o 456, mas, na cabeça dela, o 456 estivesse "escorregado" para o lado, como se fosse 45,6 ou 4560. Ela não erra a conta; ela erra o alinhamento das peças.

2. O Vilão do "Vai um" (A Analogia do Dominó de Precisão) 🎲

Sabe quando você está jogando uma sequência de dominós e, se um cair um milímetro fora do lugar, a corrente toda quebra? A soma de números grandes é exatamente assim: é uma reação em cadeia. Quando você soma 9 + 1, você tem que "levar um" para a próxima coluna.

Os pesquisadores chamaram isso de "Erro de Transporte Próximo". A IA é como um jogador de dominó que, de vez em quando, tem um pequeno tique nervoso. Na hora de "levar o um" para a próxima coluna, ela ou esquece de levar, ou leva quando não devia. Como a conta é uma sequência de passos, se ela errar um "vai um" lá no começo, o erro se espalha e o resultado final vira uma bagunça. É um erro de precisão mecânica, não de lógica.

🔍 O que isso nos ensina?

O artigo traz uma lição importante: Tamanho não é documento.

A gente costuma pensar: "Se a IA está ficando maior e mais inteligente, ela vai aprender a somar perfeitamente". Mas o estudo mostra que apenas "dar mais cérebro" (mais dados e mais potência) para a IA não resolve o problema. É como tentar ensinar um pianista a tocar uma nota perfeita apenas dando a ele um piano maior; se o dedo dele tiver um tique nervoso, o erro continuará lá.

Em resumo: As IAs atuais não "pensam" como nós. Elas não têm uma calculadora interna sólida; elas tentam "prever" o próximo número como se estivessem completando uma frase. Para elas, a matemática é uma linguagem, e às vezes elas cometem erros de "gramática numérica".

Para que as IAs sejam realmente confiáveis, não basta que elas sejam gênios da filosofia; elas precisam aprender a alinhar as colunas e a não esquecer o "vai um"!

Resumo Técnico: AI-rithmetic*

1. O Problema

O artigo investiga um paradoxo central no desenvolvimento de Inteligência Artificial: embora os modelos de linguagem de grande escala (LLMs) de fronteira demonstrem capacidades excepcionais em matemática avançada (como provar teoremas e resolver problemas de olimpíadas), eles apresentam falhas persistentes e sistemáticas em tarefas de aritmética básica, como a soma de números inteiros. O estudo busca entender por que o aumento da escala dos modelos não resolve esse problema e quais são os padrões subjacentes a esses erros.

2. Metodologia

Os pesquisadores realizaram uma investigação sistemática utilizando uma vasta gama de modelos de fronteira (incluindo Claude Opus 4.1, GPT-4o, GPT-5, Gemini 2.5 Flash/Pro e Gemma 3 27B).

Configuração Experimental: Foram gerados prompts de soma de dois números ( $A + B$ ) para comprimentos de dígitos ( $d$ ) variando de 1 a 100.
Métrica de Avaliação: A precisão foi medida comparando a resposta extraída do modelo com a soma correta. Para lidar com diferentes formatos, utilizou-se a "distância de edição" (edit distance).
Classificação de Erros: Os erros foram categorizados em três tipos principais para análise diagnóstica:
1. Misalignment (Desalinhamento): Quando um dos operandos é deslocado lateralmente (para a esquerda ou direita) durante o processo de soma.
2. Close Carry Errors (Erros de "Vai Um" Limítrofes): Erros ocorridos quando a soma de uma coluna é 9 (o modelo carrega um valor indevidamente) ou 10 (o modelo falha em carregar o valor).
3. Runaway Errors (Erros de Divergência): Respostas que se tornam excessivamente longas (milhares de dígitos).

3. Principais Contribuições e Resultados

O estudo revela que o desempenho dos modelos não é apenas ruim, mas segue padrões previsíveis e explicáveis:

Degradação com a Escala: A precisão de quase todos os modelos (exceto quando utilizam execução de código Python) cai drasticamente à medida que o número de dígitos aumenta. O desempenho não é necessariamente monotônico (alguns modelos podem ser melhores em números de certos comprimentos do que em outros).
Explicabilidade dos Erros: A grande maioria dos erros é explicável por dois mecanismos:
- Desalinhamento: Explica a maior parte dos erros no GPT-5 e Gemini 2.5 Pro.
- Close Carry: Explica a maioria dos erros no Claude Opus 4.1.
- No total, esses dois tipos explicam, respectivamente, 87,9%, 62,9% e 92,4% dos erros dos modelos citados.
A Influência da Tokenização: O artigo demonstra uma correlação direta entre erros de desalinhamento e o método de tokenização. Modelos como GPT-5 e GPT-4o, que utilizam tokens de múltiplos dígitos (grupos de 3), apresentam uma periodicidade na precisão (picos de acerto em comprimentos de dígitos múltiplos de 3). Isso sugere que a forma como o texto é fragmentado em tokens confunde a capacidade do modelo de alinhar os números.
Natureza Estocástica dos Erros de Carry: Os erros de "vai um" (carry) parecem ocorrer de forma independente em cada coluna. O estudo propõe um modelo probabilístico onde o modelo "lança uma moeda" em cada coluna crítica; os dados empíricos (especialmente para o Gemma 3) alinham-se fortemente com uma distribuição geométrica de erros independentes.

4. Significância

Este trabalho é significativo por vários motivos:

Desmistificação da "Inteligência" Geral: Ele prova que a capacidade de raciocínio de alto nível não implica em competência algorítmica básica. Os modelos não estão "calculando" como humanos ou máquinas tradicionais, mas sim utilizando estratégias de aproximação que falham sistematicamente.
Crítica ao Escalonamento (Scaling Laws): O estudo sugere que apenas aumentar o tamanho dos modelos (mais parâmetros/dados) pode não ser suficiente para resolver falhas de precisão aritmética, pois o problema está enraizado na arquitetura (auto-regressão) e no processamento de entrada (tokenização).
Diagnóstico de Falhas: Ao identificar que os erros são "idiosincráticos" (dependentes do design do modelo), o artigo fornece um roteiro para desenvolvedores: para resolver a aritmética, pode ser necessário mudar a forma como os números são tokenizados ou como o modelo gerencia estados de memória de curto prazo (como o "vai um").

Conclusão do Artigo: A aritmética serve como uma "sonda" (probe) para mostrar que os LLMs atuais possuem fraquezas imprevisíveis que podem comprometer sua confiabilidade em aplicações de uso geral onde a precisão absoluta é necessária.