🤖 machine learning

Explaining and Tuning Transformer-based LLMs in Arithmetic Tasks with Human Strategies

Este artigo demonstra que modelos de linguagem de grande escala baseados em transformer podem alcançar um desempenho aritmético aprimorado ao adotar estratégias de aprendizagem semelhantes às humanas, tais como decomposição de tarefas e empoderamento cognitivo, sugerindo processos cognitivos compartilhados entre LLMs e aprendizes humanos, ao mesmo tempo em que aumenta a confiabilidade do modelo por meio da verificação de IA explicável.

Autores originais: Luyu Qiu, Jianing Li, Hwanhee Kim, Xiaoyong Wei, Yueyuan Zheng, Janet Hsiao, Lei Chen

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Luyu Qiu, Jianing Li, Hwanhee Kim, Xiaoyong Wei, Yueyuan Zheng, Janet Hsiao, Lei Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Robô Inteligente e o Problema de Matemática

Imagine um mundo onde os computadores aprenderam a ler quase todos os livros, sites e conversas já escritos. Estes são chamados de Grandes Modelos de Linguagem (LLMs), e são como robôs superinteligentes que podem escrever histórias, responder perguntas e conversar com você. Eles são construídos sobre uma arquitetura especial chamada "Transformer", que atua como um grande holofote, ajudando o robô a prestar atenção nas palavras mais importantes de uma frase ao mesmo tempo. Você pode pensar que um robô que sabe tanto sobre linguagem também seria ótimo em matemática. Mas aqui está a reviravolta: embora esses robôs sejam magos das palavras, eles frequentemente tropeçam em problemas matemáticos simples, como somar dois números. É como uma pessoa que consegue escrever um belo poema, mas não consegue descobrir quanto de troco deve receber em uma loja. Isso é algo sério porque, se quisermos confiar nesses robôs para trabalhos importantes — como ajudar médicos ou gerenciar dinheiro — precisamos saber se eles conseguem fazer o básico corretamente. Cientistas estão tentando descobrir por que esses robôs inteligentes falham em matemática simples e, mais importante, como ensiná-los a melhorar.

A História do Artigo: Ensinando Robôs a Pensar como Humanos

Neste estudo, os pesquisadores decidiram tratar o problema matemático como um mistério a ser resolvido. Eles não apenas jogaram mais dados no robô e esperaram pelo melhor. Em vez disso, fizeram uma pergunta fascinante: Será que esses robôs de IA aprendem matemática da mesma forma que os humanos?

Para descobrir, eles pegaram um modelo Transformer "vanilla" padrão (uma versão básica da IA) e o ensinaram a fazer aritmética de números inteiros — somar, multiplicar e dividir números inteiros. Eles descobriram que a IA não estava apenas adivinhando; ela estava realmente aprendendo, mas estava tendo dificuldades com a ordem das operações e a complexidade das etapas.

A Decomposição em "Lego"
Os pesquisadores perceberam que, assim como os humanos decompõem um problema matemático grande e assustador em etapas menores e mais fáceis, a IA precisava fazer o mesmo. Eles dividiram as tarefas em subtarefas minúsculas.

Para Adição: Imagine somar dois números longos. Você não olha para o todo de uma vez; você soma os últimos dígitos, depois os próximos, transportando quaisquer números "extras" (como carregar um 1) para a próxima coluna. Os pesquisadores descobriram que a IA aprendeu as partes fáceis (somar os últimos dígitos) muito rapidamente, mas ficou confusa quando tinha que lembrar e usar esses números "transportados" para as próximas etapas. É como aprender a andar antes de aprender a correr.
Para Multiplicação: Isso é ainda mais complicado. Quando você multiplica números grandes, precisa fazer várias multiplicações menores e depois somar tudo. O artigo descobriu que a IA estava tentando fazer tudo de uma vez e ficando sobrecarregada. No entanto, quando os pesquisadores ensinaram a IA a escrever a resposta em ordem reversa (começando pelo último dígito e trabalhando para trás, exatamente como os humanos costumam fazer no papel), o desempenho da IA melhorou significativamente para tarefas simples de multiplicador de um único dígito. Mas aqui está o detalhe: para multiplicação complexa de múltiplos dígitos, reverter os dígitos sozinho não resolveu o problema; a IA ainda tinha dificuldades porque as etapas intermediárias eram difíceis demais para um modelo de camada única lidar.

Os Truques "Humanos"
A parte mais emocionante do artigo é que os pesquisadores testaram estratégias que professores humanos usam para ajudar alunos, e elas funcionaram na IA também!

Cadeia de Pensamento (Chain of Thought - CoT): Em vez de perguntar à IA: "Quanto é 57257 vezes 51422?" e esperar uma resposta mágica, eles pediram que ela mostrasse seu trabalho passo a passo. Eles disseram à IA para decompor a grande multiplicação em multiplicações menores e mais fáceis primeiro. Isso é exatamente o que um professor humano diz a um aluno: "Não entre em pânico; apenas faça um passo de cada vez". Quando a IA usou CoT combinada com a reversão dos dígitos da resposta, sua precisão saltou significativamente (atingindo cerca de 79%). Para chegar a pontuações próximas da perfeição, os pesquisadores descobriram que precisavam combinar CoT com a reversão dos dígitos e tornar o modelo "mais profundo".
Reversão da Saída: Como mencionado, escrever a resposta de trás para frente (começando pela casa das unidades) ajudou a IA a focar nos números certos, mas esse truque tem um limite. Funcionou bem para tarefas mais simples, mas não foi suficiente por si só para a multiplicação complexa de múltiplos dígitos. Curiosamente, para a divisão, reverter os dígitos tornou as coisas piores. Isso ocorre porque os cálculos de divisão naturalmente começam a partir dos dígitos de ordem superior (os números grandes à esquerda), o que se alinha com a experiência humana. Tentar reverter a ordem para a divisão confundiu o modelo.
Modelos Mais Profundos: Eles também descobriram que tornar a IA "mais profunda" (adicionando mais camadas de pensamento) ajudou a lidar com as etapas intermediárias complexas da divisão e o trabalho pesado da multiplicação. Isso deu ao modelo o "poder cerebral" extra necessário para acompanhar os resultados intermediários sem perder o fio da meada.

O Que Eles Descobriram (e o Que Não Descobriram)
Os pesquisadores não disseram apenas "funciona"; eles olharam dentro do cérebro do robô para ver como funcionava. Eles usaram uma técnica chamada "visualização" para observar quais partes do mecanismo de atenção da IA estavam sendo iluminadas. Eles viram que a IA possuía "cabeças de atenção" específicas (pequenos trabalhadores internos) que aprenderam a realizar tarefas específicas, como "Multiplicar Base" ou "Gerar Transporte".

A Boa Notícia: A IA pode aprender esses padrões. Quando recebe a estrutura correta (como decompor tarefas, usar CoT, reverter dígitos onde apropriado e ajustar a profundidade do modelo), ela performa quase perfeitamente.
A Má Notícia: Sem essas estratégias humanas, a IA tem dificuldades. Por exemplo, em uma tarefa padrão de multiplicação de 5 dígitos, uma IA básica pode acertar apenas 13%. Mas com os truques "humanos" combinados, ela acerta 100%.
O "Porquê": O artigo sugere que a falha da IA não é por ser "burra", mas porque ela está tentando resolver o problema de uma forma que não condiz com a estrutura da matemática. É como tentar dirigir um carro empurrando-o por trás em vez de usar o volante. Além disso, a maneira "certa" de dirigir depende do carro: para multiplicação, você pode querer ir para trás, mas para divisão, você deve ir para frente.

O Panorama Geral
Este artigo sugíri que modelos de IA baseados em Transformers podem compartilhar alguns padrões de aprendizagem com estudantes humanos. Ambos aprendem coisas simples primeiro, depois as combinam para resolver problemas mais difíceis. Ao usar técnicas de "IA Explicável" (XAI), os pesquisadores puderam ver exatamente onde a IA estava travando e como corrigi-la.

O estudo conclui que, embora os modelos de IA atuais sejam incríveis na linguagem, eles precisam de uma ajudinha com a matemática. Mas a boa notícia é que não precisamos inventar um novo tipo de robô; só precisamos ensiná-los a pensar como nós. Ao usar estratégias como decompor problemas, mostrar o passo a passo, organizar os pensamentos (e saber quando reverter a ordem e quando não) , podemos tornar esses modelos de IA muito mais confiáveis. Este é um grande passo à frente para tornar a IA segura e digna de confiança, especialmente para os trabalhos importantes onde acertar a matemática é a diferença entre o sucesso e o fracasso. O artigo não afirma ter resolvido todos os problemas matemáticos do universo, mas mostrou um caminho claro a seguir: se tratarmos a IA como um aluno que precisa de um bom professor, ela poderá aprender a fazer a matemática que precisamos que ela faça.

Resumo Técnico: Explicando e Ajustando LLMs baseados em Transformer em Tarefas Aritméticas com Estratégias Humanas

1. Definição do Problema

Apesar de alcançarem desempenho de estado da arte em tarefas complexas de Processamento de Linguagem Natural (PLN), os Grandes Modelos de Linguagem (LLMs) baseados em Transformer exibem deficiências significativas em tarefas aritméticas elementares, como cálculos inteiros básicos. Essa discrepância levanta preocupações sobre a confiabilidade e a segurança do modelo. Diferente das tarefas típicas de PLN, que permitem saídas válidas diversas, os problemas aritméticos possuem uma resposta definitiva única, onde cada dígito é crítico. Além disso, operações aritméticas frequentemente exigem o processamento a partir do dígito menos significativo (por exemplo, na multiplicação) ou envolvem etapas intermediárias complexas (por exemplo, transportes/carries e restos) que diferem do processamento padrão da esquerda para a direita da linguagem natural. Os métodos existentes de IA Explicável (XAI) frequentemente tratam os Transformers como caixas pretas ou focam em instâncias específicas de tarefas, falhando em capturar as correlações intrínsecas e os mecanismos internos necessários para o cálculo aritmético sistemático.

2. Metodologia

Os autores propõem um framework abrangente de análise de problemas fundamentado na ciência cognitiva e na psicologia educacional para inspecionar, explicar e melhorar o desempenho do Transformer em aritmética de inteiros. A metodologia consiste em três componentes principais:

2.1 Framework de Análise Abrangente de Problemas

O framework decompõe o processo de aprendizagem em três estágios:

Decomposição de Subtarefas: As tarefas aritméticas são decompostas em subtarefas bem definidas (ex: Soma de Base, Gerar Transporte, Usar Transporte) para identificar quais componentes específicos são difíceis para o modelo.
Análise de Curva de Aprendizagem: Os autores analisam curvas de perda de treinamento por dígito para observar a velocidade de aprendizado de dígitos de saída específicos e subtarefas, comparando-os com padrões de aprendizagem humana (ex: aprendizado mais rápido em subtarefas mais simples).
Visualização do Modelo: Mapas de atenção são visualizados para determinar como cabeças de atenção específicas contribuem para diferentes subtarefas e se os mecanismos internos do modelo se alinham com o funcionamento especializado humano.

2.2 Transferência de Estratégia e Capacidade Humana

Baseando-se na psicologia educacional, o estudo testa se estratégias eficazes para aprendizes humanos melhoram o desempenho do LLM:

Estratégias Computacionais: Reformular regras aritméticas para corresponder ao processamento do modelo, como reverter a ordem dos dígitos da resposta (processamento do dígito menos significativo para o mais significativo) para alinhar com a capacidade do mecanismo de autoatenção de lidar com dependências.
Cadeia de Pensamento (Chain of Thought - CoT): Decompor operações de múltiplos dígitos complexas em uma sequência de etapas intermediárias mais simples (ex: decompor uma multiplicação $m \times m$ em etapas $m \times u$ ).
Empoderamento Cognitivo: Aumentar a profundidade do modelo (número de camadas) para aumentar a capacidade de memória de trabalho e lidar com resultados intermediários complexos.

2.3 Configuração Experimental

O estudo utiliza um Transformer de decodificador único (com Autoatenção de Múltiplas Cabeças e camadas Feed-Forward) treinado em adição, multiplicação e divisão de inteiros. A entrada consiste em operandos e operadores, e o modelo prevê os dígitos da resposta de forma autorregressiva. Os experimentos incluem estudos de ablação em cabeças de atenção, variando o número de dígitos (1 a 15) e testando diferentes formatos de dados (ordinal vs. revertido, com e sem CoT).

3. Principais Descobertas e Resultados

3.1 Padrões de Aprendizagem e Especialização de Subtarefas

Aprendizagem Semelhante à Humana: Os LLMs exibem padrões de aprendizagem semelhantes aos humanos, convergindo mais rapidamente em subtarefas mais simples (ex: calcular o dígito menos significativo sem transporte) e mais lentamente em outras complexas que exigem dependências em cascata.
Especialização de Cabeça de Atenção: A visualização revela que distintas cabeças de atenção se especializam em subtarefas específicas. Por exemplo, na adição, uma cabeça pode lidar com "Soma de Base" enquanto outra lida com "Usar Transporte".
Saturação de Contagem de Cabeças: O desempenho melhora significamente conforme o número de cabeças de atenção aumenta, saturando em três cabeças. Com menos de três cabeças, múltiplas tarefas são forçadas em uma única cabeça, causando confusão e menor precisão. Com três ou mais cabeças, a separação de tarefas é clara.

3.2 Impacto do Formato de Dados e Estratégias

Dígitos Revertidos: Reverter a ordem dos dígitos (processamento do dígito menos significativo) melhora significativamente o desempenho em tarefas de multiplicação, permitindo que o modelo aproveite dígitos gerados anteriormente para cálculos atuais. No entanto, esta estratégia é menos eficaz ou prejudicial para a divisão, que naturalmente procede do dígito mais significativo.
Cadeia de Pensamento (CoT): O prompting de CoT decompõe efetivamente multiplicações $m \times m$ e divisões $m \div m$ complexas em etapas mais simples, reduzindo drasticamente a dificuldade de previsão e melhorando a precisão.
Profundidade do Modelo: Aumentar o número de camadas amplia a capacidade do modelo de lidar com restos intermediários e dependências complexas, particularmente em tarefas de divisão onde modelos de camada única enfrentam dificuldades.

3.3 Melhorias Quantitativas

Multiplicação: Transformers comuns (vanilla) lutam com multiplicação de múltiplos dígitos (ex: caindo para ~13% de precisão para multiplicação de 4 dígitos). Ao combinar formatos de dígitos revertidos, aumento de profundidade e CoT, a precisão atinge quase 100%.
Divisão: Melhorias semelhantes são observadas, com CoT e aumento de profundidade abordando o acúmulo de erros em cálculos de resto.
Estudos de Ablação: Remover cabeças de atenção específicas (ex: Cabeça 2 na multiplicação) causa aumento significativo na perda, confirmando o papel crítico de cabeças específicas em subtarefas específicas (ex: Multiplicação de Base).

4. Principais Contribuições

Framework de Análise de Problemas: O artigo propõe um novo framework combinando decomposição de subtarefas, análise de curva de aprendizagem e visualização para explicar como Transformers lidam com aritmética, indo além da avaliação de caixa preta.
Melhoria de Desempenho via Estratégias Humanas: Os autores demonstram que aplicar estratégias cognitivas humanas (processamento revertido, CoT) e melhorias de capacidade (aumento de profundidade) melhora significativamente a precisão aritmética, sugerindo um processo cognitivo compartilhado entre LLMs e aprendizes humanos.
Interpretabilidade e Insight de Mecanismo: O trabalho fornece uma explicação visual detalhada dos mecanismos internos dos Transformers na aritmética, identificando cabeças de atenção específicas responsáveis por distintas subtarefas e validando essas descobertas através de estudos de ablação.

5. Significância e Alegações

O artigo alega que os LLMs baseados em Transformer compartilham processos cognitivos com aprendizes humanos na aritmética, especificamente em como eles decompõem tarefas e aprendem subtarefas sequencialmente. Ao utilizar verificações de IA explicável (XAI), os autores argumentam que entender esses mecanismos internos é crucial para melhorar a confiabilidade do modelo.

A significância deste trabalho reside no seu potencial para fomentar a confiança nos LLMs para aplicações críticas e de alto risco. Ao demonstrar que as lacunas de desempenho em aritmética não são limitações inerentes à arquitetura, mas sim questões de formato de dados, decomposição de tarefas e capacidade, o artigo oferece um caminho para ajustar modelos para maior confiabilidade. As descobertas contribuem para os campos mais amplos de compreensão e interpretabilidade de modelos, fornecendo uma base para analisar tarefas e arquiteturas mais complexas. Os autores posicionam modestamente este trabalho como uma exploração de semelhanças entre aprendizes de LLM e humanos, apoiada por evidências empíricas, em vez de uma prova definitiva de consciência semelhante à humana.