🤖 machine learning

Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic

Este artigo revela que os transformers aprendem habilidades aritméticas por meio de uma "componibilidade fragmentada" não humana e impulsionada por correlação, em vez de regras procedimentais sequenciais, levando a erros de mistura característicos e baixa robustez que persistem apesar do escalonamento do modelo ou da supervisão por scratchpad.

Autores originais: Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

Publicado 2026-08-11

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um quebra-cabeça. No mundo da inteligência artificial, esses robôs são chamados de "Grandes Modelos de Linguagem" (LLMs). Eles são como alunos extremamente entusiasmados que leram quase todos os livros da biblioteca. Eles são famosos por serem capazes de escrever histórias, depurar código e até resolver problemas matemáticos que parecem pertencer a um livro didático do ensino médio. Mas aqui está o problema: só porque um aluno consegue tirar um "A" em um teste prático não significa que ele realmente entenda as regras do jogo. Se você mudar o teste apenas um pouquinho — talvez adicionando um número extra ou rearranjando as palavras — o aluno pode subitamente entrar em pânico e falhar de maneiras estranhas e imprevisíveis. Os cientistas chamam isso de "fragilidade" (brittleness). É como uma casa de cartas que parece perfeita até que uma brisa suave sopra através dela.

Para entender por que isso acontece, os pesquisadores observam como esses modelos "aprendem" novas habilidades. Normalmente, esperamos que eles aprendam como os humanos: passo a passo, construindo uma base sólida antes de passar para o próximo nível. Por exemplo, ao aprender a somar números, um humano aprende a começar pelo fim (a casa das unidades), lidar com qualquer "transporte" (onde um número fica grande demais para um único lugar) e então seguir para as dezenas, centenas e assim por diante. Esta é uma forma de pensar lógica e hierárquica. Mas e se o robô aprender as regras em uma ordem completamente diferente? E se ele aprender os números grandes e assustadores primeiro e os pequenos depois, ou tentar aprender tudo de uma vez? Este artigo mergulha nesse mistério, usando quebra-cabeças matemáticos simples para observar como esses cérebros digitais realmente desenvolvem suas habilidades, revelando que eles podem estar pegando um atalho que parece aprendizado, mas não é exatamente o mesmo que a compreensão humana.

O Quebra-Cabeça Estilhaçado: Como a IA Aprende Matemática de Trás para Frente

Neste estudo, pesquisadores da Universidade de Wisconsin–Madison decidiram parar de adivinhar e começar a observar. Eles treinaram modelos de IA pequenos e simples (chamados de transformers) em tarefas aritméticas sintéticas — basicamente, fazendo-os praticar a adição e a multiplicação de números repetidamente. Mas, em vez de apenas verificar se eles obtinham a resposta correta ao final, eles observaram o processo de aprendizagem em câmera lenta, dígito por dígito. Eles queriam ver como os modelos descobriam as regras.

O que descobriram foi algo parecido com observar uma criança tentando calçar um par de sapatos começando pelos cadarços e depois tentando descobrir onde ficam os dedos dos pés. Os pesquisadores descobriram que esses modelos de IA não aprendem matemática da mesma forma que os humanos. Em vez de começarem pela base (a casa das unidades) e trabalharem seu caminho para cima, os modelos frequentemente aprendiam os dígitos mais altos primeiro.

Imagine que você está somando quatro números grandes. Um humano olharia para a coluna das unidades, somaria tudo, levaria o excesso para a coluna das dezenas e assim por diante. A IA, no entanto, parecia ignorar a coluna das unidades inteiramente no início. Ela focava nos lugares de milhares e centenas, aprendendo esses dígitos perfeitamente enquanto a casa das unidades permanecia uma bagunça. Era como se o modelo estivesse tentando adivinhar o tamanho total da pilha antes mesmo de saber quantos itens individuais havia nela. Os pesquisadores chamam esse fenômeno de "componibilidade estilhaçada" (shattered compositionality). Significa que o modelo está tentando construir uma casa de cartas, mas está empilhando o telhado no chão e esperando que a fundação o alcance mais tarde.

O Atalho da "Correlação"

Por que uma IA superinteligente faria algo tão bobo? O artigo sugere que a resposta reside em como a IA observa seus dados de treinamento. Humanos aprendem matemática entendendo a causa e o efefeito: "Se eu somar esses dois números um, eu obtenho um dez, então devo transportar um". A IA, no entanto, parece estar jogando um jogo de "correspondência estatística". Ela olha para os dados e pergunta: "Quais números costumam aparecer juntos?".

Os pesquisadores descobriram que os dígitos mais altos na resposta estão frequentemente fortemente ligados aos dígitos mais altos nos números de entrada, independentemente do que acontece nos dígitos inferiores. É um padrão forte e fácil de identificar. A IA se agarra a esse padrão fácil primeiro porque é o sinal mais óbvio nos dados. É como um detetive que vê o carro de um suspeito e imediatamente assume que ele é culpado porque tem um carro vermelho, ignorando todas as outras pistas. A IA aprende a regra do "carro vermelho" (os dígitos altos) primeiro porque é a correlação mais fácil de encontrar. Somente mais tarde, depois de dominar os dígitos altos, é que ela tenta descobrir as regras complicadas e bagunçadas para os dígitos inferiores.

Para provar isso, os pesquisadores realizaram um experimento de "sabotagem". Eles pegaram os dados de treinamento e embaralharam os dígitos da casa dos milhares, tornando-os aleatórios. De repente, a IA não conseguiu aprender os dígitos inferiores de jeito nenhum. Ela ficou travada. Isso provou que a IA não estava aprendendo as regras matemáticas em uma ordem lógica; ela estava contando com os dígitos altos para desbloquear o resto do quebra-cabeça. Sem os dígitos altos, todo o processo de aprendizagem colapsou.

O Caos do Aprendizado Paralelo

O problema fica ainda mais confuso quando a IA tenta aprender múltiplas habilidades ao mesmo tempo. Em tarefas como ordenar números ou compará-los, a IA tenta aprender diferentes regras em paralelo. É como um aluno tentando aprender a andar de bicicleta, fazer malabarismo e tocar piano ao mesmo tempo. Às vezes, essas habilidades atrapalham umas às outras.

Os pesquisadores descobriram que, quando a IA aprende essas habilidades simultaneamente, ela cria "erros de mistura". Imagine que você está organizando uma lista de nomes. Um humano verificaria primeiro o comprimento do nome, depois a primeira letra, depois a segunda. A IA, no entanto, pode se confundir. Ela pode pegar a primeira letra de um nome e a última letra de outro, costurando-as em uma palavra nova e sem sentido. O artigo chama isso de "erros de mistura". É como se a IA fosse um chef que aprendeu a picar cebolas e cortar cenouras separadamente, mas, quando solicitado a fazer uma salada, acidentalmente joga a cebola na tigela da cenoura e a cenoura na tigela da cebola, criando uma mistura estranha e inedível.

Esse aprendizado paralelo cria um sistema frágil. Se você pedir à IA para resolver um problema que seja ligeiramente diferente do que ela viu no treinamento — como adicionar um número a mais na lista — ela frequentemente desmorona. As habilidades que ela aprendeu em paralelo começam a brigar entre si, e o modelo produz respostas que são apenas uma mistura confusa das entradas.

O Tamanho ou a Inteligência Resolvem Isso?

Você pode pensar: "Ok, talvez os modelos pequenos estejam apenas confusos. E quanto aos modelos gigantes e superpoderosos que vemos nas notícias? Ou e se dermos a eles um 'bloco de notas' para escreverem seus pensamentos, como um humano faria?".

Os pesquisadores testaram isso também. Eles treinaram modelos muito maiores (até 100 milhões de parâmetros) e até fizeram o ajuste fino (fine-tuning) de um modelo pré-treinado massivo (Pythia-1B) nessas tarefas matemáticas. Eles também tentaram dar aos modelos um "bloco de notas" (scratchpad) onde pudessem escrever as etapas do problema matemático antes de dar a resposta final.

O resultado? Nada mudou.

Mesmo os modelos gigantes aprenderam os dígitos na ordem errada. Mesmo os modelos com blocos de notas ainda priorizavam os dígitos altos primeiro e tinham dificuldades com os baixos. Os blocos de notas ajudaram os modelos a obter a resposta correta mais rápido, mas não corrigiram o estilo de aprendizado subjacente. Os modelos ainda estavam pegando o "atalho da correlação" em vez de aprender a verdadeira lógica passo a passo da matemática. Isso sugere que simplesmente tornar a IA maior ou dar-lhe mais ferramentas não a faz automaticamente pensar como um humano. A "componibilidade estilhaçada" parece ser uma característica fundamental de como esses modelos aprendem a partir dos dados, não apenas um erro em um modelo pequeno específico.

A Conclusão

Este artigo pinta um quadro de uma IA que é incrivelmente capaz, mas fundamentalmente diferente de nós. Ela pode resolver problemas que parecem matemática humana, mas está fazendo isso com um conjunto diferente de regras internas. Ela não está seguando um algoritmo lógico e passo a passo; ela está seguindo um mapa de padrões estatísticos. Quando esses padrões são perfeitos, a IA brilha. Mas quando os padrões mudam apenas um pouco — quando o problema é ligeiramente diferente ou os dados estão bagunçados — o estilo de aprendizado "estilhaçado" da IA faz com que ela tropece.

Os pesquisadores não estão dizendo que a IA está quebrada ou é inútil. Eles estão dizendo que precisamos entender como ela aprende para confiar melhor nela. Se quisermos que a IA seja confiável no mundo real, onde os problemas raramente são perfeitos e os dados estão sempre mudando, precisamos descobrir como ensiná-la a construir suas habilidades em uma hierarquia estável e semelhante à humana, em vez de deixá-la aprender em uma pressa paralela e caótica. Até lá, teremos que ter cuidado ao pedir que esses alunos digitais resolvam um problema que seja apenas um pouco diferente daqueles em que praticaram.

Resumo Técnico: Composição Fragmentada em Transformers

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente alcançam alta precisão em benchmarks composicionais, mas exibem fragilidade sob pequenas mudanças de distribuição. Embora estudos mecanísticos tenham revelado discrepâncias entre a habilidade humana e a dos LLMs (frequentemente baseando-se em um "saco de heurísticas" em vez de algoritmos unificados), a dinâmica de aprendizado de como essas composições não canônicas emergem e como as distribuições de dados as moldam permanece obscura. Especificamente, não se sabe como composições não humanas surgem durante o treinamento e como elas levam a modos de falha sob mudanças de distribuição.

Metodologia

Os autores investigam essas questões treinando pequenos transformers em tarefas aritméticas e lógicas sintéticas onde a decomposição canônica (semelhante à humana) é conhecida. O estudo emprega uma abordagem de caixa preta, agnóstica ao modelo, para rastrear a aquisição de habilidades ao longo do treinamento.

Configuração Experimental

Tarefas:
- Adição: Adição de 4 operandos ( $a+b+c+d=e$ ) com inteiros de múltiplos dígitos.
- Multiplicação: Multiplicação simples ( $a \times b = c$ ) com $a$ de múltiplos dígitos e $b$ de dígito único.
- Comparação: Determinar a relação ( $>, <, =$ ) entre dois inteiros de 4 dígitos.
- Ordenação: Ordenar uma lista de inteiros de 3 ou 4 dígitos.
Geração de Dados: Os autores utilizam estratégias de amostragem específicas, incluindo amostragem "duplamente balanceada" para ordenação (balanceando comprimento e proximidade) e pares de contraste controlados para comparação, a fim de isolar o desempenho de sub-habilidades.
Métricas:
- Taxas de Erro por Dígito: Rastreamento das taxas de erro para posições de dígitos específicos (ex: unidades, dezenas, milhares) ao longo dos passos de treinamento.
- Informação Mútua (MI): Medir os sinais correlacionais disponíveis nos dados de treinamento ( $I(\text{entrada}, \text{saída})$ e MI condicional envolvendo carries/transportes) e comparar com as distribuições preditivas do modelo para identificar quando o modelo coincide com as estatísticas dos dados.
- Estudos de Ablação: Randomização de dígitos de saída específicos (ex: casa dos milhares) para testar a dependência de estruturas latentes de ordem superior.

Principais Contribuições

Dinâmicas de Aquisição Não Canônicas: O artigo identifica um fenômeno denominado "composição fragmentada" (shattered compositionality), onde os transformers adquirem sub-habilidades aritméticas em ordem reversa (ex: aprendendo dígitos da casa dos milhares antes dos dígitos da unidade) ou em paralelo, em vez de seguir as regras sequenciais e hierárquicas usadas por humanos.
Mecanismo de Correspondência Correlacional: Os autores fornecem evidências de que as dinâmicas de aprendizado são impulsionadas pela correspondência correlacional aos dados de treinamento, em vez de raciocínio causal ou procedural. O modelo prioriza os sinais correlacionais incondicionais mais fortes (ex: a relação entre o dígito mais alto da entrada e o dígito mais alto da saída) antes de desbloquear habilidades que dependem de sinais condicionais (ex: propagação de carry/transporte).
Consequências da Aquisição Paralela: O estudo demonstra que a aquisição paralela leva à competição de habilidades. Quando as sub-habilidades são aprendidas simultaneamente, elas podem interferir umas nas outras, causando degradação temporária de desempenho e erros característicos de "mistura" (ex: trocar ou repetir dígitos em tarefas de ordenação) sob mudanças de distribuição.
Persistência entre Arquiteturas: Esses comportamentos mostram-se persistentes através de diferentes escalas de modelos (até 100M de parâmetros), modelos pré-treinados (Pythia-1B), codificações posicionais alternativas (RoPE, T5) e até mesmo com supervisão de raciocínio baseada em scratchpad.

Principais Resultados

1. Ordens de Aprendizado Reversa e Bidirecional

Adição: Contrariando a intuição humana (unidades $\to$ milhares), os modelos consistentemente aprendem primeiro os dígitos mais significativos. Mesmo quando o formato de saída é invertido para incentivar uma ordem humana (unidades primeiro), o modelo ainda aprende os dígitos superiores primeiro, sugerindo uma preferência interna pelos sinais correlacionais mais fortes.
Multiplicação: Os modelos exibem um padrão de aquisição bidirecional, aprendendo tanto da extremidade mais significativa quanto da casa das unidades em paralelo, em vez de uma única ordem sequencial.

2. Sinais Correlacionais Impulsionam o Aprendizado

Alinhamento de MI: Quedas acentuadas na perda de treinamento correspondem precisamente aos momentos em que as previsões do modelo coincidem com a estrutura de informação mútua dos dados de treinamento. O modelo primeiro explora o sinal incondicional $I(a_1, e_0)$ (dígito mais alto) e só mais tarde adquire habilidades dependentes de sinais condicionais como $I(a_i, e_i | c_{i-1})$ (carry).
Evidência de Ablação: Quando dígitos de ordem superior (ex: casa dos milhares) são randomizados nos dados de treinamento, o modelo falha em aprender dígitos de ordem inferior, confirmando que a aquisição de habilidades inferiores é bloqueada pelo sucesso da representação de estruturas latentes de ordem superior.

3. Competição de Habilidades e Fragilidade

Tarefa de Comparação: Os modelos exibem curvas de aprendizado não monotônicas onde a aquisição de uma sub-habilidade (ex: prever igualdade) interfere temporariamente em outra (ex: comparar o dígito dos milhares), levando a um pico temporário nas taxas de erro.
Tarefa de Ordenação: O aprendizado paralelo leva a "erros de mistura", onde o modelo produz inteiros construídos a partir de fragmentos de diferentes entradas (ex: trocar o último dígito de dois números). Esses erros são exacerbados quando os sinais de entrada conflitam, demonstrando que a aquisição paralela não humana cria uma fragilidade concreta sob mudanças de distribuição.

4. Verificações de Robustez

Escalabilidade: Aumentar o tamanho do modelo (10M $\to$ 100M) ou usar modelos pré-treinados não elimina a ordem de aprendizado reversa.
Scratchpads: Embora os formatos de scratchpad (decomposição explícita) acelerem a convergência, eles não restauram a ordem de aprendizado sequencial humana; o modelo ainda prioriza dígitos de ordem superior ou aprende os dígitos restantes em paralelo.
LLMs Modernos: Avaliações em LLMs modernos (Llama, Mistral, Qwen) usando templates GSM8K com cláusulas estendidas mostram fragilidade semelhante: a precisão degrada conforme o número de operandos aumenta, e os modelos frequentemente omitem ou repetem termos, espelhando os erros de mistura observados em pequenos transformers.

Significância e Alegações

O artigo afirma oferecer uma explicação agnóstica ao modelo de um modo de falha de composição enraizado nas dinâmicas de treinamento. Argumenta-se que a fragilidade dos LLMs não é meramente uma limitação arquitetônica estática, mas uma consequência de como a otimização baseada em gradiente prioriza sinais correlacionais sobre regras procedurais.

Descompasso com o Raciocínio Humano: O trabalho destaca um descompasso fundamental entre a aquisição de habilidades durante o treinamento (impulsionada por correlações de dados) e as composições hierárquicas semelhantes às humanas necessárias para um raciocínio robusto.
Implicações para Segurança e Confiabilidade: As descobertas sugerem que o raciocínio "quase" correto é frágil; os modelos podem parecer compor habilidades corretamente em dados dentro da distribuição, mas falham de forma imprevisível quando a demanda composicional é perturbada. Isso tem implicações diretas para o alinhamento, segurança e confiabilidade de LLMs em cenários fora da distribuição.
Limitações: Os autores reconhecem que sua análise é intencionalmente de caixa preta, revelando que a aquisição não humana ocorre e suas consequências, mas não os circuitos internos específicos que as implementam. Eles sugerem que trabalhos futuros devem combinar esta visão de dinâmica de treinamento com análise mecânica de caixa branca.