Resumo Técnico: Modelos de Linguagem são Aprendizes Simbólicos em Aritmética

Declaração do Problema

O debate predominante sobre se os Modelos de Linguagem (LMs) realizam aritmética centra-se em saber se estes modelos aprendem a computar algoritmos genuínos ou se apenas dominam o reconhecimento superficial de padrões. Embora os modelos de fronteira tenham alcançado a saturação em benchmarks como o GSM8K, permanece incerto se eles possuem um raciocínio numérico genuíno ou se o seu sucesso é uma "ilusão elaborada" tecida a partir de padrões estatísticos nos dados de treinamento. Este artigo argumenta para esta última hipótese, postulando que os LMs atuam como "aprendizes simbólicos gananciosos" que priorizam os atalhos mais simples possíveis para ajustar as estatísticas do conjunto de dados, em vez de aprenderem o algoritmo abstrato da multiplicação.

Metodologia: Indução de Subgrupos

Para investigar esta hipótese, os autores introduzem a Indução de Subgrupos, um framework prático adaptado da Indução de Solomonoff (SI). A SI é um framework teórico para predição ótima que combina computabilidade e princípios Bayesianos, favorecendo hipóteses mais simples (Navalha de Occam) via complexidade de Kolmogorov.

Os autores adaptam os princípios da SI para o cenário concreto do aprendizado aritmético, definindo um subgrupo como a unidade básica de análise. Um subgrupo $s$ é um mapeamento mínimo de um subconjunto de dígitos de entrada ($A, B$) para um único dígito de saída ($C$). O framework analisa problemas aritméticos decompondo-os nestes subgrupos para identificar os "atalhos" que os LMs utilizam.

Dois métricas complementares são propostas para medir a complexidade do subgrupo:

1. Qualidade do Subgrupo ($Q(s)$): Mede a viabilidade de um atalho calculando a precisão de prever um dígito de saída usando apenas um subconjunto específico de tokens de entrada (mascarando os outros para zero). Um $Q(s)$ alto indica um atalho confiável e de baixo número de tokens.
2. Entropia do Subgrupo ($H(s)$): Mede a ambiguidade inerente ou a variabilidade dos rótulos de saída dentro do espaço de rótulos de um subgrupo. Serve como uma ferramenta computacionalmente eficiente para estimativa de erro e análise de caminhos de raciocínio.

Os autores tratam a escolha de tokens de entrada pelo LM como um processo de seleção de hipóteses. Eles hipotetizam que os LMs seguem uma busca de "árvore de orçamento de tokens", aprendendo inicialmente atalhos de alta qualidade que exigem poucos tokens e incorporando progressivamente padrões de múltiplos tokens mais complexos apenas quando forçados pelo objetivo de aprendizado.

Resultados Principais

1. O Padrão de Acurácia em Forma de U

Experimentos em multiplicação de múltiplos dígitos (3 a 5 dígitos) utilizando Gemma-2-2B e Llama-3.1-8B revelam uma distinta curva de acurácia em forma de U.

• Observação: Os modelos dominam rapidamente o primeiro (dígito mais significativo) e o último (dígito menos significativo) dígitos de saída, atingindo >95% de acurácia. Inversamente, a acurácia cai dramaticamente (para ~10%) para os dígitos no meio da sequência.
• Correlação: Este formato em U não é coincidência; ele espelha perfeitamente a Qualidade do Subgrupo ($Q(s)$) dos subgrupos mais simples possíveis.
  • Extremidades: O dígito menos significativo depende apenas dos últimos dígitos de entrada (ex: $A_2 \times B_2$), e o dígito mais significativo é restringido por estimativas de magnitude usando dígitos iniciais. Estes requerem poucos tokens (baixo $k$) e possuem alto $Q(s)$.
  • Meio: Os dígitos centrais exigem a integração de termos cruzados e operações de transporte (carry) de muitos dígitos de entrada. Subgrupos de poucos tokens para estas posições possuem baixo $Q(s)$, forçando o modelo a aprender mapeamentos de mais tokens e mais complexos mais tarde no treinamento.

2. Dinâmica de Aprendizado como Busca em Árvore

Os autores interpretam a dinâmica de treinamento como uma busca em uma "árvore de orçamento de tokens".

• Fase 1: O modelo ajusta rapidamente as "folhas" fáceis da árvore (dígitos das extremidades) usando o mínimo de tokens.
• Fase 2-n: À medida que os erros residuais persistem nas posições centrais, os gradientes impulsionam o modelo a incorporar subgrupos maiores (mais tokens) para resolver a ambiguidade.
• Conclusão: Os LMs não aprendem o algoritmo da multiplicação como um todo; eles aprendem uma hierarquia de mapeamentos de símbolo para símbolo, começando pelo caminho de menor resistência.

3. Entropia de Subgrupo e Cadeia de Pensamento (CoT)

O artigo estende o framework para o raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT):

• Estimativa de Erro: A entropia do subgrupo ($H(s)$) correlaciona-se fortemente com o desempenho do modelo. Tarefas com menor entropia agregada (ex: aritmética modular com módulos menores) produzem maior acurácia.
• Otimização de CoT: Em um cenário de CoT, a decomposição de um problema de multiplicação em etapas (ex: Multiplicação Egípcia vs. Multiplicação Padrão) afeta o desempenho. O estudo encontra que caminhos de CoT com a menor entropia de subgrupo agregada consistentemente alcançam a melhor acurácia. Isso sugere que os LMs preferem estratégias de raciocínio compostas pela sequência mais fácil de atalhos simbólicos.

Principais Contribuições

1. Framework de Indução de Subgrupos: Um framework prático e inovador derivado da Indução de Solomonoff para analisar os mecanismos de aprendizado de LMs em aritmética, decompondo problemas em mapeamentos mínimos de entrada-saída.
2. Descoberta da Acurácia em Forma de U: Identificação de um padrão consistente de acurácia em forma de U na multiplicação de múltiplos dígitos, fornecendo evidência empírica de que os LMs enfrentam dificuldades com as interdependências complexas dos dígitos centrais enquanto dominam os dígitos das extremidades via atalhos simples.
3. Explicação do Mecanismo: Demonstração de que o formato em U é uma consequência direta da hierarquia de "orçamento de tokens", onde os modelos priorizam atalhos de baixo número de tokens e alta qualidade (Navalha de Occam) antes de aprender padrões complexos.
4. Entropia como Métrica: Introdução da Entropia de Subgrupo como uma métrica computável e eficiente para estimar limites de erro e avaliar a complexidade de caminhos de raciocínio em configurações de CoT.

Significância e Alegações

O artigo afirma que o caminho para o domínio aritmético para LMs não é pavimentado pela descoberta de algoritmos abstratos, mas sim por uma cascata de atalhos simbólicos simples e aprendidos hierarquicamente.

• Implicação para Confiabilidade: As descobertas sugerem que os LMs não desenvolvem um raciocínio numérico genuíno, mas sim uma capacidade sofisticada de reconhecimento de padrões que é frágil a cenários fora da distribuição (out-of-distribution) onde os atalhos simples falham (ex: cálculos de dígitos centrais em multiplicações complexas).
• Ponte Teórica: O trabalho une a predição universal teórica (Indução de Solomonoff) com arquiteturas neurais modernas, oferecendo uma lente para entender como os LMs aprendem, em vez de apenas o que eles alcançam.
• Utilidade Prática: O framework fornece ferramentas (Qualidade de Subgrupo e Entropia) para diagnosticar gargalos de aprendizado e otimizar estratégias de treinamento, como a curadoria de dados para revelar os tokens necessários para os dígitos centrais ou o design de caminhos de CoT que minimizem a complexidade simbólica.

Os autores concluem que entender os LMs como aprendizes simbólicos gananciosos é crítico para o desenvolvimento de uma IA confiável, pois destaca as limitações dos modelos atuais em lidar com tarefas que não podem ser decompostas em mapeamentos simples de poucos tokens.