Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs

Visão Geral

O artigo investiga por que modelos de linguagem mínimos (GPTs) treinados exaustivamente em adição de 2 dígitos falham ao generalizar para adição de 3 dígitos, mesmo quando todas as regras locais de transição de dígitos já foram aprendidas. O autor, Seine A. Shintani, demonstra que essa falha de generalização fora da distribuição (OOD) não é um fenômeno monolítico, mas sim um processo sequencial que se desdobra em quatro estágios distintos e experimentalmente separáveis: barreiras de layout, semântica de "carry" (vai-um), recomposição condicional e resíduos de sinal de dezenas.

1. O Problema

• Contexto: Benchmarks aritméticos são frequentemente reduzidos a uma única pontuação de "correspondência exata" (exact match). No entanto, essa métrica única pode mascarar qualitativamente diferentes tipos de falhas.
• A Lacuna: Um modelo pode dominar todas as regras locais de adição (ex: $9+9=18$) e ainda falhar quando os números são apresentados em um layout diferente (ex: 3 dígitos em vez de 2) ou quando a estrutura semântica das posições muda.
• Questão Central: Quando um GPT mínimo treinado em adição exaustiva de 2 dígitos falha em casos de 3 dígitos, qual é a primeira barreira a ser quebrada, qual a segunda, e o que permanece após cada reparo direcionado?

2. Metodologia

O estudo utiliza um "sandbox" controlado com um GPT mínimo (inspirado no microGPT de Karpathy) para isolar variáveis específicas.

• Configuração do Modelo:
  • Arquiteturas simples: 1 camada (largura 16, 4 cabeças) para estudos analíticos e 2 camadas (largura 32, 4 cabeças) para estudos de ponte e resíduos finais.
  • Treinamento: Adição exaustiva de 2 dígitos ($100 \times 100 = 10.000$ pares), garantindo que todas as transições locais de dígitos estejam presentes.
• Abordagem Experimental:
  • Em vez de divisões aleatórias (hold-out), o estudo utiliza divisões estruturadas que introduzem barreiras qualitativas específicas (mudança de layout, presença de "carry", necessidade de recomposição).
  • Intervenções Emparelhadas (Matched Interventions): Para cada barreira, o autor compara uma intervenção direcionada contra controles rigorosos (ex: mesmo volume de dados, mas conteúdo duplicado; ou diferentes famílias de posições).
  • Métricas: Além da correspondência exata, utilizam-se métricas de precisão token a token, precisão de dígitos superiores vs. inferiores, e a probabilidade condicional $P(\text{exact} | \text{high2\_correct})$ para medir a recomposição.

3. Contribuições Principais e Resultados

O artigo decompõe a falha OOD em quatro estágios sequenciais, onde cada estágio só se torna visível após o reparo do anterior:

Estágio 1: Barreira de Layout (Posicional)

• Fenômeno: Mesmo com regras locais aprendidas, o modelo colapsa quando os números de 0-99 são escritos em formato de 3 dígitos (ex: 049 em vez de 49).
• Descoberta: Viés posicional indutivo (como posições relativas ou sensibilidade à simetria) não resolve sozinho essa falha.
• Solução: Apenas a exposição mista ao layout (treinar o modelo vendo a renderização de 3 dígitos dos mesmos somas de baixo alcance) enfraquece significativamente essa barreira. O modelo precisa "ver" o novo layout para mapear corretamente os papéis das posições.

Estágio 2: Semântica de "Carry" (Vai-um)

• Fenômeno: Após corrigir o layout, a posição das centenas (hundreds) comporta-se como uma bandeira de carry (indicador binário de que houve um vai-um) em vez de um dígito semântico de valor posicional.
• Evidência: Em modelos base, a margem de logits favorece fortemente o dígito "flag" (indicador) em vez do dígito verdadeiro.
• Solução: Probes direcionados (dados de treinamento específicos que forçam a distinção semântica) invertem a margem de logits e reduzem a atenção para dígitos de ordem inferior, corrigindo a interpretação da posição das centenas. Um controle com dados extras (mas sem o probe direcionado) não resolve o problema.

Estágio 3: Recomposição Condicional

• Fenômeno: Mesmo com as centenas corrigidas, o modelo falha em anexar a "cauda" inferior correta (dezenas e unidades) ao estado superior correto.
• Descoberta: Dados apenas com a cauda inferior ou apenas com a parte superior não são suficientes.
• Solução: O fator crítico é o treinamento da cauda inferior condicionada ao estado superior correto (high-conditioned tail data). Isso demonstra que o gargalo não é o ruído nos dígitos inferiores, mas a incapacidade de ligar (bind) a parte baixa à parte alta correta.

Estágio 4: Resíduo de Sinal de Dezenas (Late-Stage Tens-Residual)

• Fenômeno: Após reparar a recomposição, os erros restantes são extremamente localizados: erros de sinal nas dezenas condicionados ao estado de "carry" ($c_2$).
• Padrão: Quando $c_2=0$, o modelo tende a subestimar a dezena; quando $c_2=1$, tende a superestimar.
• Solução: Intervenções de "polaridade de dezenas" (tenspolarity) corrigem esse viés direcionado, elevando a precisão exata no conjunto mais difícil (carry para milhares) de 0,664 para 0,822.

4. Significado e Implicações

• Decomposição de Falhas: O trabalho fornece um vocabulário e uma metodologia para decompor a "generalização aritmética" em barreiras específicas (layout, semântica, composição, resíduos), evitando a visão simplista de que um modelo "sabe" ou "não sabe" aritmética.
• Limitações de Métricas Únicas: Mostra que uma pontuação de precisão única pode esconder falhas qualitativas distintas. Um modelo pode ter 90% de precisão em um conjunto, mas falhar completamente em outro devido a uma barreira específica não abordada.
• Validação de Mecanismos: O estudo valida que intervenções direcionadas (baseadas em hipóteses sobre qual barreira está ativa) são mais eficazes do que aumentos genéricos de dados ou mudanças de arquitetura sem foco.
• Reprodutibilidade: O uso de um sandbox sintético e exaustivo permite que as descobertas sejam testadas e verificadas de forma determinística, servindo como um modelo para análise de falhas em sistemas de IA mais complexos.

Conclusão

O artigo conclui que a falha de generalização aritmética em modelos mínimos não é um evento único, mas um processo em camadas. A generalização bem-sucedida requer a superação sequencial de: (1) a adaptação ao layout, (2) a atribuição correta de significado semântico às posições, (3) a capacidade de recompor partes condicionais e (4) o ajuste fino de resíduos de sinal. Essa abordagem em "estágios" oferece um roteiro claro para diagnosticar e reparar falhas de generalização em modelos de linguagem.