Are Arithmetic Heuristic Neurons Form-Invariant? A Mechanistic Analysis of Symbols, Text, and Code in LLMs

Resumo Técnico: Os Neurônios Heurísticos Aritméticos são Invariantes à Forma?

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) frequentemente têm sucesso em uma formulação de um problema matemático, mas falham em uma formulação equivalente (por exemplo, resolvendo uma equação simbólica, mas falhando em um problema de enunciado em linguagem natural com os mesmos operandos). Embora estudos recentes de interpretabilidade mecanística sugiram que a aritmética em LLMs emerge de um "saco de heurísticas" codificado por neurônios MLP esparsos, permanece incerto se esses circuitos internos são específicos para um determinado formato de entrada (simbólico, linguagem natural ou código) ou se são invariantes à forma. Especificamente, não se sabe se as disparidades de desempenho entre formatos decorrem de circuitos internos distintos ou apenas de diferentes estados de ativação de um circuito compartilhado.

Metodologia
Os autores conduziram uma análise mecanística através de três modelos Llama-3 (8B, 3.2-3B e 3.2-1B), focando principalmente no Llama-3-8B. O estudo utilizou três formatos de prompt semanticamente equivalentes: aritmética simbólica, código Python e problemas de enunciado em linguagem natural.

1. Identificação de Neurônios: Os autores empregaram um pipeline de duas etapas para identificar neurônios heurísticos aritméticos:

   • Etapa 1 (Atribuição de Patching/Attribution Patching): Utilizada para classificar eficientemente os 2.000 principais neurônios candidatos por camada com base em seu efeito indireto na probabilidade de saída.
   • Etapa 2 (Ativação de Patching/Activation Patching): Utilizada para reclassificar os principais candidatos usando intervenções causais exatas, retendo os 200 principais neurônios por camada para análise.
   • Seleção de Camada: A análise foi restrita às camadas $\ell \ge 16$ e ao token final (resposta), onde sondas lineares confirmaram a emergência confiável da computação aritmética.

2. Validação de Circuito: Para determinar se os neurônios identificados formam um circuito funcional, os autores realizaram:

   • Intervenções de Manutenção (Keep-Only): Ablação de todos os neurônios não compartilhados para testar a suficiência.
   • Intervenções de Knockout (Knockout): Ablação apenas dos neurônios compartilhados para testar a necessidade.
   • Métrica de Fidelidade (Faithfulness): Mediu a fração da lacuna de desempenho recuperada em relação ao modelo completo e a um modelo completamente ablado.

3. Transferência de Ativação entre Formatos: Os autores transferiram as ativações de neurônios compartilhados de uma execução bem-sucedida em um formato (doador) para uma execução falha em outro formato (alvo) para determinar se as falhas decorrem de estados de ativação, e não de diferenças de circuitos.

4. Classificação de Heurística: Os neurônios compartilhados foram classificados em famílias de heurísticas (ex: intervalo de operandos, módulo do resultado, correspondência de padrões) para avaliar a consistência funcional entre os formatos.

Resultados Principais

• Circuito Compartilhado Compacto: A interseção dos neurônios aritméticos de topo classificados entre os formatos simbólico, de código e de linguagem natural é não-monotônica, atingindo o pico em aproximadamente 50–100 neurônios por camada. Isso indica um núcleo de circuito compacto compartilhado entre os formatos, enquanto neurônios de menor classificação são cada vez mais específicos de cada formato.
• Necessidade e Suficiência:
  • Suficiência: Reter apenas o circuito compartilhado (Keep-Only) recuperou quase todo o desempenho aritmético para adição e subtração (aproximando-se do teto do modelo completo) com 100–500 neurônios por camada.
  • Necessidade: Ablar apenas o circuito compartilhado (Knockout) causou uma degradação rápida na fidelidade, ao passo que ablar um conjunto aleatório de tamanho igual teve efeito negligenciável.
• Recuperação do Estado de Ativação: A transferência das ativações de neurônios compartilhados de um formato doador bem-sucedido para um formato alvo falho recuperou mais de 97% das predições incorretas para adição e subtração, e 80–90% para multiplicação e divisão. Transferências de neurônios aleatórios resultaram em recuperação próxima de zero. Isso confirma que as falhas entre formatos surgem de diferenças nos estados de ativação, não de circuitos distintos.
• Consistência Funcional: Neurônios compartilhados pertencem consistentemente às mesmas famílias de heurísticas em todos os três formatos. A similaridade de Jaccard pareada de atribuições de heurística foi, em média, de 0,75, e a similaridade tripla foi de 0,64, excedendo significativamente o acaso.

Significância e Alegações
O artigo afirma demonstrar que a computação aritmética em LLMs é amplamente invariante à forma ao nível do neurônio. As descobertas sugerem que:

1. Problemas matematicamente equivalentes entre os formatos simbólico, de linguagem natural e de código recrutam o mesmo conjunto esparso de neurônios heurísticos aritméticos causais.
2. A variância de desempenho entre formatos é impulsionada principalmente pelos estados de ativação deste circuito compartilhado, e não pelo recrutamento de circuitos distintos e específicos de cada formato.
3. Circuitos mecanísticos identificados em uma representação (ex: aritmética simbólica) generalizam-se através de modalidades de entrada.

Os autores mantêm um escopo modesto, observando que sua análise é limitada à aritmética de inteiros elementar em modelos base Llama e foca exclusivamente em neurônios MLP no token final. Eles reconhecem que estender esses achados para raciocínio complexo, modelos ajustados por instrução (instruction-tuned) ou mecanismos de roteamento baseados em atenção permanece como uma direção para trabalhos futuros.