Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis

Este estudo utiliza interpretabilidade mecânica e intervenções causais em modelos Transformer para demonstrar que a recordação de fatos e o raciocínio dependem de circuitos internos distintos e separáveis, embora interagentes.

O essencial

Imagine que os modelos de Inteligência Artificial (como o ChatGPT ou o Qwen) são como grandes bibliotecas vivas. Elas têm duas habilidades principais:

1. Recitar de cor: Lembrar fatos que já aprenderam (ex: "Qual é a capital da França?").
2. Resolver quebra-cabeças: Usar lógica para conectar ideias e descobrir coisas novas (ex: "Se Paris é a capital da França e a França está na Europa, em que continente está Paris?").

A grande pergunta que os cientistas deste estudo queriam responder era: Será que a biblioteca usa o mesmo "cérebro" para fazer as duas coisas? Será que a parte que memoriza fatos é a mesma que faz o raciocínio lógico?

Para descobrir, os pesquisadores (Harshwardhan, Ashish e a equipe) decidiram fazer uma "cirurgia" no cérebro do modelo, olhando para dentro de cada uma de suas camadas (como se fossem andares de um prédio).

Aqui está o que eles descobriram, explicado de forma simples:

1. O Prédio tem andares com funções diferentes

Eles descobriram que o modelo não usa tudo de uma vez. É como se fosse um prédio de 28 andares:

• Os andares de baixo (iniciais): São como o arquivo morto. Eles são especialistas em "recitar de cor". Quando você pergunta um fato, é aqui que a informação é buscada.
• Os andares do meio: São uma zona de transição, onde as coisas se misturam um pouco.
• Os andares de cima (finais): São como a sala de reuniões de detetives. É aqui que a mágica do raciocínio acontece. O modelo pega as informações dos andares de baixo e as conecta para resolver problemas complexos.

2. Os "Funcionários" (Neurônios) têm especializações

Dentro desses andares, existem milhares de "funcionários" (chamados de neurônios e cabeças de atenção).

• Alguns funcionários só levantam a mão quando é hora de lembrar fatos. Eles ficam calmos quando o modelo precisa pensar.
• Outros só levantam a mão quando é hora de raciocinar. Eles ignoram os fatos simples e focam na lógica.
• É como se você tivesse uma equipe onde uns são especialistas em arquivar documentos e outros são especialistas em resolver crimes. Eles não fazem o trabalho um do outro.

3. O Experimento da "Desconexão" (A Prova Definitiva)

Para ter certeza de que não era apenas coincidência, os pesquisadores fizeram algo arriscado: eles "desligaram" temporariamente os andares e funcionários que pareciam responsáveis por cada tarefa.

• Cenário A: Eles desligaram os "arquivistas" (os circuitos de memória).
  • Resultado: O modelo esqueceu os fatos (perdeu 15% de precisão), mas continuou conseguindo resolver os quebra-cabeças lógicos perfeitamente.
• Cenário B: Eles desligaram os "detetives" (os circuitos de raciocínio).
  • Resultado: O modelo ainda sabia os fatos, mas parou de conseguir resolver os problemas de lógica.

A Analogia Final

Pense no modelo como um restaurante:

• A Memória (Recall) é o estoque da despensa. Se você pedir "tem arroz?", o garçom vai até o estoque e traz o pacote.
• O Raciocínio (Reasoning) é a cozinha do chef. Se você pedir "faça um risoto com esse arroz e cogumelos", o chef pega o arroz do estoque e usa a lógica e a técnica para cozinhar algo novo.

O estudo provou que, no cérebro da IA, a despensa e a cozinha são lugares físicos diferentes e usam ferramentas diferentes. Se você quebrar a despensa, o chef não consegue mais pegar os ingredientes. Se você quebrar a cozinha, o chef ainda sabe onde está o arroz, mas não consegue fazer o prato.

Por que isso é importante?

Isso é ótimo para o futuro da IA porque:

1. Confiança: Agora sabemos que a IA não está apenas "alucinando" (inventando coisas) quando tenta raciocinar; ela está usando um caminho lógico separado da memória.
2. Correção: Se a IA estiver mentindo sobre um fato, podemos consertar apenas a "despensa" sem estragar a capacidade de raciocínio dela.
3. Transparência: Entendemos melhor como essas máquinas "pensam", o que nos ajuda a criar IAs mais seguras e confiáveis para a ciência e para o dia a dia.

Em resumo: Memória e Lógica são vizinhos no mesmo prédio, mas moram em andares diferentes e têm trabalhos diferentes.

Resumo técnico

Resumo Técnico: Desentrelaçando Recordação e Raciocínio em Modelos Transformer

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) baseados em Transformers demonstram duas capacidades fundamentais: recordação (recuperação de fatos memorizados durante o pré-treinamento) e raciocínio (realização de inferências multi-etapa e composição lógica). Embora essas habilidades sejam frequentemente avaliadas em conjunto, permanece uma questão aberta na comunidade de IA: elas dependem de circuitos internos sobrepostos ou separados?

A falta de clareza sobre os mecanismos internos dificulta a construção de sistemas de IA confiáveis e interpretáveis. Estudos anteriores em interpretabilidade mecânica identificaram subestruturas modulares (como heads de atenção de indução), mas não estabeleceram causalmente quais componentes realizam especificamente a recuperação de fatos versus a inferência lógica. O objetivo deste trabalho é preencher essa lacuna, mapeando causalmente as funções de recordação e raciocínio para camadas, heads de atenção e neurônios específicos dentro da arquitetura do modelo.

2. Metodologia

Os autores propõem uma análise mecanística rigorosa utilizando o modelo Qwen2.5-7B-Instruct (28 camadas), executado no framework nnsight em GPU NVIDIA A100. A abordagem baseia-se em cinco hipóteses testáveis sobre a especialização de componentes.

• Design do Dataset (Provas Controladas):

  • Tarefas de Raciocínio: Puzzles linguísticos baseados na International Linguistic Olympiad (IOL) e corpora relacionados (Lingoly, Linguini). Essas tarefas exigem indução de regras e inferência composicional em línguas de baixo recurso (ex: Chickasaw), impossibilitando a recuperação puramente memorística.
  • Tarefas de Recordação: Consultas sintéticas contrafactuais que alteram entidades ou relações factuais mantendo a sintaxe, isolando a recuperação de associações factuais armazenadas.
  • O dataset final contém 60 questões (30 de recordação, 30 de raciocínio), balanceadas em complexidade e sintaxe.

• Pipeline de Análise Mecanística:

  1. Rastreamento de Ativação: Coleta de traços de ativação camada a camada, distribuições de atenção e saídas de MLP para o token final de entrada.
  2. Métricas de Especialização: Cálculo de perfis de atividade diferencial, entropia de atenção, magnitude de ativação e esparsidade.
  3. Validação Estatística: Uso do teste Mann-Whitney U para significância, com correções para comparações múltiplas (FDR para camadas/heads; Bonferroni para neurônios).
  4. Intervenção Causal (Ablação e Patching): Substituição ou zeração de ativações em componentes identificados para testar a necessidade causal. Se um componente é essencial para uma tarefa, sua ablação deve degradar seletivamente o desempenho nessa tarefa, mantendo a outra intacta.

3. Principais Contribuições e Resultados

A análise revela uma organização hierárquica e funcionalmente diferenciada dentro do modelo, validando as hipóteses de especialização:

• Especialização por Camadas (H1):

  • Camadas Iniciais e Médias (0–16): Predominantemente suportam a recordação. Apresentam menor entropia de atenção e maior magnitude de ativação, focando em tokens de entidades.
  • Camadas Profundas (17–27): Concentram os cálculos de raciocínio e inferência composicional.
  • Validação: A ablação de camadas especializadas em recordação reduziu a precisão factual em 15%, sem afetar significativamente o raciocínio. Inversamente, a ablação de camadas de raciocínio causou uma queda de 14% em tarefas de puzzles linguísticos, com impacto mínimo na recordação.

• Especialização por Heads de Atenção (H2):

  • Cerca de 74% dos heads de atenção exibem preferência de tarefa estatisticamente significativa.
  • Heads de recordação agrupam-se em camadas mais rasas e focam em tokens de entidades.
  • Heads de raciocínio emergem em camadas mais profundas, atendendo a marcadores relacionais e estruturais.
  • Foram identificados 239 heads especializados em recordação e 219 em raciocínio.

• Seletividade de Neurônios MLP (H3):

  • Aproximadamente um terço dos neurônios das camadas MLP atendem a critérios rigorosos de especificidade de tarefa (p < 10⁻⁴, |d| > 1.0).
  • Esses neurônios formam "hubs" densos em camadas distintas (ex: Camada 4 para recordação, Camada 22 para raciocínio).
  • Muitos exibem padrões de ativação quase binários: ativam-se fortemente para uma tarefa e permanecem silenciosos para a outra.

• Generalidade Arquitetural (H4) e Intervenção Seletiva (H5):

  • Os padrões de especialização foram consistentes em validação cruzada de 5 dobras.
  • As intervenções causais confirmaram que os circuitos são funcionalmente distintos: desativar um circuito não degrada a outra capacidade, provando que recordação e raciocínio não são apenas correlacionados, mas realizam-se através de sub-redes computacionais parcialmente distintas.

4. Significado e Implicações

Este trabalho avança as fundações da IA Explicável (XAI) e da Interpretabilidade Mecanística de várias formas:

1. Evidência Causal: Fornece a primeira evidência causal robusta de que recordação e raciocínio são processos computacionais separáveis dentro de um único modelo Transformer, e não apenas comportamentos emergentes indistinguídos.
2. Arquitetura Funcional: Estabelece um mapa de "circuitos" onde a recuperação de memória ocorre predominantemente nas camadas iniciais/médias, enquanto a inferência lógica é processada nas camadas profundas.
3. Confiabilidade e Segurança: Compreender essa separação é crucial para:
   • Distinguir entre alucinação (falha de recordação) e falha de raciocínio.
   • Desenvolver métodos de alignment mais precisos, permitindo a intervenção seletiva em componentes específicos sem degradar outras capacidades do modelo.
   • Criar sistemas de IA mais transparentes, onde a origem de uma resposta (memória vs. inferência) pode ser rastreada e atribuída.

Em conclusão, o estudo demonstra que os modelos de linguagem modernos organizam-se internamente de forma modular e hierárquica, permitindo a coexistência de mecanismos de memória e lógica que podem ser isolados e manipulados independentemente.