Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

1. Problema e Motivação

Os modelos de linguagem (LLMs) são capazes de responder a perguntas factuais centradas em entidades (ex: "Quem é o presidente dos EUA?"), mas os mecanismos internos exatos que permitem essa recuperação de conhecimento permanecem obscuros.

• Hipótese Central: O artigo investiga se o processamento de entidades segue uma abordagem gradual (onde o significado é construído lentamente através de muitas camadas) ou se existe um ponto de acesso localizado e esparsamente distribuído, análogo à hipótese da "célula da avó" (grandmother cell) na neurociência.
• Objetivo: Identificar neurônios específicos nas camadas MLP (Multi-Layer Perceptron) dos transformadores que atuam como "células de entidade" — unidades funcionais estáveis que detectam a menção de uma entidade e escrevem uma representação consistente dessa entidade no fluxo residual, servindo como âncoras para a recuperação de fatos.

2. Metodologia

Os autores propõem um pipeline de localização e intervenção em nível de neurônio para testar a existência e a causalidade dessas células.

A. Localização Baseada em Estabilidade

1. Prompts Templated: Para cada entidade (ex: "Barack Obama"), utilizam-se prompts variados que alteram o atributo perguntado (ex: "A origem de...", "O papel de...", "A localização de...").
2. Extração de Ativações: Coletam as ativações dos neurônios MLP na posição do token final da entidade.
3. Score de Estabilidade: Calculam um score que favorece neurônios que ativam fortemente e consistentemente através dos diferentes prompts da mesma entidade, penalizando alta variabilidade relativa.
4. Seleção: O neurônio com o maior score é candidato a "célula de entidade".

B. Intervenções Causais

Para validar se esses neurônios são apenas correlacionais ou causalmente necessários/suficientes, aplicam-se duas intervenções:

1. Ablação Negativa: Multiplicam a ativação do neurônio candidato por um fator negativo ($\alpha < 0$). Se o neurônio for crucial, o modelo deve sofrer uma "amnésia específica da entidade" (perder a capacidade de recuperar fatos sobre ela) sem colapsar a fluência geral do texto.
2. Injeção Controlada: Em prompts onde a entidade foi substituída por um placeholder (ex: "X"), injetam-se as ativações do neurônio candidato (ou de uma entidade errada) no token placeholder. O objetivo é ver se a injeção restaura a recuperação do fato correto em comparação a controles (inicialização média ou célula errada).

C. Dados e Modelos

• Dataset: Um subconjunto curado de 200 entidades populares do PopQA (PopQA-200).
• Modelos: Testado em 7 modelos de 5 famílias diferentes (Qwen2.5-7B, Qwen3-8B, OLMo-7B, Llama-3.1-8B, Mistral-7B, OpenLLaMA-7B).

3. Resultados Principais

Finding 1: Concentração em Camadas Iniciais

As células de entidade localizadas concentram-se fortemente nas camadas iniciais (0 a 5) do modelo. No Qwen2.5-7B base, 99% das entidades atingem seu pico de estabilidade nessas camadas. Isso sugere que a identidade da entidade é canonicalizada (transformada em uma representação semântica coesa) cedo no processo de inferência.

Finding 2: Necessidade Causal (Ablação)

A ablação negativa de uma célula localizada causa amnésia específica da entidade.

• Exemplo: Ao ablar o neurônio de "Obama", a capacidade do modelo de responder a fatos sobre Obama cai drasticamente, enquanto a capacidade de responder sobre "Trump" (entidade de controle) permanece próxima da linha de base.
• Estatística: 131 de 200 entidades no Qwen2.5-7B passaram no filtro de confiança, demonstrando que a supressão seletiva prejudica a recuperação sem desestabilizar o modelo.

Finding 3: Suficiência Causal (Injeção)

A ativação de uma única célula localizada é frequentemente suficiente para restaurar a recuperação de fatos.

• Em um subconjunto de perguntas onde o modelo já sabia a resposta, substituir a entidade por um placeholder e injetar a célula correta resultou em 63,3% de precisão (pass@5), comparado a ~1,8% para controles (injeção de célula errada ou inicialização média).
• A injeção de top-1 (um único neurônio) foi quase tão eficaz quanto top-k, indicando que o acesso é esparsamente codificado.

Finding 4: Robustez à Forma Superficial

As mesmas células são recuperadas consistentemente mesmo quando a entidade é apresentada sob diferentes formas:

• Variações de ortografia ("Barack Obama" vs. "Barack Obma").
• Acrônimos ("FBI" vs. "Federal Bureau of Investigation").
• Formas multilíngues ("Paris" em Latim, Hebraico, Chinês, Árabe).
  Isso confirma que as células acessam uma representação de identidade canônica, e não apenas uma sequência específica de tokens.

4. Generalização entre Modelos

• Qwen2.5-7B Base: Apresentou os resultados mais fortes, consistentes e causalmente válidos.
• Qwen2.5-7B Instruct: O mapa de células foi preservado quase intacto após o fine-tuning de instrução, indicando robustez pós-treinamento.
• Qwen3-8B: Mostrou padrões de localização em camadas iniciais, mas a evidência causal foi mais fraca.
• Outras Famílias (Llama, Mistral, OLMo): Embora seja possível localizar candidatos em camadas iniciais, a validação causal (ablção e injeção) e a robustez à forma superficial foram menos consistentes e mais fracas, sugerindo que o fenômeno é dependente do modelo e da distribuição de dados de pré-treinamento.

5. Contribuições e Significância

1. Validação da Hipótese da Célula da Avó em LLMs: O trabalho fornece evidências empíricas de que, para um subconjunto substancial de entidades, o conhecimento factual é acessado através de neurônios esparsos e localizados, e não apenas através de uma difusão gradual de significado.
2. Mecanismos de Acesso Causal: Demonstra que é possível manipular o comportamento factual do modelo de forma precisa (induzir amnésia ou restaurar conhecimento) atuando em um único neurônio, oferecendo alavancagem causal para análise e modulação.
3. Interpretabilidade e Controle: Identifica pontos de acesso ("handles") que podem ser usados para editar comportamentos factuais sem alterar os pesos do modelo permanentemente (via intervenções de ativação), diferenciando-se de métodos de edição de parâmetros como ROME ou MEMIT.
4. Limitações e Escopo: O estudo reconhece que nem toda entidade possui uma "célula" confiável (especialmente entidades menos populares) e que o fenômeno varia entre arquiteturas, sugerindo que a visibilidade do mecanismo depende da composição dos dados de treinamento.

Conclusão: O artigo estabelece que, em modelos como o Qwen2.5-7B, a recuperação de fatos centrados em entidades é mediada por um vocabulário latente de neurônios âncora esparsos nas camadas iniciais. Esses neurônios atuam como portões que direcionam a computação para estados consistentes com a entidade, permitindo uma recuperação robusta e causalmente manipulável.