Resumo Técnico: Os Circuitos de Modelos de Linguagem são Esparsos na Base de Neurônios

Declaração do Problema

A pesquisa em interpretabilidade de modelos de linguagem tem se afastado amplamente da análise de neurônios individuais, operando sob a crença de que conceitos de alto nível estão distribuídos entre os neurônios e que a base de neurônios é ininterpretável. Consequentemente, o campo adotou técnicas como Autoencoders Esparsos (SAEs) e transcoders para decompor representações em bases de características esparsas e interpretáveis. No entanto, essas bases aprendidas introduzem erros de aproximação, sofrem com divisão e absorção de características (polissemantismo) e exigem sobrecarga adicional de treinamento. A questão central que este artigo aborda é se a base original de neurônios é inerentemente ininterpretável ou se a percepção de falta de esparsidade é um artefato de métodos de análise subótimos.

Metodologia

Os autores propõem um pipeline de atribuição baseado em gradiente de ponta a ponta para rastrear circuitos diretamente na base de neurônios MLP (especificamente as ativações pré-projeção descendente/down-projection) em vez de características de SAE aprendidas. A metodologia baseia-se em duas mudanças técnicas fundamentais para fechar a lacuna de desempenho entre neurônios e SAEs:

1. Seleção de Base Privilegiada: Em vez de usar saídas de MLP pós-projeção descendente (o padrão de referência), os autores utilizam ativações de MLP pré-projeção descendente. Eles hipotetizam que, como a arquitetura aplica não-linearidades elemento a elemento (ex: SiLU) antes da projeção descendente, essas coordenadas de ativação constituem uma "base privilegiada" onde as características estão mais naturalmente alinhadas, gerando circuitos significativamente mais esparsos.
2. Atribuição Avançada (RelP): O artigo substitui o Integrated Gradients (IG), que é ruidoso em modelos profundos e computacionalmente caro (exigindo múltiplas passagens de retropropagação), pelo RelP (Relevance Patching). O RelP é um método de atribuição baseado em gradiente que opera em um "modelo de substituição" onde as não-linearidades são linearizadas (ex: tratando portões SiLU como constantes). Isso permite a descoberta de circuitos fiel com uma única passagem de retropropagação. Os autores implementam uma "regra da metade" para MLPs com portões (gated MLPs) para garantir que a propriedade de completude das pontuações de atribuição seja preservada.

O pipeline avalia os circuitos usando duas métricas padrão:

• Fidelidade (Faithfulness): A capacidade de complementar o circuito (o restante do modelo) de reproduzir o comportamento do modelo original quando o circuito é ablado.
• Completude (Completeness): A capacidade do próprio circuito de reproduzir o comportamento do modelo quando o restante do modelo é ablado.

Os experimentos foram conduzidos no benchmark de Concordância Sujeito-Verbo (SVA) (Marks et al., 2025) e em uma tarefa de raciocínio de múltiplos saltos cidade-estado-capital (Lindely et al., 2025) usando Llama 3.1-8B-Instruct, com validação adicional em modelos Gemma-2.

Principais Resultados

1. Ativações de MLP são uma Base Esparsa

Os autores demonstram que as ativações de MLP produzem circuitos que são ordens de magnitude mais esparsos do que aqueles derivados das saídas de MLP.

• No benchmark SVA, os circuitos construídos a partir de ativações de MLP são aproximadamente 100x menores do que os de saídas de MLP, mantendo fidelidade e completude comparáveis.
• Essa descoberta reduz significativamente a lacuna entre a base de neurônios e as representações baseadas em SAE.

2. RelP Supera o Integrated Gradients

A mudança do IG para o RelP melhora ainda mais a esparsidade e a fidelidade.

• Usando RelP em ativações de MLP, os autores alcançam fidelidade e completude quase perfeitas com apenas ~200 neurônios no benchmark SVA.
• O RelP fecha a lacuna restante entre circuitos baseados em neurônios e circuitos baseados em SAE, tornando os neurônios competitivos com dicionários aprendidos em termos de esparsidade.
• No Mechanistic Interpretability Benchmark (MIB), o RelP atinge o estado da arte (menores pontuações CMD) em três de cinco tarefas, superando as linhas de base existentes baseadas em IG.

3. Estudo de Caso: Raciocínio de Múltiplos Saltos

Em um estudo de caso envolvendo a recuperação de capitais de estados (ex: "Qual é a capital do estado que contém Dallas?"), os autores rastrearam circuitos no Llama 3.1-8B-Instruct.

• Eles identificaram um circuito esparso de ~23 neurônios chave (de um conjunto rastreado maior) que correspondem a etapas específicas de raciocínio: mapear uma cidade para um estado e mapear um estado para sua capital.
• Esses neurônios se agruparam em clusters com descrições interpretáveis (ex: "Dallas", "Texas", "capital") que coincidem com descobertas de trabalhos anteriores usando Cross-Layer Transcoders (CLTs).
• Experimentos de Direcionamento (Steering): Ao intervir em clusters específicos de neurônios (ex: suprimindo o cluster "Texas"), os autores puderam alterar causalmente a saída do modelo, confirmando que esses neurônios específicos são causalmente eficazes na cadeia de raciocínio.

4. Generalização

As descobertas mantêm-se em diferentes arquiteturas de modelos (Gemma-2 2B e 9B) e diferentes configurações de dados (contra-factuais pareados e dados não pareados com zeros de base).

Significância e Alegações

O artigo afirma fornecer a primeira evidência empírica de que neurônios de MLP são uma base de características tão esparsa quanto os SAEs, desafiando a suposição predominante de que os neurônios são ininterpretáveis.

• Praticidade: A base de neurônios oferece uma representação "privilegiada" e fiel sem os erros de reconstrução, divisão ou absorção inerentes aos dicionários aprendidos.
• Eficiência: O pipeline proposto evita o custo computacional de treinar SAEs ou transcoders, exigindo apenas uma única passagem de retropropagação por entrada via RelP.
• Reprodutibilidade: A capacidade de reproduzir descobertas de circuitos complexos (como as de Lindsey et al., 2025) usando apenas a base nativa de neurônios sugere que a "matéria escura" dos modelos de linguagem pode ser mais acessível do que se pensava.

Os autores concluem que, embora a interpretação humana de grandes circuitos continue sendo um desafio, a base de neurônios deve ser esgotada como uma via primária para a interpretabilidade antes de recorrer a dicionários esparsos aprendidos. Eles enquadram este trabalho como um passo para democratizar a pesquisa de segurança de IA, fornecendo ferramentas eficientes e escaláveis para rastrear computações internas.