Neurons Speak in Ranges: Breaking Free from Discrete Neuronal Attribution

1. O Problema: Polissignificância e Atribuição Discreta

O trabalho aborda um desafio fundamental na interpretabilidade de Grandes Modelos de Linguagem (LLMs): a polissignificância (polysemanticity).

• Contexto: A maioria dos métodos atuais de interpretação assume que um neurônio individual codifica um único conceito semântico (atribuição discreta).
• Desafio: Na prática, os neurônios em LLMs são frequentemente polissignificantes, ou seja, um único neurônio responde a múltiplos conceitos aparentemente não relacionados.
• Consequência: Quando se tenta manipular ou "apagar" um neurônio para remover um conceito indesejado (ex: viés ou tópicos específicos), a intervenção afeta todos os outros conceitos codificados naquele mesmo neurônio. Isso leva a uma degradação colateral significativa no desempenho do modelo e em conceitos auxiliares, tornando a interpretação e o controle do modelo imprecisos e perigosos.

2. Metodologia e Descobertas Fundamentais

Os autores realizaram uma análise sistemática de modelos baseados em encoder (como BERT) e decoder (como GPT-2 e Llama) em diversos conjuntos de dados.

A. Padrão de Ativação Condicional

A descoberta central do trabalho é que, embora os neurônios sejam polissignificantes, as magnitudes de ativação condicionadas a um conceito específico formam distribuições distintas e frequentemente gaussianas (normais).

• Observação: Para um dado neurônio, as ativações associadas ao Conceito A tendem a se concentrar em uma faixa específica de valores (ex: média alta), enquanto as do Conceito B se concentram em outra faixa (ex: média baixa), com sobreposição mínima entre as distribuições.
• Implicação: O conceito não está "todo" no neurônio, mas sim em um intervalo de ativação específico dentro da distribuição daquele neurônio.

B. NeuronLens: Um Framework Baseado em Intervalos

Com base nessa observação, os autores introduzem o NeuronLens, um framework de atribuição e manipulação baseado em intervalos de ativação.

• Mecanismo: Em vez de atribuir um conceito a um neurônio inteiro, o NeuronLens calcula estatisticamente o intervalo de ativação ($\mu \pm \tau\sigma$) que captura a maioria das ativações associadas a um conceito específico.
• Intervenção Causal: O método permite intervir seletivamente apenas dentro desse intervalo de ativação (ex: zerar ou atenuar apenas as ativações que caem dentro da faixa do conceito alvo), preservando as ativações do mesmo neurônio que pertencem a outros conceitos.
• Operação: Se a ativação $h_j(x)$ de um neurônio $j$ estiver dentro do intervalo de atribuição $AR(l, j, c)$, uma função de intervenção $\phi$ (como zeroar ou atenuar) é aplicada. Caso contrário, a ativação permanece inalterada.

3. Contribuições Principais

1. Caracterização de Distribuições: Demonstração empírica de que as ativações neuronais condicionadas a conceitos formam distribuições gaussianas com sobreposição limitada, desafiando a visão de que a polissignificância torna a atribuição impossível.
2. Atribuição de Alta Granularidade: Evidência de que é possível identificar e isolar faixas de ativação específicas dentro de neurônios polissignificantes, oferecendo um controle mais fino do que a atribuição discreta neurônio-conceito.
3. Framework NeuronLens: Introdução de uma ferramenta prática para interpretação e intervenção causal que opera nesses intervalos, permitindo a manipulação precisa de conceitos sem destruir a funcionalidade geral do modelo.

4. Resultados Experimentais

Os autores validaram o método através de experimentos de apagamento de conceitos (concept erasure) e avaliação de capacidades latentes.

• Precisão na Manipulação: O masking baseado em intervalos (Activation Range Masking - ARM) conseguiu suprimir o conceito alvo com eficácia comparável ao masking de neurônio completo.
• Redução de Dano Colateral:
  • O ARM causou até 25 pontos percentuais a menos de degradação em conceitos auxiliares em comparação com o masking de neurônio completo.
  • Em tarefas de classificação multiclasse (como AG-News e DBPedia-14), o ARM preservou significativamente melhor a precisão das classes não-alvo.
• Preservação de Capacidades Gerais:
  • Perplexidade (PPL): O masking de neurônio completo aumentou drasticamente a perplexidade (indicando perda de fluência linguística), enquanto o ARM resultou em aumentos mínimos ou insignificantes.
  • MMLU: O ARM manteve ou até melhorou o desempenho no benchmark MMLU (medida de conhecimento e raciocínio), enquanto o masking de neurônio completo degradou consistentemente esse desempenho.
• Intervenções Adaptativas: O trabalho também propôs uma técnica de "atenuação adaptativa" (adaptive dampening) que modula a supressão baseada na distância da média, mostrando resultados ainda melhores ao equilibrar a supressão do conceito alvo com a preservação do modelo.

5. Significado e Impacto

Este trabalho representa uma mudança de paradigma na interpretabilidade de modelos de linguagem:

• Mudança de Paradigma: Move o foco da pergunta "Qual neurônio codifica este conceito?" para "Em qual faixa de ativação deste neurônio este conceito é expresso?".
• Controle Mais Seguro: Permite a edição e o controle de LLMs (como a remoção de tóxicos ou viés) com muito menos risco de "quebrar" o modelo ou apagar conhecimento útil acidentalmente.
• Complementaridade: O método é complementar a outras abordagens, como Autoencoders Esparsos (SAEs), podendo ser aplicado diretamente nas representações originais do modelo sem necessidade de treinamento adicional de dicionários esparsos.

Em resumo, o NeuronLens prova que a polissignificância não é um obstáculo intransponível, mas sim uma estrutura que pode ser explorada através da análise estatística das distribuições de ativação, permitindo uma engenharia de representações mais precisa e segura.