Constructing Interpretable Features from Compositional Neuron Groups

Resumo Técnico: Construção de Recursos Interpretáveis a partir de Grupos de Neurônios Compostos

Declaração do Problema
Um desafio central na interpretabilidade mecânica é identificar as unidades apropriadas de análise dentro de Modelos de Linguagem de Grande Escala (LLMs) que expliquem causalmente as saídas do modelo. Embora pesquisas iniciais se concentrassem em neurônios individuais, evidências sugerem que os neurônios frequentemente codificam múltiplos conceitos (polissemia), motivando uma mudança em direção à análise de direções no espaço de ativação. Abordagens não supervisionadas atuais dependem de Autoencoders Esparsos (SAEs) treinados em ativações do fluxo residual para aprender direções de recursos do zero. No entanto, os SAEs enfrentam limitações significativas: frequentemente lutam em avaliações causais (direcionamento), carecem de interpretabilidade intrínseca porque seus recursos aprendidos não estão explicitamente ligados aos cálculos internos do modelo e seus recursos não são restritos ao espaço de representação do modelo. Há uma necessidade de um método que descubra recursos interpretáveis de maneira não supervisionada, mantendo ao mesmo tempo um vínculo causal direto com os mecanismos do modelo.

Metodologia
Os autores propõem decompor diretamente as ativações de Perceptrons Multicamada (MLP) usando Fatoração de Matriz Semi-Não Negativa (SNMF). Diferentemente dos SAEs, que aprendem novas direções, este método representa recursos como combinações lineares esparsas de neurônios co-ativados existentes dentro do MLP.

1. Formulação: Dada uma matriz $A \in \mathbb{R}^{d_a \times n}$ de ativações do MLP (onde $d_a$ é a dimensão interna e $n$ é o número de tokens), o método fatora $A$ em duas matrizes:

   • $Z \in \mathbb{R}^{d_a \times k}$: Uma matriz de $k$ recursos do MLP, onde cada coluna define uma combinação linear esparsa de neurônios.
   • $Y \in \mathbb{R}^{k \times n}_{\geq 0}$: Uma matriz de coeficientes não negativa mapeando entradas para recursos.
     A decomposição segue $A \approx ZY$.

2. Mecanismo de Interpretabilidade:

   • Esparsidade: As colunas de $Z$ são restritas a serem esparsas usando um operador rígido de "vencedor leva tudo", garantindo que cada recurso ative apenas um pequeno subconjunto de neurônios.
   • Fundamentação Causal: A matriz não negativa $Y$ codifica explicitamente quais tokens contribuíram para a criação de um recurso, permitindo a atribuição direta de rótulos de conceitos textuais com base em contextos de alta ativação.
   • Mapeamento para o Fluxo Residual: Cada vetor de recurso $z_i$ no espaço de ativação é mapeado para o fluxo residual através dos pesos de saída do MLP ($W_V$), definindo um recurso do fluxo residual $f_i = W_V z_i$. Isso garante que os recursos estejam fundamentados nos caminhos computacionais reais do modelo.

3. Otimização: O método utiliza atualizações multiplicativas (Ding et al., 2010) para minimizar a norma de Frobenius entre $A$ e $ZY$, com esparsidade imposta em $Z$.

Principais Contribuições

• SNMF para Decomposição de MLP: O artigo introduz um método não supervisionado para decompor ativações do MLP em recursos interpretáveis definidos por grupos de neurônios co-ativados, em vez de aprender direções arbitrárias do zero.
• Superioridade no Direcionamento Causal: Os autores demonstram que os recursos derivados da SNMF superam os SAEs de última geração (GemmaScope, Llamascope) e uma forte linha de base supervisionada (Diferença entre Médias) em tarefas de direcionamento causal, enquanto performam de forma comparável na detecção de conceitos.
• Revelação de Composição Hierárquica: Através da SNMF recursiva, os autores mostram que os recursos do MLP são compostos. Conceitos de alta granularidade (por exemplo, dias da semana específicos) são formados combinando neurônios "principais" compartilhados com neurônios exclusivos. Isso revela uma estrutura hierárquica onde conceitos mais amplos (por exemplo, "dia da semana") são compostos por sub-conceitos mais específicos, invertendo efetivamente o fenômeno de "divisão de recursos" frequentemente observado em SAEs.
• Reutilização de Neurônios: A análise confirma que recursos semanticamente relacionados compartilham um conjunto central de neurônios, com neurônios exclusivos controlando a promoção ou supressão de sub-conceitos específicos.

Resultados
Os experimentos foram conduzidos em Llama 3.1-8B, Gemma 2-2B e GPT-2 Small.

• Detecção de Conceitos: Os recursos da SNMF alcançaram pontuações de detecção positivas para a maioria dos recursos (>75%), indicando que eles ativam para entradas relacionadas a conceitos e permanecem inativos para entradas neutras. O desempenho foi comparável ou superou o dos SAEs treinados em saídas do MLP.
• Direcionamento de Conceitos: Nas avaliações de direcionamento causal (medindo a capacidade de direcionar a geração do modelo em direção a um conceito enquanto preserva a fluência), a SNMF consistentemente superou os SAEs em todas as camadas. Também frequentemente igualou ou superou o desempenho da linha de base supervisionada Diferença entre Médias.
• Análise Hierárquica: A aplicação recursiva da SNMF fundiu com sucesso recursos de alta granularidade (por exemplo, "Segunda-feira", "Terça-feira") em conceitos de nível superior (por exemplo, "Dia da Semana", "Fim de Semana"). Intervenções causais confirmaram que a amplificação de neurônios "principais" promoveu todos os tokens relacionados, enquanto a amplificação de neurônios "exclusivos" promoveu tokens específicos e suprimiu outros.

Significância e Alegações
O artigo alega que a SNMF fornece uma ferramenta simples e eficaz para identificar recursos interpretáveis em LLMs. Ao decompor diretamente as ativações do MLP, o método vincula os recursos aos componentes específicos do modelo responsáveis por sua formação. Os resultados sugerem que o MLP opera por meio de atualizações aditivas compostas por conjuntos interpretáveis de neurônios. Este trabalho posiciona a SNMF como uma alternativa viável aos SAEs, oferecendo melhor desempenho causal e interpretabilidade intrínseca sem exigir supervisão. Além disso, a descoberta da composição hierárquica de neurônios fornece uma nova lente para entender como os LLMs constroem conceitos complexos a partir de blocos de construção neurais reutilizáveis, estendendo o papel funcional dos neurônios além da codificação de um único conceito.

Os autores reconhecem limitações, incluindo o foco atual em contagens de recursos $k < 500$ e a dependência de LLMs como juízes para avaliação, embora relitem forte concordância com julgamentos humanos. Eles sugerem que trabalhos futuros poderiam explorar a escalabilidade para valores maiores de $k$ e utilizar descida de gradiente projetada para otimização.