Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

1. Problema e Motivação

Os Modelos de Linguagem Grandes (LLMs) demonstram proficiência notável no raciocínio sobre conhecimento relacional (ex: "Qual é a capital da China?"). No entanto, a interpretação mecânica de como esses modelos organizam e combinam esse conhecimento internamente permanece um desafio.

• Limitações do Estado da Arte: Trabalhos anteriores modelaram essa capacidade através de transformações lineares simples ou aritmética vetorial, mas essas abordagens são limitadas a interpretações por camada, sem uma granularidade fina sobre características específicas e suas interações.
• Desafio da Interpretabilidade: Ferramentas como Autoencoders Esparsos (SAEs) conseguem extrair características interpretáveis (monossêmicas), mas a organização e coordenação entre características de diferentes camadas para produzir respostas específicas ainda não é clara. Gráficos de computação existentes (como os gerados por transcoders) podem ser densos e difíceis de interpretar sem agrupamento manual.

O objetivo deste trabalho é identificar componentes de rede semanticamente coerentes e consistentes com o contexto que codificam conceitos e relações, permitindo uma manipulação causal eficiente e direcionada do LLM.

2. Metodologia

Os autores propõem uma abordagem baseada na coativação de características de SAE para construir redes de características intercamadas. O processo segue as seguintes etapas:

1. Coleta de Ativações: O modelo (Gemma 2 2B e 9B) é executado com prompts integrados a SAEs pré-treinados. As ativações dos fluxos residuais de cada camada são mapeadas para representações esparsas.
2. Seleção de Características: Selecionam-se as características mais ativadas (top-k) para cada camada, garantindo a tratabilidade computacional.
3. Construção do Grafo: Constrói-se um grafo direcionado onde os nós são características selecionadas. As arestas conectam nós em camadas adjacentes baseando-se na correlação de Pearson das suas padrões de ativação ao longo dos tokens do prompt (correlação temporal).
4. Poda e Identificação de Componentes:
   • Poda por Densidade: Características que ativam frequentemente em contextos não relacionados (alta densidade) são removidas para reduzir ruído, mantendo apenas características esparsas (densidade $\le$ 0.01).
   • Componentes Conectados: Utiliza-se um algoritmo de Busca em Largura (BFS) para identificar componentes fracamente conectados no grafo podado. Esses componentes representam grupos de características que coativam consistentemente.
5. Validação Causal (Intervenção):
   • Ablação: As ativações das características dentro de um componente são zeradas durante a passagem frontal do modelo.
   • Amplificação (Steering): As ativações de componentes alvo são amplificadas.
   • Métrica: A mudança na distribuição de probabilidade dos próximos tokens é medida usando a Divergência KL. Se a ablação/amplificação altera previsivelmente a saída do modelo para respostas contrafactuais, o componente é considerado causal.

3. Contribuições Principais

• Descoberta de Módulos Semânticos: Identificação de componentes de rede que representam conceitos concretos (ex: "China", "amor") e relações abstratas (ex: "capital", "tradução para francês") de forma coerente e consistente entre diferentes prompts.
• Manipulação Causal Eficiente: Demonstração de que a ablação e amplificação seletiva desses componentes permite "dirigir" (steer) o modelo para respostas contrafactuais com alta precisão, ignorando o prompt original.
• Composicionalidade: Evidência de que componentes de conceito e relação podem ser combinados para gerar respostas compostas (ex: mudar simultaneamente o país e o tipo de dado solicitado).
• Organização Hierárquica: Revelação de que a organização do conhecimento no LLM é hierárquica: características de entidades concretas emergem nas camadas iniciais, enquanto características de relações abstratas concentram-se nas camadas posteriores.
• Superioridade sobre Características Únicas: Demonstração de que manipular um grupo de características (componente) é significativamente mais eficaz do que manipular uma única característica causal.

4. Resultados Experimentais

Os experimentos foram realizados em três tarefas de raciocínio relacional: Fatos de Países, Tradução de Palavras e Transformação de Verbos.

• Taxas de Sucesso no "Steering":
  • Conceito: Ao ablar o conceito no prompt e amplificar um conceito alvo, o modelo responde com a relação correta para o novo conceito em 48-96% dos casos.
  • Relação: Ao ablar a relação no prompt e amplificar uma relação alvo, o modelo responde com o conceito correto na nova relação em 23-98% dos casos.
  • Composto: A manipulação simultânea de conceito e relação alcança taxas de sucesso de 19-90%.
• Distribuição por Camadas:
  • Conceitos: 80% dos componentes de países e todos os componentes de palavras/verbos começam na primeira camada. Alguns se estendem por todas as camadas, outros concentram-se nas camadas iniciais/médias.
  • Relações: Os componentes de relação concentram-se predominantemente nas últimas camadas (último quarto a metade da rede), sugerindo que relações abstratas são processadas em estágios posteriores.
• Comparação com SAEs Individuais: A ablação de um único recurso de alto impacto resultou em taxas de sucesso de ~83%, enquanto a ablação do componente completo (grupo de recursos) atingiu ~96%, provando que os conceitos são representados de forma distribuída.
• Especificidade: A ablação de componentes de uma tarefa (ex: fatos de países) não degradou significativamente o desempenho em outras tarefas, indicando que os módulos são específicos e não interferem globalmente no modelo.

5. Significado e Conclusão

Este trabalho avança o campo da interpretabilidade mecânica ao propor um método leve e automatizado para identificar e manipular módulos funcionais em LLMs sem a necessidade de rastreamento exaustivo de circuitos.

• Implicações para Segurança e Alinhamento: A capacidade de identificar e manipular módulos causais específicos permite intervenções precisas para corrigir comportamentos indesejados ou alinhar o modelo a objetivos humanos sem retreinamento massivo.
• Compreensão da Arquitetura: Os resultados validam a hipótese de que o conhecimento relacional em LLMs é organizado modularmente e hierarquicamente, com entidades concretas sendo processadas cedo e relações abstratas emergindo mais tarde.
• Limitações: O estudo focou em tarefas específicas e modelos com SAEs pré-treinados disponíveis (Gemma 2). A seleção manual de componentes para validação ainda é necessária, embora os autores sugiram que isso possa ser automatizado no futuro.

Em suma, o artigo estabelece que a coativação de características esparsas é uma ferramenta poderosa para desvendar a "caixa preta" dos LLMs, revelando uma estrutura modular que pode ser explorada para controle e interpretação mais eficientes.