Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence

Resumo Técnico: Interferência Polissêmica em Modelos de Linguagem

1. Problema e Motivação

A polissêmica (ou polysemanticity) é um fenômeno onde neurônios individuais ou grupos de neurônios em redes neurais codificam mais conceitos distintos do que o número de neurônios disponíveis. Embora essa propriedade aumente a capacidade de aprendizado e a eficiência representacional dos Grandes Modelos de Linguagem (LLMs), ela cria um desafio crítico para a interpretabilidade e o controle do comportamento do modelo.

A literatura atual frequentemente trata a polissêmica como um artefato estocástico ou puramente computacional. No entanto, este trabalho investiga uma vulnerabilidade sistêmica negligenciada: estruturas polissêmicas que geram interferências previsíveis. A hipótese central é que, mesmo quando dois recursos (features) são semanticamente irrelevantes entre si no espaço simbólico humano, eles podem interferir significativamente no espaço de ativação do modelo devido a sobreposições na representação latente. O objetivo é explorar se essas interferências podem ser exploradas para manipular o comportamento do modelo e se esses padrões se generalizam entre diferentes arquiteturas e escalas.

2. Metodologia

Os autores utilizam uma abordagem combinada de Interpretabilidade Mecanística e Intervenção Ativa, focando em dois modelos pequenos (Pythia-70M e GPT-2-Small) para identificar padrões e testá-los em modelos maiores e de "caixa preta".

A. Extração de Recursos com SAEs (Sparse Autoencoders):

• Utilizaram SAEs pré-treinados (do Neuronpedia) para mapear a topologia polissêmica.
• Os SAEs dissecam neurônios polissêmicos em recursos esparsos e monossêmicos.
• Definiram uma escala de interferência ($I$) baseada na similaridade cosseno entre as direções de ativação no espaço do modelo, e uma similaridade semântica ($S$) baseada em embeddings de texto (Human Symbolic Manifold).
• Identificaram pares de recursos que são semanticamente distintos ($S$ baixa) mas altamente interferentes no espaço de ativação ($I$ alta).

B. Técnicas de Intervenção (4 Focos):
Os autores testaram quatro níveis de intervenção para induzir mudanças na distribuição de previsão do próximo token:

1. Intervenção de Recurso (Feature Steering): Manipulação direta das direções de ativação dos recursos SAE.
2. Intervenção de Token (Token Gradient Steering): Uso de gradientes de tokens que ativam fortemente recursos interferentes para criar vetores de direção, sem necessidade de acesso aos pesos do SAE.
3. Injeção de Prompt (Prompt Injection): Adição de snippets de texto que ativam os recursos interferentes ao início do prompt.
4. Intervenção de Neurônio: Mascaramento ou amplificação da ativação de neurônios específicos para medir a sensibilidade baseada no grau de polissêmica.

C. Avaliação e Transferência:

• Métrica Principal: Mudança na similaridade cosseno ponderada entre a distribuição de saída do modelo e o conjunto de tokens associados ao recurso alvo.
• Validação Cruzada: Padrões de interferência identificados em Pythia-70M e GPT-2-Small foram aplicados a modelos maiores e instruídos (Llama-3.1-8B/70B e Gemma-2-9B) para testar a generalização.

3. Contribuições Principais

1. Evidência de Manipulação via Interferência: Demonstraram que é possível manipular a saída de um modelo direcionando recursos semanticamente não relacionados, mas que interferem no mesmo espaço de ativação. Isso permite "engenharia reversa" de comportamentos indesejados ou desejados sem alinhar semanticamente o input com o alvo.
2. Generalização Trans-Arquitetura: Identificaram que estruturas de interferência polissêmica são persistentes e transferíveis. Padrões descobertos em modelos pequenos (Pythia/GPT-2) funcionaram consistentemente em modelos maiores e instruídos (Llama/Gemma), sugerindo uma organização de representações convergente e latente.
3. Descoberta de Padrões Contra-Intuitivos: A análise pós-hoc revelou que menos de 30% das interferências cruzadas podem ser explicadas por associações semânticas de ordem superior compreensíveis por humanos. A maioria dos padrões é opaca à intuição, sugerindo regularidades latentes robustas.
4. Vulnerabilidade Assimétrica de "Super-Neurônios": Identificaram uma classe de neurônios altamente polissêmicos ("super-neurônios", conectados a >500 recursos). A amplificação desses neurônios altera drasticamente o comportamento do modelo, enquanto seu mascaramento tem um efeito reduzido, indicando que eles atuam como junções críticas na arquitetura semântica.

4. Resultados Chave

• Eficácia da Intervenção:
  • A intervenção baseada em gradientes de token foi a mais eficaz, gerando efeitos ~10 vezes maiores do que a intervenção baseada apenas em direções de recursos SAE.
  • A injeção de prompt (sem acesso interno) foi menos potente em termos de mudança de probabilidade absoluta, mas mostrou-se eficaz ao concentrar interferência em subconjuntos específicos de tokens, com aumentos de 10x a 1000x na métrica de sobreposição ponderada em alguns casos.
• Transferência para Modelos Grandes:
  • Ao aplicar vetores de gradiente e prompts derivados de modelos pequenos em modelos Llama-3.1 e Gemma-2, observou-se uma taxa de sucesso significativa (>95% em tipos de recursos como localização e emoção) na indução de tokens alvo, validando a existência de uma topologia polissêmica compartilhada.
• Análise de Neurônios:
  • Neurônios com alto grau de polissêmica são mais vulneráveis a intervenções.
  • Existe uma assimetria crítica: amplificar a ativação de "super-neurônios" tem um efeito exponencial no comportamento, enquanto desativá-los tem pouco impacto, sugerindo que a redundância e a sobreposição são mecanismos de defesa ou estabilidade que só podem ser quebrados por ativação excessiva.

5. Significado e Implicações

• Segurança e Alinhamento: O trabalho expõe uma vulnerabilidade fundamental nos LLMs: a existência de "sinais no ruído" onde intervenções semânticamente desconexas podem controlar o modelo. Isso desafia a visão de que a polissêmica é apenas um subproduto estocástico, sugerindo uma estrutura latente organizada que pode ser explorada para ataques ou defesa.
• Controle de Caixa Preta: A descoberta de que intervenções derivadas de modelos pequenos funcionam em modelos grandes sem acesso aos seus parâmetros internos abre novas possibilidades para o controle de modelos proprietários e de grande escala.
• Teoria Cognitiva: A existência de regularidades de interferência opacas à intuição humana sugere que os modelos aprendem estruturas de conhecimento latente que podem não ser imediatamente compreensíveis, oferecendo novas hipóteses sobre a organização da cognição artificial e humana.
• Futuro da Interpretabilidade: O estudo reforça a necessidade de ir além da simples extração de recursos monossêmicos e considerar as interações e interferências entre eles como uma propriedade estrutural central dos modelos.

Em suma, o artigo demonstra que a polissêmica não é apenas um obstáculo para a interpretabilidade, mas uma fonte de vulnerabilidades estruturais previsíveis e generalizáveis que podem ser exploradas para controlar o comportamento de modelos de IA de forma sistemática.