Resumo Técnico: Encontrando Circuitos Específicos de Prompt Interpretáveis em Modelos de Linguagem

Declaração do Problema

Compreender os mecanismos computacionais internos dos Grandes Modelos de Linguagem (LLMs) permanece um desafio central na interpretabilidade mecânica. Embora trabalhos anteriores tenham estabelecido que os modelos operam por meio de "circuitos"—caminhos causais de componentes escrevendo e lendo informações do fluxo residual—os métodos existentes para rastrear esses circuitos enfrentam limitações significativas. Abordagens tradicionais frequentemente dependem de correção de ativação, entradas contrafactuais ou modelos de substituição, que são computacionalmente dispendiosos, exigem múltiplas passagens para frente e podem introduzir ruído ou artefatos. Além disso, métodos anteriores de rastreamento de circuitos frequentemente produzem grafos grandes e ruidosos que obscurecem os sinais específicos de baixa dimensão usados para comunicação, tornando difícil derivar explicações compreensíveis por humanos para o comportamento do modelo em uma base por prompt.

Metodologia: ACC++

O artigo introduz ACC++ (Comunicação Causal por Atenção++), um método aprimorado de rastreamento de circuitos que se baseia no princípio da comunicação causal por atenção (ACC). O ACC++ é projetado para identificar os sinais específicos (conteúdos de subespaços de baixa dimensão) que causam uma cabeça de atenção a atender a um par específico de tokens.

Mecanismo Central

O ACC++ opera em uma única passagem para frente, sem exigir modelos de substituição, correção ou entradas contrafactuais. O método procede em quatro etapas para uma dada cabeça de atenção $(\ell, a)$ atendendo a um par de tokens destino-fonte $(d, s)$:

1. Decomposição: O fluxo residual de destino $x_d$ é decomposto em uma soma de saídas de componentes a montante (embeddings, cabeças de atenção anteriores, MLPs).
2. Construção de Sinal Candidato: Usando a Decomposição em Valores Singulares (SVD) da matriz Query-Key (QK) da cabeça $\Omega = W_Q W_K^\top$, o método projeta as saídas dos componentes a montante nas direções dos vetores singulares. Isso cria um conjunto de sinais candidatos, onde cada sinal corresponde a um componente a montante específico escrevendo em uma direção singular específica (um candidato de rank-1).
   • Avance Técnico: Para lidar com a heterogeneidade do modelo (por exemplo, termos de viés e Incorporações Posicionais Rotacionais/RoPE), o ACC++ unifica o cálculo de atenção em uma única forma bilinear $\tilde{x}_d^\top \Omega \tilde{x}_s$, dobrando os vieses e rotações RoPE nas representações dos tokens. Isso permite uma única análise SVD por cabeça, independentemente da arquitetura.
3. Atribuição e Pontuação: A contribuição de cada sinal candidato para o peso de atenção pós-softmax $A_{ds}$ é pontuada usando Gradientes Integrados (IG). Diferentemente de trabalhos anteriores que usavam substitutos lineares para pontuações pré-softmax, o ACC++ avalia explicitamente o impacto não linear da remoção do sinal na distribuição completa de Softmax.
4. Busca Gananciosa Contrafactual: Começando com o conjunto completo de candidatos, o algoritmo remove gananciosamente os sinais de maior pontuação até que o peso de atenção $A_{ds}$ caia abaixo de um limiar $\tau$. O conjunto removido constitui o circuito causal para aquela decisão de atenção específica.

Construção do Circuito

Um circuito completo para um prompt é construído aplicando recursivamente o ACC++: começando por componentes com efeito direto no logit alvo, o método rastreia disparos de atenção a montante, identificando os sinais causais para cada um, até que não restem mais componentes a montante.

Contribuições Principais

1. Avanços Conceituais e Técnicos

• Identificação Precisa de Sinais: O ACC++ identifica sinais como o produto cruzado de componentes a montante e direções de vetores singulares, em vez de identificar componentes e canais independentemente. Isso produz sinais de dimensão inferior e mais precisos.
• Contabilidade de Atenção Não Linear: Ao definir o objetivo contrafactual diretamente no peso de atenção pós-Softmax (em vez de um substituto linear), o ACC++ evita componentes espúrios e identifica circuitos menores e mais precisos.
• Análise Unificada QK: O método lida com viés e RoPE transformando tokens, permitindo uma análise consistente baseada em SVD em diferentes arquiteturas de modelo (por exemplo, GPT-2, Pythia, Gemma).

2. Interpretabilidade Automática

Os autores demonstram que uma fração substancial dos sinais do ACC++ é interpretável. Eles empregam um pipeline automatizado (adaptado de [18]) que:

• Recupera contextos de alta ativação para cada sinal a partir de um conjunto de dados (The Pile).
• Usa um LLM para gerar uma breve descrição em linguagem natural do sinal.
• Valida a descrição usando um protocolo de LLM como juiz para distinguir sinal de ruído.
  Os resultados mostram que muitos sinais admitem descrições curtas e coerentes em linguagem natural (por exemplo, "segundo item em um par paralelo", "substantivo próprio", "delimitador estrutural").

3. Análise de Circuitos Específicos de Prompt

O ACC++ permite a análise de circuitos em uma base por prompt, revelando que o comportamento do modelo não é estático, mas varia significativamente com a estrutura e a linguagem do prompt.

Resultados e Insights

1. Compactação e Qualidade do Circuito

Em três modelos (GPT-2 Small, Pythia-160M, Gemma-2 2B) e três tarefas (Identificação de Objeto Indireto, Maior-Que, Pronome de Gênero), os circuitos do ACC++ são 2x a 10x menores do que os produzidos pelo método ACC original.

• Dimensionalidade: A maioria dos sinais do ACC++ é de rank-1 (usando uma única direção singular), em comparação com sinais de dimensão superior em trabalhos anteriores.
• Validade Causal: Estudos de ablação confirmam que a remoção dos sinais do ACC++ impacta significativamente o desempenho do modelo na tarefa alvo, enquanto perturba minimamente o fluxo residual (similaridade de cosseno $\approx 0.99$), confirmando seu papel causal.

2. Sensibilidade à Estrutura do Prompt (Tarefa IOI)

Na tarefa de Identificação de Objeto Indireto (IOI), o artigo encontra que os circuitos são altamente sensíveis aos modelos de prompt:

• GPT-2: Os circuitos agrupam-se estritamente pela estrutura de modelo de alto nível (ordem ABBA vs. BABA dos nomes). A mesma cabeça "movedora de nome" (9,9) usa sinais de entrada fundamentalmente diferentes dependendo do modelo (por exemplo, "segundo item em um par" vs. pistas estruturais genéricas).
• Pythia: Os circuitos agrupam-se por mudanças de baixo nível na redação (por exemplo, "Enquanto" vs. "Então"), indicando sensibilidade a formulações de nível superficial, em vez de apenas ordem estrutural.
• Gemma-2: Mostra um agrupamento mais complexo e menos dependente de modelos, sugerindo uma dependência de detalhes mais finos do prompt.

3. Mecanismos Multilíngues (Tarefa mIOI)

Em um cenário multilíngue de IOI (Inglês, Espanhol, Francês, Português):

• Reutilização de Componentes: Os modelos reutilizam as mesmas cabeças de atenção e MLPs entre idiomas.
• Sinais Específicos de Idioma: Embora os componentes sejam compartilhados, os sinais que fluem através deles são frequentemente específicos do idioma.
• Correlação Linguística: A distância entre circuitos de diferentes idiomas correlaciona-se fortemente com a distância tipológica entre esses idiomas (distâncias sintáticas e genéticas). Por exemplo, os circuitos de espanhol e português são mais semelhantes entre si do que aos circuitos de inglês ou francês.

Significado e Alegações

O artigo alega que o ACC++ fornece uma ferramenta prática e escalável para a interpretabilidade mecânica que não depende de intervenções contrafactuais dispendiosas. Seu significado principal reside em:

1. Escalabilidade: Tornar a análise de circuitos por prompt viável em escala, exigindo apenas uma única passagem para frente.
2. Interpretabilidade: Fornecer um link direto entre canais de comunicação de baixa dimensão e descrições em linguagem natural legíveis por humanos, fechando a lacuna entre mecanismos matemáticos e compreensão semântica.
3. Compreensão Nuanceada: Revelar que os "circuitos" do modelo não são monolíticos, mas sim conjuntos dinâmicos de componentes e sinais que se adaptam à estrutura e à linguagem do prompt. Isso desafia a visão de um circuito universal único para uma tarefa, mostrando, em vez disso, um espectro de mecanismos específicos de prompt.

Os autores notam limitações, incluindo a natureza heurística do limiar $\tau$, a falta de rastreamento para sinais induzidos por FFN e o fato de que as interpretações automatizadas são sugestivas, não conclusivas. Eles enfatizam que as descobertas multilíngues são baseadas em um pequeno número de pares de idiomas e devem ser vistas como indicativas de uma tendência mais ampla, em vez de prova definitiva.