Resumo Técnico: Cabeças Abláveis-Reversíveis Não se Transferem

Declaração do Problema

Na interpretabilidade mecânica (MI), um fluxo de trabalho comum para atribuir papéis funcionais a cabeças de atenção envolve a combinação de três linhas de evidência:

1. Necessidade Seletiva: A ablação da cabeça danifica uma capacidade específica enquanto preserva outras.
2. Decodificabilidade Linear: As ativações da cabeça codificam linearmente o cálculo solicitado.
3. Reversibilidade de Ablação: Restaurar as ativações limpas da cabeça após a ablação recupera o desempenho.

O artigo argumenta que este conjunto de evidências é insuficiente para afirmar que uma cabeça implementa um cálculo específico (ex: "esta cabeça realiza adição"). Os autores postulam que estas quatro propriedades — necessidade seletiva, decodificabilidade linear, reversibilidade de ablação e generalizabilidade intervencional — são distintas e rotineiramente se dissociam. Especificamente, uma cabeça pode ser necessária e reversível dentro de um único contexto de prompt sem carregar um estado semântico transferível que possa redirecionar o comportamento em um novo contexto. Confluir estas propriedades leva a reivindicações de papéis excessivamente confiantes e interpretações enganosas de circuitos de transformers.

Metodologia

Os autores introduzem KID (Knowing / Intent / Doing — Saber / Intenção / Fazer), um vocabulário de atribuição de papéis, e o combinam com um pipeline empírico de três estágios para testar a generalizabilidade intervencional.

O Framework KID

• Knowing (Saber): O processo de reconhecer o que um prompt solicita. Uma cabeça preenche este papel se suas ativações nas posições do prompt carregam informação de cálculo decodificável e se sua ablação danifica o reconhecimento do nível do prompt.
• Intent (Intenção): Um estado de seleção de cálculo que ocorre após o reconhecimento, mas antes da execução. Uma cabeça preenche este papel se satisfaz os critérios de "Knowing" e é intervencionalmente generalizável (seu estado, quando injetado em um prompt diferente, redireciona o comportamento para o cálculo de origem).
• Doing (Fazer): Execução da resposta e geração. Uma cabeça preenche este papel se suas ativações nas posições da resposta são necessárias e a reversibilidade de ablação é alcançada restaurando as ativações do lado da resposta.

O Pipeline de Três Estágios

1. Triagem de Seletividade de Capacidade (CSS): Identifica pequenos conjuntos de cabeças de atenção cuja ablação direcionada danifica seletivamente uma capacidade medida. Isso estabelece a importância comportamental, mas não reivindicações representacionais.
2. Decomposição de Valores Singulares (SVD): Inspeciona a informação linearmente presente nos cabeças selecionados via CSS usando controles de prompt contrabalanceados (ex: mesma string de resposta, computação diferente) para separar a estrutura semântica de artefatos superficiais.
3. Ensaios de Transdução de Ativação: O teste crítico para a generalizabilidade intervencional. Ativações limpas de um prompt de origem (Computação A) são injetadas em um prompt de alvo (Computação B) sob controles correspondentes.
   • Controles: O pipeline utiliza controles de mesma-computação (variando a forma superficial) e controles de mesma-resposta (compartilhando a string de resposta, mas diferindo na computação) para garantir que os efeitos observados se devam à seleção de cálculo, e não ao contexto ou familiaridade da resposta.
   • Restauração de Trajetória Completa: Para distinguir "Knowing/Intent" de "Doing", os autores restauram separadamente as ativações nas posições do prompt versus as posições da resposta após a ablação.

Resultados Principais

O estudo foi aplicado a três modelos de 7–8B ajustados por instrução (Qwen2.5, Llama-3, Mistral) através de cinco famílias de computação (aritmética, comparação, propriedades de dígitos, datas, horas).

1. Dissociação Sistemática de Propriedades

A principal descoberta é que a reversibilidade de ablação não implica generalizabilidade intervencional.

• Cabeças que passam no teste de reversibilidade de ablação do lado do prompt (restaurando o desempenho quando as ativações são injetadas de volta no mesmo prompt) rotineiramente falham em transferir o cálculo quando suas ativações são injetadas em um diferente prompt.
• Em todas as combinações de família de modelo e rank testadas, nenhuma cabeça satisfez todas as quatro propriedades de evidência exigidas para um papel de "Intent".

2. Taxonomia de Papéis

Os autores propõem uma taxonomia preliminar de papéis para cabeças selecionadas por CSS, nenhuma das quais satisfaz plenamente os critérios para um estado de seleção de cálculo intervencionalmente generalizável:

• Cabeças de Viés de Logit do Lado da Resposta: Seletivamente necessárias e reversíveis, mas apenas quando restaurando ativações nas posições da resposta. Estas cabeças enviesam a distribuição de saída para respostas erradas plausíveis ou para a resposta de referência, mas não armazenam a seleção do cálculo.
• Estabilizadores do Lado do Prompt: Necessários para manter a trajetória do cálculo através do prompt (prevenindo o desvio). Eles são reversíveis nas posições do prompt, mas inertes ou negativos sob transdução de ativação. Eles mantêm o contexto em vez de selecionar um cálculo específico.
• Cabeças de Contexto Amplo do Lado do Prompt: Reversíveis nas posições do prompt, mas a transdução de ativação transfere o contexto amplo da origem (evidenciado pelo movimento em controles de mesma-resposta) em vez de um rótulo de cálculo específico.
• Portadores de Padrão de Computação Suave: Identificados via SVD (ex: em uma cabeça de comparação do Qwen), esses subespaços carregam informação de seleção ordenada abstrata através de famílias relacionadas. Embora mostrem um controle causal "suave", eles falham em produzir mudanças de ordenação de resposta em linhas adversárias de baixa margem, ficando aquém de uma troca de cálculo limpa.

3. Implicações Metodológicas

• Controles de Mesma-Resposta: O artigo destaca o "controle de mesma-resposta" como um check crítico e subutilizado. Ele expõe casos onde os patches movem a saída do modelo ao transferir a familiaridade da string de resposta em vez de um estado de seleção de cálculo.
• Atribuição de Papel Requer Transdução: A triagem comportamental (CSS) e a decodificabilidade linear são pré-requisitos necessários para reiv beenções de interpretabilidade, mas insuficientes para a atribuição de papéis. Apenas a transdução de ativação sob controles correspondentes fornece evidência para um estado de seleção de cálculo transferível.

Significância e Alegações

O artigo afirma fornecer um teste de estresse rigoroso para reivindicações de papéis mecânicos, demonstrando que o conjunto padrão de evidências (necessidade + decodificabilidade + reversibilidade) é propenso a "ilusões de interpretabilidade".

• Refutação de Suposições Comuns: Os autores mostram que as cabeças frequentemente funcionam como estabilizadores de trajetória de prompt ou cabeças de viés de logit do lado da resposta, em vez de unidades dedicadas de seleção de cálculo ("Intent").
• Operacionalização do Rigor: O trabalho operacionaliza um caminho para uma MI auditável ao condicionar as reivindicações de papel a testes de generalizabilidade intervencional. Sugere que, se um estado de seleção de cálculo existe em cabeças de atenção, ele é provavelmente raro ou distribuído, já que nenhuma cabeça localizada por CSS nos experimentos atuais atendeu aos critérios totais.
• Direção Futura: A metodologia esclarece que encontrar um estado de seleção de cálculo requer a localização de papel de trajetória completa para identificar candidatos do lado do prompt, seguida de transdução de ativação sob controles de mesma-resposta. Se tais cabeças não forem encontradas, o estado de seleção de cálculo pode residir em componentes não-atenção (MLPs, stream residual) ou estar distribuído entre muitas cabeças.

O artigo conclui que, embora o CSS identifique cabeças reais, compactas e frequentemente decodificáveis, a dissociação da necessidade, decodificabilidade e reversibilidade da generalizabilidade exige uma abordagem mais cautelosa ao atribuir papéis semânticos aos componentes do transformer.