Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

Resumo Técnico: Além da Importância: A Sensibilidade de Interchange-Sobol Revela Canais de Conteúdo Específicos de Tarefa em Componentes de Transformers

Definição do Problema
Os métodos atuais de interpretabilidade mecanística tipicamente resumem os componentes de transformers usando um único escore de importância escalar (ex: via Direct Logit Attribution, ablação zero ou atribuição baseada em gradiente). Os autores argumentam que essa abordagem confunde dois papéis funcionais distintos:

1. Transporte de Conteúdo: Um componente é importante porque carrega informações relevantes para a tarefa; substituir sua ativação por conteúdo alternativo interrompe a saída do modelo.
2. Substrato Computacional: Um componente é importante porque sua presença é necessária para que o cálculo do forward funcione; removê-lo (ex: via ablação zero) degrada o desempenho.

Métricas de importância padrão frequentemente falham em distinguir esses papéis. Por exemplo, em tarefas de recuperação factual, métodos padrão podem classificar componentes de camadas iniciais com baixa importância, embora a troca de suas ativações por ativações de doadores correspondentes cause o colapso da resposta correta, indicando que eles são canais de conteúdo críticos que métricas baseadas em deleção subestimam.

Metodologia: Decomposição de Variância de Grupo de Interchange (IGSD)
O artigo introduz o IGSD, um framework de intervenção pareada projetado para separar o transporte de conteúdo da sensibilidade à deleção.

• Intervenções Pareadas: Para um grupo local de camada específico $g$ (atenção ou MLP) e um prompt base $x_A$, o IGSD realiza duas intervenções usando um prompt doador correspondente $x_B$:
  1. Intervenção de Troca (Swap): Substitui a ativação $h_g(x_A, t)$ pela ativação correspondente do doador $h_g(x_B, t)$.
  2. Intervenção Zero: Substitui a mesma ativação por um vetor zero.
• Índices de Variância: O método estima dois índices de variância do tipo Sobol normalizados pela variância da saída:
  • $ST_{swap}(g)$: Sensibilidade à substituição por conteúdo correspondente.
  • $ST_{zero}(g)$: Sensibilidade à deleção (zeramento).
• Decomposição de Papel: A métrica central é a diferença assinada $\delta(g) = ST_{swap}(g) - ST_{zero}(g)$.
  • $\delta(g) > 0$: O componente atua como um canal de transporte de conteúdo. O conteúdo incorreto é mais disruptivo do que a ausência.
  • $\delta(g) < 0$: O componente atua como um substrato sensível à deleção. A ausência é mais disruptiva do que o conteúdo alternativo.
• Diagnósticos de Validade: Para garantir que as intervenções permaneçam na variedade (manifold) dos dados, o artigo monitora $\hat{ST} > 1$. Se uma estimativa exceder 1, ela sinaliza que a intervenção está fora da variedade (violando a suposição de medida de produto de índices de Sobol ideais), e o grupo é excluído da interpretação.
• Garantias Teóricas: O artigo fornece:
  • Um limite de má especificação relacionando o índice de par correspondente a um índice de Sobol idealizado (Proposição 1).
  • Normalidade assintótica e consistência de inferência por bootstrap pareado para $\delta(g)$ (Proposição 2).
  • Resultados de identificação vinculando o sinal de contrastes de balde fatorial aos fatores de conteúdo dominantes (sujeito vs. relação) (Proposição 3).
  • Uma decomposição latente de conteúdo-substrato mostrando como $\delta(g)$ isola a dominância da massa de conteúdo ($C_g$) versus a massa de substrato ($N_g$) (Proposição 4).

Principais Contribuições

1. Formulação do Framework: O IGSD é formulado como um framework de intervenção pareada com inferência de par correspondente e um design de doador fatorial, sustentado por limites teóricos de fidelidade de interchange e erros de dependência.
2. Descoberta de Canais Específicos de Tarefa: Através de diversas tarefas, o IGSD identifica perfis de transporte de conteúdo localizados e específicos da tarefa na posição do último token alinhado à resposta.
   • Recuperação Factual: Tanto no GPT-2 small quanto no Qwen2.5-1.5B, o IGSD identifica um canal de conteúdo de camada inicial (especificamente $MLP_{L0}$ no GPT-2 small) que métodos de importância padrão classificam baixo (ex: #11–#13), mas que o IGSD classifica como #1.
   • Granularidade: O método refina para a granularidade de cabeça, recuperando a cabeça de recuperação factual conhecida $Attn_{L9H8}$.
   • Dissociação de Conteúdo: Designs de doadores controlados revelam que o canal inicial ($MLP_{L0}$) transporta conteúdo de frame de relação (ex: o template "X é cidadão de"), enquanto a atenção tardia ($Attn_{L9}$) transporta conteúdo de recuperação de sujeito.
3. Validação Downstream:
   • Clamping de Camada Tardia: Experimentos confirmam que o sinal inicial não é meramente passado através de resíduos, mas é funcionalmente transformado por computações de camadas tardias (especificamente MLPs tardios).
   • Utilidade de Poda (Pruning): Componentes identificados como canais de transporte de conteúdo são alvos naturais para edição de conhecimento, enquanto componentes que não são nem portadores de conteúdo nem sensíveis à deleção são candidatos para poda estruturada. Experimentos mostram que a poda baseada em rankings de IGSD retém uma precisão significativamente maior (70,0%) comparada à poda baseada em rankings de ablação zero (57,4%).

Resultados

• Recuperação Factual: No GPT-2 small, a troca de $MLP_{L0}$ faz com que a resposta correta caia do rank #1 para #95, ao passo que a ablação zero tem um efeito muito menor. O IGSD identifica corretamente isso como um canal sensível ao conteúdo ($\hat{\delta} = 0,103$), enquanto métricas padrão (DLA, AtP*) falham em priorizá-lo.
• Especificidade da Tarefa: O papel de um componente não é fixo. Na Identificação de Objeto Indireto (IOI), o contraste positivo dominante desloca-se para camadas de atenção tardia ($Attn_{L9}, Attn_{L10}$), enquanto o $MLP_{L0}$ torna-se negativo (sensível à deleção).
• Robustez: As descobertas são estáveis entre sementes aleatórias e arquiteturas (GPT-2 small e Qwen2.5-1.5B). O perfil de contraste "troca vs. zero" é distinto para cada tarefa (Factual, IOI, Indução).

Significância e Alegações
O artigo afirma que a substituição e a deleção não são controles intercambiáveis. A divergência entre eles fornece um diagnóstico estatístico prático para identificar o transporte de conteúdo em componentes de transformer.

• Insight Mecanístico: O IGSD revela que as camadas iniciais na recuperação factual são críticas para estabelecer o "frame de relação" (o template da consulta), um papel anteriormente subestimado por métricas baseadas em deleção.
• Mudança Metodológica: O trabalho vai além de escores de importância estáticos para uma classificação de papel dinâmica, determinada pela tarefa, distribuição do doador e funcional da saída.
• Aplicação Prática: A decomposição de papéis de conteúdo vs. substrato oferece uma base principiológica para edição de modelos (alvejando canais de conteúdo) e inferência eficiente (podando componentes de substrato).

Os autores mantêm-se modestos quanto às limitações, observando que a validade da intervenção depende da fidelidade do pareamento do doador, que a ablação zero é apenas um operador de deleção, e que os resultados atuais são limitados a tarefas de token único e validação downstream de nível de bloco. No entanto, eles argumentam que o framework é extensível para saídas de múltiplos tokens e classes de equivalência semântica.