Resumo Técnico: Circuitos de Sonda Espectral

Declaração do Problema

A interpretabilidade mecânica de transformadores pré-treinados geralmente depende de análise post-hoc: identificar circuitos de cabeças de atenção após o modelo estar totalmente treinado, ablacionando cabeças e observando a degradação de desempenho em uma tarefa fixa e pré-especificada. Esse fluxo de trabalho é computacionalmente caro (requer passagens diretas sobre redes totalmente treinadas para cada condição) e inerentemente reativo, pois a capacidade-alvo deve ser definida antes que a busca comece. Além disso, os métodos existentes frequentemente lutam para distinguir entre computação dependente de conteúdo geral e circuitos causais específicos de tarefas, particularmente em modelos maiores onde "sumidouros de atenção" (cabeças atendendo ao primeiro token) dominam o cenário.

Metodologia: Uma Receita de Três Passos

O artigo propõe uma receita de três passos para identificar circuitos de cabeças de atenção que opera por cabeça, não requer rótulos de tarefa ou gradientes de atribuição e pode ser aplicado durante o treinamento ou em checkpoints finais.

Passo 1: Sinal Espectral por Cabeça (O Indicador Geral)

O primeiro passo identifica cabeças realizando computação sustentada e dependente de conteúdo usando uma métrica espectral derivada da teoria de matrizes aleatórias.

• Métrica: Para cada cabeça em cada checkpoint de treinamento, a Razão de Participação (RP) da matriz de saída de atenção por cabeça é calculada. A RP mede o rank efetivo (dimensionalidade) da distribuição de saída.
• Característica de Trajetória: O método integra a evolução temporal deste sinal: $I(L, H) = \sum_t \max(RP(L, H, t) - 1, 0) \cdot \Delta \log(\text{tokens}_t)$.
• Função: Esta "integral de RP" classifica cabeças que mantêm alto rank efetivo (abrangendo muitas direções) ao longo do tempo. Serve como um indicador geral de especialização, filtrando cabeças que colapsam para estados de baixo rank (independentes de conteúdo) ou permanecem ruidosas. Crucialmente, não distingue o que a cabeça está fazendo, apenas que está realizando computação especializada.

Passo 2: Filtro de Padrão de Tarefa (O Filtro Específico de Tarefa)

O sinal espectral geral é especializado para uma tarefa-alvo medindo padrões de atenção contra alvos canônicos.

• Mecanismo: Um filtro "todas-as-cabeças" mede a seletividade de cada cabeça para padrões de atenção específicos (ex.: indução, token anterior, token duplicado, primeiro token/BOS, self, local).
• Definição de Seletividade: A seletividade é a razão entre a atenção para posições-alvo versus uma linha de base uniforme.
• Limites: Cabeças são classificadas se sua seletividade exceder um limite (ex.: $\ge 30\times$ para atribuição, $\ge 50\times$ para membership de circuito de indução).
• Função: Este passo converte o sinal geral de "especialização" em um circuito candidato para uma capacidade específica. Aborda a limitação do Passo 1, que em modelos dominados por sumidouros de atenção classificaria cabeças genéricas dependentes de conteúdo mais alto do que as específicas de tarefa.

Passo 3: Verificação Causal (A Alegação Falsificável)

Circuitos candidatos são validados via ablação de grupo com controles rigorosos para garantir que o efeito seja causal e não um artefato da composição de camadas.

• Procedimento: O slice por cabeça do fluxo residual na projeção de saída de atenção é zerado.
• Controles:
  1. Aleatório-Matchado: Ablacionar um número igual de cabeças nas mesmas camadas que não foram selecionadas pelo filtro. Isso descarta a hipótese de que "ablacionar qualquer cabeça nessas camadas causa degradação".
  2. Limite Superior: Ablacionar todas as cabeças nas camadas selecionadas. Isso estabelece o efeito máximo possível para aquela camada.
• Critério: Um circuito é considerado causal se as cabeças escolhidas pelo filtro produzirem uma degradação significativamente maior do que o controle aleatório-matchado, enquanto o limite superior satura perto de zero.

Resultados Chave

1. Replicação Cross-Arquitetura e Cross-Escala

A receita foi validada em uma faixa de 8$\times$ de parâmetros (51M a 1B-ativo / 7B-total) e três famílias de arquiteturas (GPT-NeoX denso, estilo Llama denso e estilo Llama MoE) treinadas em diferentes pipelines de dados (TinyStories, FineWeb, Pile, DCLM).

• Circuito de Indução: Um pequeno circuito de indução (3–6 cabeças) foi encontrado como causalmente necessário para tarefas de indução sintética em cada modelo testado.
• Escala Sublinear: Enquanto as contagens totais de cabeças aumentam linearmente com o tamanho do modelo, o tamanho do circuito de indução permanece sublinear (3–11 cabeças), indicando que a capacidade específica não escala linearmente com a capacidade do modelo.

2. A Fração Conservada de Cabeças Especializadas

Através da faixa de escala de 8$\times$ (124M a 410M), a fração de cabeças realizando computação especializada identificável é conservada em $\sim$17–19%.

• Esta fração foi recuperada independentemente usando dois métodos: (1) classificando as escolhas espectrais top-$K$ em classes de capacidade, e (2) contando cabeças com seletividade de indução acima de um piso de ruído de distribuição nula.
• Em modelos maiores da classe 1B, esta fração varia mais significativamente (4,7% a 27,3%) e correlaciona-se com a dominância de atractor-BOS (sumidouros de atenção) em vez da escala do modelo, sugerindo que a conservação é uma propriedade dentro de famílias específicas de arquitetura/dados.

3. Poder Preditivo e Especificidade de Semente

• Especificidade de Semente: Em um modelo de 51M de parâmetros treinado com seis sementes aleatórias diferentes, a receita identificou circuitos distintos e específicos de semente para a mesma tarefa. Ablacionar o circuito identificado para a Semente A não teve efeito no modelo da Semente B, confirmando que o método encontra a implementação real do modelo em vez de um padrão universal.
• Timing Preditivo: O sinal espectral (Passo 1) sobe antes que a seletividade de capacidade cruze seu limite funcional. A receita pode identificar o circuito usando apenas uma pequena fração (0,3–2%) dos tokens totais de treinamento, precedendo o surgimento completo da capacidade.

4. Robustez a Mudanças de Dados

Em um modelo treinado no FineWeb e depois continuado no OpenWebText, o circuito de indução identificado no ponto final do FineWeb permaneceu invariante (Jaccard = 1,00) através da mudança de dados. As cabeças mantiveram suas seletividades e trajetórias de RP, sugerindo que o método identifica especialização estrutural em vez de estatísticas específicas do corpus.

5. Dependências Composicionais

O método identificou com sucesso o circuito "token anterior" (8–9 cabeças) e demonstrou seu papel causal na indução. Ablacionar o circuito de token anterior destruiu o desempenho de indução, confirmando a estrutura composicional padrão onde cabeças de token anterior constroem os vetores-chave usados por cabeças de indução.

Significado e Alegações

O artigo posiciona-se como a âncora metodológica para um programa de três artigos. Suas alegações principais são modestas e focadas na validade da própria receita:

1. A Receita é uma Receita, Não um Filtro Universal: Os autores afirmam explicitamente que o Passo 1 (sinal espectral) é um indicador geral de especialização, não um detector específico de tarefa. O Passo 2 (filtro) fornece especificidade de tarefa, e o Passo 3 (ablação) fornece falsificabilidade causal. A combinação é o que torna o método robusto.
2. Enquadramento Honesto de Alegações Causais: O artigo enfatiza que o diferencial "aleatório-matchado" é o que torna a alegação causal honesta. Sem este controle, não se pode distinguir entre um circuito específico e um efeito geral de camada.
3. Precedência Desenvolvimental: O sinal espectral precede o surgimento da seletividade de capacidade, oferecendo uma janela potencial para monitorar a formação de circuitos durante o pré-treinamento (detalhado em um artigo companheiro).
4. Limitações: Os autores notam que para tarefas compostas (ex.: Identificação de Objeto Indireto), o padrão de atenção primário pode se desacoplar da estrutura causal da tarefa através de diferentes famílias de modelos, exigindo um conjunto mais amplo de filtros candidatos. Além disso, o método depende de lotes de avaliação fixos, e as cabeças específicas do circuito podem variar entre re-treinamentos (embora a fração de cabeças especializadas pareça estável).

Em resumo, o artigo fornece um framework reprodutível e sem rótulos para isolar pequenos circuitos de cabeças de atenção causalmente necessários, demonstrando que uma fração conservada da capacidade do modelo é dedicada à computação especializada que escala sublinearmente com o tamanho do modelo.