🤖 machine learning

Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes

Este artigo demonstra que, embora o agrupamento de cabeças de atenção com base em estatísticas de coativação gere propostas de circuitos plausíveis, apenas testes de ablação causal podem validar sua necessidade funcional, revelando que tais sinais baratos frequentemente falham em identificar circuitos verdadeiros em arquiteturas complexas como modelos de Mistura de Especialistas (Mixture-of-Experts).

Autores originais: Yongzhong Xu

Publicado 2026-06-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yongzhong Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: "Propor" vs. "Provar" uma Equipe

Imagine que você está tentando entender como uma máquina complexa (como o cérebro de um robô gigante) funciona. Você suspeita que certos grupos de engrenagens (chamados de cabeças de atenção) trabalham juntos como uma equipe para realizar tarefas específicas, como "lembrar da palavra anterior" ou "encontrar um padrão".

Por muito tempo, os pesquisadores tentaram encontrar essas equipes observando a coativação. Isso é como observar as engrenagens e dizer: "Ei, a Engrenagem A e a Engrenagem B sempre giram ao mesmo tempo. Elas devem ser uma equipe!"

Este artigo faz uma pergunta crítica: Só porque as engrenagens giram juntas, isso significa que elas são realmente uma equipe funcional realizando um trabalho importante? Ou elas estão apenas girando juntas porque ambas estão conectadas ao mesmo interruptor de energia, mesmo sem estarem fazendo nada de útil?

Os autores chamam isso de diferença entre uma Proposta (um palpite baseado na observação) e uma Descoberta (um fato confirmado baseado em prova).

O Experimento: O "Teste do Silêncio"

Para provar que uma equipe é real, os autores não apenas observaram o giro das engrenagens; eles realizaram um Teste do Silêncio (que eles chamam de Fechamento).

A Proposta: Eles usaram uma receita matemática (agrupamento/clustering) para encontrar grupos de engrenagens que giram juntas.
O Testo: Eles desligaram (ablaram) esse grupo específico de engrenagens.
O Veredito:
- Circuito Real: Se a máquina começar a cometer erros ou parar de funcionar, o grupo era uma equipe real e essencial.
- Circuito Falso: Se a máquina continuar funcionando perfeitamente (ou até funcionar melhor), o grupo não era uma equipe real. Eles eram apenas "ruído" ou partes redundantes que não importavam.

Os Resultados: Duas Histórias Diferentes

Os autores testaram isso em três tipos diferentes de cérebros de robôs (modelos de IA).

1. Os Modelos Densos (Os Cérebros "Padrão")

Modelos: Pythia 1B e OLMo 1B.
A História: Nesses modelos, o "Teste do Silêncio" funcionou perfeitamente. Quando eles desligaram os grupos de engrenagens que a matemática dizia serem "equipes", o cérebro do robô realmente ficou pior em sua tarefa.
A Analogia: É como encontrar um grupo de músicos em uma orquestra que sempre toca as mesmas notas. Quando você os silencia, a música desmorona. Conclusão: Nesses modelos, o palpite de "girar junto" era geralmente uma proposta correta para um circuito real.

2. O Modelo MoE (O Cérebro "Especialista")

Modelo: OLMoE-1B-7B (Mixture of Experts / Mistura de Especialistas). Este modelo é diferente; possui um "gerente" que decide quais especialistas trabalharão em cada tarefa.
A História: É aqui que fica complicado.
- Primeiro, a matemática falhou em encontrar qualquer equipe ao olhar para o cérebro como um todo.
- Então, os pesquisadores tentaram um truque mais inteligente: eles agruparam as entradas de acordo com qual "gerente" estava ativo e buscaram equipes dentro desses grupos. Desta vez, a matemática encontrou um sinal muito forte. Parecia uma equipe real!
- A Reviravolta: Quando realizaram o Teste do Silêncio nessa "equipe perfeita", o cérebro do robô não piorou. Ele melhorou.
A Analogia: Imagine um grupo de pessoas em um escritório que sempre ficam paradas no mesmo canto e conversam alto. Você pensa que elas são uma "Equipe de Projeto". Mas quando você pede para elas saírem, o escritório funciona melhor porque elas estavam, na verdade, apenas distraindo todo mundo.
Conclusão: Neste modelo, a matemática encontrou um grupo que parecia uma equipe, mas era apenas "ruído". O Teste do Silêncio provou que parecer uma equipe não é o suficiente para ser uma equipe.

A Linha do Tempo do Treinamento: "Forma" vs. "Função"

Os autores também observaram esses cérebros crescerem de bebê a adulto (durante o treinamento). Eles observaram duas coisas:

Forma: A engrenagem parece estar focando na coisa certa? (ex: Ela está olhando para a palavra anterior?)
Função: A engrenagem está realmente fazendo o trabalho? (Se você desligá-la, o robô quebra?)

Eles encontraram uma discrepância surpreendente:

Função sem Forma: Às vezes, um grupo de engrenagens estava fazendo o trabalho pesado (função essencial) antes mesmo de começarem a parecer focados. Eles estavam trabalhando duro enquanto ainda estavam "vadiando".
Forma sem Função: Às vezes, um grupo de engrenagens parecia perfeitamente focado e nítido (ótima forma), mas se você os desligasse, nada acontecia. Eles pareciam uma equipe, mas eram apenas decorativos.

A Surpresa da "Redundância"

Em um teste específico (Pythia 1B em texto natural), eles encontraram um fenômeno estranho.

Quando desligaram a "equipe", a confiança do robô na resposta exata e correta despencou (ele tinha certeza de que estava errado).
MAS, a pontuação geral (perda média/loss) quase não mudou.
A Analogia: Imagine um gerador de reserva. Se você cortar a linha de energia principal, as luzes piscam descontroladamente (o sinal específico desmorona), mas como o gerador de reserva entra em ação muito rápido, a casa não fica no escuro (a pontuação geral permanece a mesma). O modelo possui tantos caminhos de reserva que ele esconde o dano, fazendo a "equipe" parecer menos importante do que realmente é.

A Principal Lição

O artigo conclui com uma regra simples para pesquisadores de IA:

"A coativação é uma proposta; o fechamento é a prova."

Só porque partes de um cérebro de IA ativam juntas, ou parecem focadas, ou aparecem em um agrupamento estatístico, não significa que sejam um circuito funcional. Você deve realizar o "Teste do Silêncio" (ablação) para ver se elas realmente importam.

Em modelos padrão, o palpite costuma ser correto.
Em modelos complexos de "Mistura de Especialistas", o palpite pode ser completamente errado, levando você a pensar que encontrou uma equipe quando, na verdade, encontrou um grupo de distrações.

O que o artigo NÃO afirma:

Não diz que este método funciona para todos os modelos de IA (apenas para os que testaram).
Não diz que isso se aplica a outros tipos de recursos de IA (como "Autoencoders Esparsos") que usam matemática diferente.
Não oferece aconselhamento médico ou clínico. É puramente sobre entender como esses cérebros computacionais específicos funcionam.

Resumo Técnico: Descoberta de Circuitos Validados por Fechamento em Cabeças de Atenção

Enunciado do Problema
A interpretabilidade mecanística deslocou-se para a visão de que grupos de componentes (subespaços, variedades, conjuntos de cabeças) em vez de unidades individuais são o objeto básico de estudo. Uma abordagem metodológica prevalente propõe encontrar esses grupos através do agrupamento de estatísticas de coativação (por exemplo, usando modelos de Ising binarizados em características de autoencoders esparsos ou cabeças de atenção). No entanto, permanece uma lacuna crítica: será que uma comunidade de coativação estatisticamente coerente constitui de fato um "circuito" no sentido de suporte de carga (load-bearing)? Um verdadeiro circuito é um grupo de componentes cuja remoção degrada causalmente o desempenho do modelo em entradas onde a função do grupo se aplica.

O artigo investiga se sinais baratos — especificamente a membresia de clusters de coativação, a seletividade de atenção-alvo e a razão de participação — podem servir como evidência suficiente para a descoberta de circuitos, ou se eles meramente propõem candidatos que requerem validação causal. Os autores perguntam se o agrupamento sozinho pode distinguir entre:

Circuitos Verdadeiros: Grupos que implementam conjuntamente uma função e são de suporte de carga.
Comunidades Coativas: Grupos que disparam juntos devido a drivers ascendentes compartilhados, mas contribuem de forma redundante ou marginal.
Comunidades Canceláveis: Grupos que adicionam sinais de viés para os quais a rede compensa, de modo que sua remoção pode até melhorar o desempenho.

Metodologia
O estudo emprega um framework de "proposta-e-validação" em três modelos de linguagem de escala 1B (Pythia 1B, OLMo 1B e o Mixture-of-Experts OLMoE-1B-7B) e duas distribuições de entrada (indução sintética e texto natural).

Proposta (Agrupamento/Clustering):
- Extração de Sinal: Para cada cabeça de atenção, um sinal livre de template é extraído: o peso máximo de atenção atribuído a qualquer posição de chave (key position) em uma entrada.
- Binarização: Os sinais são binarizados na mediana por cabeça, garantindo que cada cabeça dispare em 50% dos exemplos por construção, removendo vieses de taxa de disparo.
- Ajuste de Ising: Um modelo de Ising de pares é ajustado aos sinais binarizados usando pseudolikelihood para estimar as forças de acoplamento entre as cabeças.
- Recuperação de Comunidade: O agrupamento espectral é aplicado à matriz de acoplamento absoluta. O número de clusters ( $k$ ) é selecionado para maximizar o Índice Rand Ajustado (ARI) contra uma classificação supervisionada de capacidades de cabeças (ex: token anterior, indução).
- Seleção de Candidato: Um sub-cluster específico é selecionado com base em pureza, isolamento (razão de acoplamento interno para externo) e restrições de tamanho.
Validação (Teste de Fechamento/Closure Test):
- Ablação: A comunidade selecionada é ablada zerando os cortes de saída (output slices) das cabeças identificadas antes que elas entrem no fluxo residual.
- Comparação: O dano por exemplo (mudança na perda de entropia cruzada, precisão top-1 e logit do token-alvo) é comparado contra cinco ablações de controle aleatórias correspondentes do mesmo tamanho.
- Critérios de Veredito: Um candidato passa no fechamento se o dano estiver na direção esperada (perda aumenta, precisão/logit diminui) e for estatisticamente significativo (z-score > 1.8) em relação à distribuição de controle aleatório.
Proxies Estendidos:
- O estudo também rastreia a seletividade de atenção-alvo e a razão de participação (PR) através de checkpoints de treinamento para ver se esses sinais "baratos" correlacionam-se com a função de suporte de carga ao longo do tempo.

Principais Resultados

Modelos Densos (Pythia 1B, OLMo 1B):
- Comunidades de coativação identificadas tanto em distribuições de texto sintético quanto natural passam no fechamento.
- A ablação dessas comunidades consistentemente aumenta a perda e diminui a precisão/logit-alvo em relação aos controles aleatórios.
- OLMo 1B (Texto Natural): Produziu o sinal mais forte, com um z-score de +36.4 $\sigma$ na perda e -50.9 $\sigma$ no logit-alvo.
- Pythia 1B (Texto Natural): Mostrou uma "assinatura de redundância downstream". Embora o logit-alvo tenha caído significativamente (-52.5 $\sigma$ ), a mudança agregada na perda foi pequena (+1.95 $\sigma$ ). Isso indica que o modelo possui caminhos downstream redundantes que reconstroem a saída ablada, isolando a perda de entropia cruzada enquanto a confiança da predição específica colapsa.
Mixture-of-Experts (OLMoE-1B-7B):
- Falha Marginal: Em texto natural, o modelo de Ising marginal colapsou (ARI $\approx$ 0.006), falhando em recuperar qualquer estrutura.
- Recuperação Condicional à Rota: Estratificar exemplos por padrões de roteamento (usando k-means nos pesos de roteamento) e ajustar Isings separados recuperou um sinal estatisticamente significativo (ARI 0.191, +3.05 $\sigma$ acima de um nulo de partição aleatória).
- Falha de Fechamento: Apesar da recuperação estatística, a comunidade descoberta falhou no fechamento na direção errada. Ablar a comunidade melhorou a perda (z = -5.64 $\sigma$ no estrato de descoberta, -12.94 $\sigma$ fora dele). As cabeças atuaram como ruído modulado por rota; removê-las ajudou o modelo, particularmente em entradas fora do estrato de roteamento específico.
Eixo de Treinamento Proxies:
- Função sem Forma: Em OLMo 1B, as cabeças de BOS (beginning-of-sequence) foram de suporte de carga (passaram no fechamento) em 2B tokens antes de seu padrão de seletividade de atenção-BOS ter se formado (a seletividade era próxima de zero).
- Forma sem Função: Em Pythia 1B, as cabeças de token anterior mostraram alta seletividade e alta razão de participação em 1B tokens, mas falharam no fechamento (a ablação não danificou o desempenho, e em alguns casos ajudou).
- Esse desacoplamento bidirecional prova que padrões de atenção e função são construtos distintos, não meramente sensibilidades diferentes do mesmo fenômeno.

Relato de Múltiplos Métricas
O artigo argumenta que a perda de entropia cruzada sozinha é uma métrica não confiável para o fechamento. Ela pode ser inflada pelo colapso da variância de controle (como visto no OLMo texto natural) ou mascarada pela redundância downstream (como visto no Pythia texto natural). Os autores recomendam um padrão de múltiplas métricas:

Direção: Todas as métricas devem se mover na direção do dano.
Target-Logit: O principal indicador de impacto causal.
Precisão (Accuracy): Evidência corroborativa.
Perda (Loss): Um piso conservador, sujeito a folga de agregação.

Alegações e Significância
O artigo conclui com quatro alegações específicas:

Proposta vs. Descoberta: O agrupamento de coativação não supervisionado é um método de proposta de circuito, não um método de descoberta. Ele identifica comunidades candidatas, mas apenas a ablação causal (fechamento) as valida como de suporte de carga.
Sucesso em Modelos Densos: Em modelos densos de escala 1B, comunidades de coativação em textos sintéticos e naturais podem propor com sucesso circuitos de suporte de carga que sobrevivem ao fechamento.
Falha em MoE: Em arquiteturas MoE, mesmo a recuperação estatística condicional à rota (que passa em um teste nulo cuidadoso) é insuficiente como evidência de um circuito. As comunidades recuperadas podem falhar no fechamento na direção oposta (melhorando o desempenho após a remoção).
Divergência de Métricas: O gap entre padrões de atenção (seletividade/PR) e função é bidirecional; uma cabeça pode ter um padrão agudo sem função, e função sem um padrão.

Escopo e Limitações
Os autores declaram explicitamente que não alegam que estes resultados se generalizem para variedades de características de SAE (que usam critérios de validação diferentes), modelos maiores, outras arquiteturas (ex: LLaMA, Mistral) ou outras distribuições de entrada (ex: código). Eles também observam que a falha de "direção errada" em MoE é específica para a arquitetura e o protocolo de roteamento testados, e que a afinidade de Ising usada é uma escolha para comparabilidade, não necessariamente a afinidade ótima para circuitos discretos. O estudo enfatiza que o resultado negativo em MoE é essencial, pois demonstra que a coerência estatística não garante a natureza de suporte de carga causal, especialmente em arquiteturas complexas.