🤖 machine learning

Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model

Este artigo estende os limites teóricos sobre interações entre camadas em ablação de espaço de pesos ao derivar um limite de Jacobiano de atenção em forma fechada verificado em um modelo pré-treinado real e demonstrar resultados empíricos mistos em um circuito emergente de identificação de objeto indireto.

Autores originais: Abdallah Khemais

Publicado 2026-08-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Abdallah Khemais

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como o cérebro de um robô gigante e superinteligente funciona. Este cérebro não é um único bloco de metal; ele é construído como uma longa linha de montagem com muitas estações, ou "camadas", onde a informação é passada adiante. Em cada estação, o cérebro faz duas coisas principais: ele presta atenção em pistas específicas (como um detetive focando em uma testemunha) e processa essas pistas através de um módulo de pensamento (como uma calculadora processando números). Os cientistas chamam as partes que carregam essas pistas de "transportadores".

Para descobrir o que cada parte faz, os pesquisadores jogam um jogo de "e se". Eles tentam dois truques diferentes: Patching de Ativação, onde trocam um pedaço do pensamento atual do robô por um pensamento de uma situação diferente para ver se o robô fica confuso, e Ablação de Peso, onde efetivamente "desligam" uma parte da fiação do cérebro para ver se o robô para de funcionar. Geralmente, esses dois truques contam a mesma história. Mas às vezes, quando as estações do robô estão conectadas de formas complicadas, os truques dão respostas diferentes. A grande questão é: Por que eles discordam e o quanto uma parte do cérebro atrapalha outra parte que está longe dali na linha? Compreender isso é crucial porque, se quisermos consertar ou controlar esses cérebros gigantes, precisamos saber exatamente como suas engrenagens internas interagem, não apenas como elas parecem na superfície.

Este artigo é como uma história de detetive que pega uma pista encontrada em um modelo minúsculo e simples e tenta ver se ela se sustenta em um robô massivo e do mundo real. O autor começa com uma descoberta de um "artigo complementar" (um estudo irmão do mesmo escritor) que provou que, em uma única estação isolada, desligar um tipo específico de módulo de pensamento (o MLP) não atrapalha o módulo de atenção de forma alguma. É como desligar a calculadora em uma estação de uma fábrica sem afetar a lupa do detetive. No entanto, essa prova só funcionava para uma estação por vez. Robôs reais têm dezenas de estações, e as partes que os cientistas querem desligar estão frequentemente distantes umas das outras.

O primeiro grande movimento do autor é decompor o caos de um robô de múltiplas estações em uma soma organizada de partes. Eles mostram que a confusão total causada pelo desligamento de partes através de muitas camadas pode ser dividida em duas coisas: um efeito de "mesma estação" (que eles entendem perfeitamente) e um resto de "interação entre camadas" (a parte bagunçada que acontece quando a Estação A altera a entrada para a Estação B). Eles provam que esse resto bagunçado não é apenas ruído aleatório; ele tem uma forma matemática precisa, como uma integral dupla (uma maneira sofisticada de dizer que é o efeito acumulado de duas mudanças acontecendo juntas).

Mas aqui está a reviravolta: embora consigam descrever a forma da bagunça, eles ainda não conseguem colocar um número concreto sobre o quão grande ela se torna quando você encadeia muitas estações. Para fazer isso, precisaram de uma nova ferramenta: um "limite de Jacobian" para a parte de atenção do cérebro. Pense nisso como uma placa de limite de velocidade para o quão rápido uma mudança em uma pista pode reverberar através do mecanismo de atenção. O autor derivou esse limite de velocidade em uma fórmula de forma fechada (uma equação exata e limpa) e o testou contra um cérebro de robô pré-treinado e real chamado Qwen2.5-1.5B-Instruct. Eles verificaram 12 pontos específicos neste cérebro real, e o limite de velocidade manteve-se verdadeiro todas as vezes — zero violações. No entanto, eles são honestos sobre o limite: eles verificaram o limite de velocidade para uma estação, mas ainda não provaram que, se você encadear 28 estações, os erros não explodirão em algo inútil. Portanto, a matemática é exata, mas o "número grande" final para toda a cadeia permanece uma questão em aberto.

Para ver se suas teorias funcionam em algo real, o autor foi à caça de um circuito oculto dentro do robô Qwen que o ajuda a resolver a "Identificação de Objeto Indireto" (descobrir quem deu um item para quem em uma frase como "A bola foi dada para Mary por John"). Eles não projetaram este circuito; ele surgiu naturalmente conforme o robô aprendia a falar. Eles encontraram um pequeno grupo compartilhado de neurônios que atua como o núcleo dessa habilidade, aparecendo em quase todos os casos de teste, além de alguns neurônios de "reserva" extras que são específicos para cada frase.

Quando testaram o padrão de três vias (desligar o circuito colapsa a lógica do robô? os dois truques discordam? há uma interação bagunçada?), os resultados foram uma mistura genuína.

Colapso: Em quatro de cinco frases de teste, desligar o circuito deixou o robô confuso, exatamente como previsto. Mas em uma frase ("Anna/Mike"), o robô mal se importou, mostrando que esses circuitos nem sempre são 100% confiáveis.
Dissociação: Os dois truques (patching vs. desligar) sempre discordaram, confirmando que eles estão, de fato, medindo coisas diferentes.
Interação: Em três das cinco frases, eles mediram uma "interação não nula", o que significa que as partes realmente interferiram umas nas outras. Crucialmente, essas interações ocorreram entre camadas que estavam distantes, não apenas vizinhas. Isso sugere que a "interação entre camadas" bagunçada que o autor identificou é real e mensurável em um cérebro real, mesmo que o limite matemático exato para ela ainda esteja sendo desenvolvido.

Em resumo, o artigo prova que a "interação bagunçada" entre partes distantes de uma rede neural é um fenômeno real e mensurável que pode ser decomposto em peças matemáticas exatas. Eles encontraram uma nova ferramenta para medir uma parte dessa bagunça e a verificaram em um robô real, mas o passo final de encadear essa ferramenta através de toda a profundidade do robô ainda é um trabalho em progresso. A conclusão não é um problema resolvido, mas sim um mapa muito mais claro de onde reside o mistério.

Enunciado do Problema
Este artigo aborda duas limitações específicas em um trabalho complementar (mesmo autor) relativas à análise causal de redes neurais via activation patching (troca de ativações) e weight-space ablation (ablação no espaço de pesos). O artigo complementar estabeleceu uma fórmula exata de interação de primeira ordem para dois portadores (carriers) — uma cabeça de atenção e o MLP da sua camada — dentro de um único bloco residual de um modelo idealizado. No entanto, ele deixou duas lacunas críticas:

Escopo Multi-camada: O teorema complementar é silente sobre interações entre portadores separados por múltiplas camadas, o que é o caso genérico em transformers reais. Ele não contabiliza como uma ablação em uma camada anterior se propaga para afetar o cálculo de uma camada posterior.
Escopo Empírico: Os resultados do artigo complementar foram verificados apenas em pequenos modelos sintéticos treinados do zero para uma tarefa condicional específica. Permanece desconhecido se essas previsões teóricas se sustentam em circuitos "emergentes" encontrados em modelos grandes, genuinamente pré-treinados e treinados em linguagem natural.

Metodologia
O artigo estende o arcabouço teórico do trabalho complementar utilizando decomposições matemáticas exatas e limites de forma fechada, e então valida essas descobertas em um modelo real pré-treinado.

Extensão Teórica (Decomposição Multi-camada): O autor deriva uma identidade exata (Proposição 1) mostrando que a lacuna de interação para um subconjunto arbitrário de portadores ablados abrangendo múltiplas camadas se decompõe em uma soma de termos de "mesmo bloco" (um por camada tocada) mais um "resto entre camadas" ( $R_\times$ ).
Identidade Exata Entre Camadas: Para o caso de duas camadas tocadas, o resto $R_\times$ é isolado exatamente como uma integral dupla de uma derivada parcial mista de segunda ordem (Proposição 2), aplicando o teorema fundamental do cálculo um nível acima.
Limites de Forma Fechada:
- Jacobiano da Atenção: Para limitar o resto entre camadas, o autor deriva um limite de forma fechada e pontual para o Jacobiano da saída de uma única cabeça de atenção em relação a um token de chave (key) ou valor (value) perturbado (Proção 3).
- Constante de Curvatura: O autor calcula a constante de curvatura $\Lambda$ , necessária para o limite de segunda ordem do artigo complementar, em forma fechada, usando apenas os pesos treinados (Proposição 4), em vez de assumi-la.
Verificação Empírica:
- Checagem Sintética: A decomposição multi-camada é testada nos cinco modelos sintéticos do artigo complementar.
- Checagem de Modelo Real: O autor busca por um circuito emergente para Identificação de Objeto Indireto (IOI) no Qwen2.5-1.5B-Instruct usando uma busca gananciosa (greedy) de activation patching. Eles então medem o padrão triplo (colapso, dissociação e interação) neste circuito.

Principais Contribuições

Decomposição Multi-camada Exata: O artigo fornece uma decomposição exata dos efeitos de interação multi-camada em termos de mesmo bloco e um resto específico entre camadas. Prova-se que os termos de mesmo bloco são zero se apenas os MLPs forem ablados e iguais ao termo limitado do artigo complementar se a camada alimentar diretamente o readout.
Limite de Jacobiano de Atenção de Forma Fechada: O artigo deriva um limite de forma fechada para a norma do operador do Jacobiano do subbloco de atenção. Este limite é verificado pontualmente contra os pesos reais do Qwen2.5-1.5B-Instruct com zero violações.
Constante de Curvatura Explícita: O artigo fornece a constante de curvatura $\Lambda$ , anteriormente não exibida, em forma fechada, calculada a partir das normas espectrais dos pesos do MLP treinados e escalas de normalização.
Evidência Empírica em Modelos Pré-treinados: O artigo identifica um circuito IOI emergente em um modelo pré-treinado de 1.5 bilhão de parâmetros e reporta resultados empíricos mistos em relação às previsões teóricas de colapso, dissociação e interação.

Resultados

Teóricos: A identidade de decomposição mantém-se exata. O limite do Jacobiano de atenção derivado é verificado pontualmente nos pesos reais (12 locais, 0 violações), embora o autor note que encadear este limite através de muitas camadas permanece não verificado e provavelmente frouxo devido ao acúmulo de imprecisão (compounding looseness).
Experimentos Sintéticos: Nos modelos sintéticos, a identidade de decomposição multi-camada mantém-se com precisão de ponto flutuante. No entanto, o resto entre camadas $R_\times$ é frequentemente da mesma ordem de magnitude que a soma do mesmo bloco, e os dois termos frequentemente se cancelam parcialmente. Assim, a soma do mesmo bloco sozinha não é um proxy confiável para a interação total em configurações multi-camada.
Modelo Real (Qwen2.5-1.5B-Instruct):
- Descoberta de Circuito: Um núcleo compartilhado (Camada 25/Cabeça 9) e suporte específico de instância foram encontrados para a tarefa IOI.
- Colapso: Observado claramente em 4 de 5 instâncias, mas ausente em uma (Anna/Mike), onde a ablação do circuito mal reduziu a lacuna de decisão.
- Dissociação: Uma lacuna significativa entre os efeitos de patching e ablação foi observada em todas as 5 instâncias, confirmando que são operações distintas.
- Interação: Uma interação não-nula mensurável foi encontrada em 3 de 5 instâncias. Crucialmente, os pares de camadas envolvidos nessas interações não estavam na configuração de bloco único provada no artigo complementar. Portanto, estes resultados são sugestivos do caso multi-camada, mas não constituem um teste direto do teorema de bloco único.

Significância e Alegações
O artigo afirma fechar a lacuna entre as garantias teóricas de bloco único e a realidade das arquiteturas de transformer multi-camada, mas o faz com honestidade explícita sobre as limitações remanescentes.

Estabelece que as interações multi-camada podem ser exatamente decompostas, isolando o "resto entre camadas" como a quantidade específica que permanece ilimitada.
Fornece os ingredientes matemáticos necessários (o limite do Jacobiano de atenção e a constante de curvatura) para potencialmente limitar este resto, verificando-os pontualmente nos pesos reais.
Demonstra que os padrões qualitativos (colapso, dissociação, interação) observados em modelos sintéticos aparecem em circuitos emergentes de modelos pré-treinados reais, mas com "fidelidade genuinamente mista".
O autor afirma explicitamente que não alega ter limitado o resto entre camadas através de profundidades arbitrárias, nem afirma que os resultados de interação no Qwen2.5 provam que o teorema de bloco único se aplica a casos multi-camada. Em vez disso, apresenta os resultados mistos como evidência de que a teoria não é meramente um artefato de treinamento sintético, enquanto destaca que o sinal e a magnitude das interações multi-camada permanecem uma questão aberta e complexa.

Mais como este