🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

Este artigo propõe um framework de teoria de campo de profundidade contínua que modela a correção de ativação de Transformers como inserções localizadas de fontes e prevê mudanças comportamentais a jusante por meio de respostas de função de Green, estabelecendo assim uma linguagem matemática de sensibilidades e campos propagados para organizar e inferir intervenções mecanicistas.

Autores originais: David N. Olivieri, Antonio F. Pérez Rodríguez

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: David N. Olivieri, Antonio F. Pérez Rodríguez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Transformer (o tipo de IA por trás de modelos como o GPT-2) não como uma pilha de código de computador, mas como um gigantesco rio fluente.

Neste rio:

Profundidade é a distância que a água percorreu a jusante (da fonte ao oceano).
Tokens (as palavras em uma frase) são como diferentes barcos flutuando lado a lado no rio.
O Fluxo Residual é a própria água, carregando todas as informações enquanto flui de uma camada do modelo para a próxima.

Este artigo propõe uma nova maneira de entender como podemos "ajustar" ou "corrigir" esses modelos de IA para alterar seu comportamento. Em vez de apenas adivinhar qual parte do código corrigir, os autores tratam o modelo como um campo físico onde podemos prever exatamente como uma pequena mudança se propagará pelo sistema.

Aqui está a explicação de suas ideias usando analogias do cotidiano:

1. A "Pedra no Lago" (Correção como Fonte)

Geralmente, quando pesquisadores querem ver o que uma parte específica da IA está fazendo, eles realizam "correção de ativação". Isso é como tirar uma instantânea do cérebro da IA em um momento específico, trocá-la por uma instantânea de um cenário diferente e observar como a saída muda.

Os autores descrevem isso como jogar uma pedra no rio.

A Pedra: A "correção" (a mudança que você faz).
A Onda: O efeito que viaja a jusante através do restante do modelo.
A Teoria: Eles argumentam que, se você conhece a forma do rio (a estrutura do modelo), pode prever exatamente como essa onda se espalhará, quão grande ela ficará e quais barcos (tokens) atingirá, sem precisar jogar a pedra um milhão de vezes para descobrir.

2. O "Mapa de Sensibilidade" (Prevendo o Efeito)

Para prever para onde uma onda irá, você precisa de um mapa. Os autores introduzem um Campo de Sensibilidade.

Pense nisso como um mapa meteorológico mostrando a velocidade do vento. Alguns pontos no rio são muito sensíveis (uma pedra pequena cria uma onda enorme); outros são calmos (uma pedra mal faz um respingo).
O artigo mostra que você pode calcular esse "mapa de vento" uma vez. Uma vez que você o tem, não precisa testar cada direção possível em que poderia jogar uma pedra. Você pode prever matematicamente: "Se eu jogar uma pedra aqui, nesta direção, a onda atingirá a resposta com esta força."
O Resultado: Eles descobriram que, para pequenas mudanças, essa previsão é incrivelmente precisa. É como saber que uma brisa suave moverá uma pena, mas um furacão derrubará uma árvore.

3. A "Função de Green" (O Propagador de Ondas)

O artigo usa um conceito chamado Função de Green. Em termos simples, isso é um "manual de regras de ondas".

Responde à pergunta: "Se eu perturbar a água no ponto A, como a água se move no ponto B?"
Os autores descobriram que essas ondas não vão apenas retas para baixo; elas se espalham lateralmente para outras palavras (tokens) e viajam mais profundamente no modelo.
Eles testaram isso medindo como uma mudança em uma camada afetava camadas muito mais a jusante. Eles descobriram que o "manual de regras de ondas" funciona bem, mas apenas se a mudança não for muito grande. Se você jogar uma pedra grande (uma mudança massiva), a água fica caótica e as regras simples se quebram. Mas para pequenos empurrões, as regras se mantêm perfeitamente.

4. A "Engenharia Reversa" (Encontrando a Pedra Certa)

Geralmente, os pesquisadores tentam correções aleatórias para ver o que acontece. Este artigo inverte o jogo. Eles propõem um Problema Inverso.

O Objetivo: "Quero que a IA diga 'Paris' em vez de 'Londres'."
O Jeito Antigo: Tentar corrigir cada camada e cada palavra até ter sorte.
O Jeito Novo: Usar o "manual de regras de ondas" (Função de Green) e o "mapa de sensibilidade" para calcular matematicamente exatamente onde e como jogar a pedra para criar aquela onda específica.
É como ser um engenheiro de som que sabe exatamente qual botão girar para corrigir uma frequência específica em uma música, em vez de girar todos os botões aleatoriamente.

5. A "Tradução" Entre Modelos (Escala)

Finalmente, os autores sugerem uma maneira de transferir conhecimento de um modelo pequeno para um grande.

Imagine que você tem uma pequena lagoa (um modelo de IA pequeno) e um oceano massivo (um modelo de IA grande).
Se você jogar uma pedra na pequena lagoa e observar as ondas, pode usar esse padrão para adivinhar onde jogar uma pedra no oceano para obter um resultado semelhante.
Eles chamam isso de "geometria de resposta latente compartilhada". Essencialmente, a "física" de como as informações fluem pode ser a mesma em modelos pequenos e grandes, apenas em escalas diferentes. Isso poderia nos permitir descobrir como corrigir um modelo gigante estudando primeiro um modelo minúsculo.

Resumo das Descobertas

Os autores testaram essas ideias em modelos GPT-2 e descobriram:

Pequenas mudanças se comportam de forma previsível: Se você empurrar o modelo suavemente, a matemática prevê o resultado quase perfeitamente.
As ondas se espalham: As mudanças não ficam locais; elas viajam através das camadas e afetam diferentes palavras de maneiras estruturadas.
Existem pontos de alta sensibilidade: Apenas algumas "pedras" específicas no rio importam mais para a resposta final.
Mudanças de prompt são apenas ondas: Alterar a frase de entrada (por exemplo, de "Capital da Espanha" para "Capital da França") é matematicamente semelhante a jogar uma pedra específica no rio. O modelo reage a esse "deslocamento" de forma previsível, permitindo-nos direcionar a resposta.

Em resumo: Este artigo fornece uma "física da IA" matemática que transforma a correção por tentativa e erro em uma ciência previsível e calculável. Sugere que podemos tratar intervenções em IA como problemas de engenharia onde podemos calcular a força e a localização exatas necessárias para obter um resultado desejado.

Resumo Técnico: Teoria de Campo de Profundidade Contínua para Patching de Transformers e Interpretabilidade Mecanística

Enunciado do Problema
A interpretabilidade mecanística visa identificar os circuitos internos responsáveis pelo comportamento de Transformers intervindo em ativações (por exemplo, patching de ativações, rastreamento causal, patching de caminhos). Embora esses métodos localizem com sucesso locais e direções semanticamente significativos, eles frequentemente dependem de enumeração exaustiva de camadas, tokens e subespaços. Este artigo aborda a questão complementar: tais intervenções podem ser organizadas, previstas e reconstruídas usando um quadro teórico unificado de campo sobre profundidade e posição de token? Os autores propõem tratar o fluxo residual não como uma sequência discreta de camadas, mas como um campo contínuo, permitindo que o patching seja formulado como um problema de inserção de fonte localizada dentro de um formalismo de resposta linear.

Metodologia
O artigo desenvolve uma teoria de campo de profundidade contínua onde o fluxo residual $R(t, x)$ do Transformer é modelado como um campo sobre um reticulado de profundidade-token. Aqui, o índice de camada $\ell$ é mapeado para uma coordenada de profundidade $t \in [0, T]$ , e o índice de token é mapeado para uma coordenada espacial $x$ .

Formulação Teórica de Campo:
- Patching como Inserção de Fonte: Um patch de ativação é modelado como um termo de fonte localizado $J(t, x)$ adicionado à equação de evolução de profundidade: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- Objetos de Resposta: O quadro define dois objetos de resposta primários:
  - Campo de Sensibilidade ( $a(t, x)$ ): A derivada funcional de um observável $y$ (por exemplo, diferença de logit) em relação ao campo residual, $a(t, x) = \delta y / \delta R(t, x)$ . Isso prevê o efeito de um patch.
  - Função de Green ( $G(t, x; t', x')$ ): A função de resposta de dois pontos $\delta R(t, x) / \delta R(t', x')$ , descrevendo como uma perturbação em $(t', x')$ se propaga para $(t, x)$ .
- Resposta Linear: Em um regime linear local, a mudança em um observável é aproximada por $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ .
- Problema Inverso (Inferência de Patch): O quadro reformula a inferência de locais de patch como um problema variacional restrito. Dada uma mudança comportamental desejada, busca-se uma fonte esparsa $J$ que satisfaça a equação integral $\Delta R_{target} \approx \int G J$ . Isso é resolvido usando um princípio de ação com um campo adjunto (coestado) $\lambda(t, x)$ , que corresponde ao campo de sensibilidade.
Validação Empírica:
A teoria é testada em Transformers autoregressivos no estilo GPT-2 usando intervenções discretas no fluxo residual. Os experimentos medem:
- Linearidade Local e Superposição: Verificando que pequenas perturbações exibem escala linear e que os efeitos de intervenções combinadas somam-se linearmente.
- Previsão de Sensibilidade: Comparando efeitos de patch medidos contra previsões derivadas de sensibilidades de primeira ordem (gradientes de autograd).
- Propagação Residual: Medindo o campo residual a jusante $\delta R$ induzido por um patch localizado para caracterizar a "resposta de Green".
- Composição: Testando se a propagação através de uma camada intermediária aproxima o produto de operadores de Green ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ).
- Representações Reduzidas: Analisando operadores de Green "fatias" (propagação de nível de componente entre locais fixos) e pontuações de locais de sensibilidade para reduzir a dimensionalidade.
- Deslocamentos de Prompt: Tratando a diferença entre dois prompts como uma fonte localizada para testar se ela atua como uma direção de transformação.

Principais Contribuições

Quadro Teórico de Campo: O artigo estabelece um formalismo onde o patching é visto como inserção de fonte localizada, atribuição como previsão de campo de sensibilidade e propagação como resposta empírica de função de Green.
Formulação de Inferência Adjoint: Enquadra a inferência de locais de patch como um problema inverso solucionável via um princípio variacional adjunto, indo além da simples enumeração para um problema de reconstrução restrito.
Regime de Resposta Linear Empírico: Os autores identificam um regime linear local limitado em modelos GPT-2 onde sensibilidades de primeira ordem preveem com precisão efeitos de patch e a superposição se mantém.
Propagação Estruturada: Experimentos demonstram que perturbações residuais se propagam de maneira estruturada e anisotrópica através da profundidade e posição de token, exibindo propriedades composicionais aproximadas consistentes com a teoria linearizada.
Descrições Reduzidas: O artigo mostra que locais de alta sensibilidade e operadores de Green fatiados fornecem descrições tratáveis e de baixa dimensão do espaço de resposta residual de outra forma de alta dimensão.
Hipótese de Escala: É feita uma proposta teórica de que a geometria de resposta (impressões digitais de função de Green) pode ser compartilhada entre escalas de modelo. Isso sugere que informações de resposta de um modelo menor poderiam definir mapas candidatos de locais de patch para um modelo maior, desde que sejam usados âncoras locais.

Resultados

Linearidade: Perturbações locais exibem um regime linear limitado onde erros de não linearidade e superposição permanecem baixos (abaixo de 20% nas faixas testadas) para amplitudes moderadas.
Precisão de Previsão: Sensibilidades de autograd ( $a(t, x)$ ) preveem com sucesso efeitos de patch escalares medidos através de vários locais e direções residuais, validando a aproximação de primeira ordem.
Estrutura de Propagação: Intervenções localizadas geram campos de resposta a jusante estruturados que se espalham de forma anisotrópica. O teste de composição confirma que campos residuais intermediários retêm informações suficientes para reproduzir respostas a jusante dentro do regime perturbativo.
Concentração de Locais: Pontuações de sensibilidade ( $\|a(t, x)\|$ ) são altamente não uniformes, concentrando-se em um pequeno conjunto de locais camada-token, o que permite a redução do espaço de busca de intervenção.
Deslocamento de Prompt: Diferenças entre prompts atuam como direções de transformação local. Seus efeitos são previstos por sensibilidades causais, são mais eficazes em camadas posteriores e podem alterar com sucesso as classificações de respostas alvo no vocabulário.

Significado e Alegações
O artigo afirma fornecer uma "linguagem prática" para organizar experimentos de patching, deslocando o paradigma da enumeração de intervenções para a estimativa de quantidades de resposta (sensibilidades e kernels). Ao estabelecer empiricamente a fundação de resposta linear, o trabalho torna a reconstrução de mecanismos internos matematicamente bem-posta: a função de Green serve como operador direto para um problema inverso que identifica locais e direções de patch.

Os autores enquadram modestamente sua hipótese de escala como uma motivação para trabalho futuro, em vez de um resultado provado, observando que ela depende de uma "hipótese de resposta latente compartilhada" e requer âncoras locais (pesos, ativações ou patches esparsos) para ser viável. A contribuição primária é a unificação de ferramentas de interpretabilidade mecanística (patching, rastreamento, direção) sob uma única teoria de campo de profundidade contínua, oferecendo uma rota principiante da medição para a inferência e potencialmente para transferência de escala de modelo.