🤖 machine learning

Addressing divergent representations from causal interventions on neural networks

Este artigo demonstra que intervenções causais em redes neurais frequentemente geram representações fora da distribuição natural, distinguindo entre divergências inofensivas e prejudiciais, e propõe uma modificação na função de perda de Latente Contrafactual para mitigar os efeitos nocivos, preservando assim a fidelidade e o poder interpretativo desses métodos.

Autores originais: Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts

Publicado 2026-04-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um carro muito complexo, um "super-carro" feito de milhões de peças eletrônicas (uma Rede Neural). Os cientistas querem entender como esse carro funciona: qual botão faz o motor acelerar? Qual fio controla as luzes?

Para descobrir isso, eles usam uma técnica chamada intervenção causal. É como se eles desmontassem o carro, trocassem uma peça por outra enquanto o motor está ligado, e vissem o que acontece. Se trocarem o fio da luz e o carro começar a piscar, eles dizem: "Ah, então esse fio controla a luz!".

O problema é que, muitas vezes, ao fazer essa troca, eles estão colocando uma peça que não existe no carro original. É como se eles trocassem um parafuso de aço por um de plástico brilhante que nunca foi usado na fábrica. O carro pode funcionar, mas o plástico pode derreter, ou pior, pode ativar um mecanismo secreto que o fabricante nem sabia que existia.

Este artigo, escrito por pesquisadores de Stanford, alerta para esse perigo e propõe uma solução. Vamos explicar os pontos principais com analogias simples:

1. O Problema: "Peças de Plástico Brilhante" (Representações Divergentes)

Quando os cientistas fazem essas intervenções, eles muitas vezes criam uma situação que o modelo nunca viu na vida real. Eles chamam isso de representação divergente.

A Analogia: Imagine que o modelo é um cozinheiro que só sabe fazer pratos com ingredientes frescos e naturais. Se você forçar o cozinheiro a usar um ingrediente sintético, estranho e nunca visto antes (uma "intervenção"), ele pode cozinhar algo que parece bom, mas que é perigoso ou ilusório.
O Risco: O cozinheiro pode dizer: "Veja, quando uso esse ingrediente estranho, o prato fica salgado! Então, o sal é o segredo!". Mas, na verdade, o ingrediente estranho ativou um botão secreto na panela que o cozinheiro nunca usou antes. A conclusão sobre o sal está errada porque a situação era artificial.

2. Nem Tudo é Perigoso: O "Espaço Fantasma"

Os autores dizem que nem toda peça estranha é ruim. Existe um lugar chamado espaço nulo comportamental.

A Analogia: Imagine que você está dirigindo um carro. Se você mudar a cor do painel de luzes (algo que não afeta a direção ou o motor), o carro continua andando perfeitamente. Essa mudança é "inofensiva".
Na Ciência: Às vezes, a peça estranha que os cientistas colocam cai em uma parte do cérebro da máquina que não afeta a decisão final. Isso é seguro e não muda a verdade sobre como o carro funciona.

3. O Perigo Real: "Ativando Fantasmas" (Divergências Perniciosas)

Aqui está o grande alerta do artigo. Às vezes, a peça estranha ativa caminhos ocultos.

A Analogia: Imagine que o carro tem um botão secreto debaixo do banco que, se apertado, faz o carro voar. Ninguém sabe disso porque ninguém nunca apertou o botão na vida real. Se o cientista, ao trocar uma peça, apertar esse botão sem querer, o carro decola.
O Resultado: O cientista pode pensar: "Uau! Trocar essa peça faz o carro voar! Então essa peça controla o voo!". Mas, na verdade, o carro não voa naturalmente. A peça apenas ativou um defeito ou um segredo que não faz parte da mecânica normal. Isso leva a explicações falsas sobre como a inteligência artificial realmente pensa.

4. A Solução: O "Filtro de Realidade" (Perda de Latente Contrafactual)

Como consertar isso? Os autores propõem uma nova regra para as intervenções. Eles criaram um método (chamado de Counterfactual Latent loss) que funciona como um filtro de realidade.

A Analogia: Em vez de jogar qualquer peça estranha no carro, o cientista agora é obrigado a escolher apenas peças que se pareçam muito com as que já existem no carro. É como se, ao consertar o carro, você fosse obrigado a usar apenas peças que você encontrou na própria garagem, garantindo que elas se encaixem perfeitamente e não ativem botões secretos.
O Benefício: Isso mantém a capacidade de testar o carro (a intervenção ainda funciona), mas garante que o teste seja feito com peças que o carro realmente conhece. Assim, as conclusões sobre como o carro funciona são mais confiáveis e menos propensas a ilusões.

Resumo Final

O artigo nos diz: "Cuidado! Quando tentamos entender a inteligência artificial mexendo nela, podemos estar criando situações falsas que ativam segredos ocultos, levando a conclusões erradas."

A solução é fazer essas intervenções de forma mais "orgânica", garantindo que o que estamos testando seja algo que a máquina realmente poderia encontrar na natureza. É um passo importante para garantir que, quando dizemos que entendemos como uma IA pensa, estamos realmente falando a verdade e não apenas iludindo-nos com peças de plástico brilhante.

Título: Abordando Representações Divergentes de Intervenções Causais em Redes Neurais

Autores: Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts (Stanford University).

1. O Problema

A interpretabilidade mecânica (mechanistic interpretability) frequentemente utiliza intervenções causais (como activation patching e Distributed Alignment Search - DAS) para manipular representações internas de redes neurais (NNs) e entender o que elas codificam. A premissa fundamental é que os estados contrafactuais criados por essas intervenções são realistas para o modelo-alvo em seu estado natural.

No entanto, os autores questionam se essas intervenções criam representações fora da distribuição (divergentes). Se as representações manipuladas se afastam significativamente da distribuição natural do modelo, as explicações resultantes podem não ser fiéis aos mecanismos reais do modelo. O problema central é:

As intervenções causais comuns geram representações que não existem naturalmente no modelo?
Essas divergências podem ativar caminhos ocultos ou causar mudanças comportamentais "dormientes", levando a conclusões mecânicas falsas?

2. Metodologia e Abordagem Teórica

Os autores combinam análise teórica, simulações sintéticas e experimentos em modelos de linguagem reais (LLMs) para investigar o problema.

A. Demonstração da Divergência (Teórica e Empírica)

Teoria: Provaram que, para a maioria das variedades (manifolds) geométricas (exceto hiper-retângulos alinhados aos eixos), o patching de coordenadas (substituir valores de vetores) garante a criação de pontos fora da variedade natural se realizado exaustivamente.
Empírico: Analisaram três métodos populares de intervenção:
1. Mean Difference Vector Patching (Patching de vetor de diferença média).
2. Sparse Autoencoders (SAEs).
3. Distributed Alignment Search (DAS).
- Utilizaram a Distância Earth Mover's (EMD) e componentes principais (PCA) para quantificar a distância entre distribuições naturais e intervenidas. Os resultados mostraram que a divergência é comum em todos os métodos.

B. Classificação da Divergência: Inofensiva vs. Perniciosa

O paper distingue dois tipos de divergência:

Divergência Inofensiva (Harmless): Ocorre no espaço nulo comportamental (behavioral null-space) das camadas subsequentes. Se a divergência é anulada pelos pesos da rede (ou seja, não afeta a saída final), ela não prejudica afirmações funcionais sobre o comportamento global, embora possa afetar afirmações sobre sub-computações internas.
Divergência Perniciosa (Pernicious):
- Ativação de Caminhos Ocultos: A intervenção ativa unidades ou circuitos que permanecem inativos na distribuição natural, mas que influenciam a saída. Isso pode levar a comportamentos confirmatórios enganosos.
- Mudanças Comportamentais Dormientes: A intervenção parece segura em um contexto, mas ativa dependências latentes que alteram o comportamento em outros contextos não testados.

C. Solução Proposta: Perda de Latente Contrafactual (CL Loss)

Para mitigar a divergência perniciosa, os autores propõem o uso e modificação da Perda de Latente Contrafactual (CL Loss), introduzida anteriormente por Grant (2025).

Mecanismo: A perda CL força as representações intervenidas ( $\hat{h}$ ) a permanecerem próximas de vetores latentes naturais ( $h_{CL}$ ) que codificam os mesmos valores das variáveis causais pretendidas.
Função de Perda: Combina uma distância $L_2$ e uma distância de cosseno entre a representação intervenida e a média de representações naturais que possuem as mesmas variáveis causais.
Modificação: Eles introduzem uma versão modificada da perda CL ( $L'_{CL}$ ) que minimiza a divergência apenas ao longo dos subespaços causais descobertos pelo DAS, em vez de toda a representação.

3. Principais Contribuições

Evidência de Divergência Comum: Demonstração teórica e empírica de que métodos de intervenção causal padrão frequentemente produzem representações que divergem da distribuição natural do modelo.
Taxonomia de Dano: Definição teórica de quando a divergência é aceitável (espaço nulo) e quando é perigosa (ativação de caminhos ocultos e mudanças dormientes).
Solução de Mitigação: Aplicação bem-sucedida da Perda CL para reduzir a divergência em um modelo LLM de 7B (usando o cenário Boundless DAS de Wu et al., 2023) sem sacrificar a precisão comportamental (Interchange Intervention Accuracy - IIA).
Melhoria em Cenários OOD: Demonstração de que a minimização da divergência (via CL Loss) melhora a generalização para fora da distribuição (Out-of-Distribution - OOD) em tarefas sintéticas, estabelecendo uma correlação negativa entre divergência (EMD) e desempenho OOD.

4. Resultados Chave

Visualização: Gráficos de PCA mostram claramente que as representações intervenidas (pontos claros) se separam das representações naturais (pontos escuros) em métodos padrão.
Redução de Divergência: Ao aplicar a Perda CL no cenário Boundless DAS, a distância EMD entre as distribuições natural e intervenida diminuiu significativamente, enquanto a IIA (precisão da intervenção) foi mantida ou até melhorada.
Desempenho OOD: Em tarefas sintéticas com classes de treinamento e teste separadas, os alinhamentos treinados com a Perda CL mostraram maior robustez e precisão em dados de teste não vistos (OOD) em comparação com aqueles treinados apenas com perda comportamental.
Correlação: Uma regressão linear mostrou uma forte correlação negativa ( $R^2 = 0.73$ ) entre a divergência de treinamento (EMD) e o desempenho OOD, sugerindo que a divergência é um preditor de falha na generalização de intervenções.

5. Significado e Implicações

Este trabalho é fundamental para o futuro da interpretabilidade mecânica por várias razões:

Alerta de Segurança: Alerta que as conclusões tiradas de experimentos de patching podem ser inválidas se as representações intervenidas ativarem circuitos que o modelo nunca usaria naturalmente. Isso coloca em risco a confiabilidade de descobertas de circuitos em LLMs.
Novo Paradigma de Validação: Sugere que a validação de métodos de interpretabilidade deve incluir a verificação de se as representações intervenidas permanecem "no manifold" (na variedade) da distribuição natural.
Ferramenta Prática: Oferece uma solução prática (Perda CL) que pode ser integrada aos pipelines existentes de DAS e patching para gerar intervenções mais fiéis e robustas.
Limitações e Futuro: Os autores reconhecem que a solução atual não elimina totalmente o risco de caminhos ocultos e que classificar automaticamente o que é "pernicioso" para qualquer afirmação específica ainda é um desafio aberto.

Em resumo, o paper estabelece que a fidelidade da representação é tão importante quanto a fidelidade do comportamento na interpretabilidade causal, e propõe métodos para garantir que as intervenções não "quebrem" a realidade do modelo ao tentar entendê-lo.