💻 computer science

Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

Este artigo apresenta um método para intervenções causais em variáveis contínuas ao localizar direções de baixa dimensão nas ativações de modelos de linguagem, demonstrando que o direcionamento do viés verbal altera causalmente as preferências sintáticas a jusante, ao mesmo tempo que revela que, embora os vetores de direcionamento codifiquem sinais de erro relevantes para a aprendizagem em contexto, esses sinais não são utilizados causalmente para a produção a jusante.

Autores originais: Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

Publicado 2026-05-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) como um chef muito sofisticado e de alta tecnologia. Este chef leu quase todos os livros de receitas existentes, mas, quando solicitado a preparar um novo prato, não segue apenas uma receita estática. Em vez disso, ele observa os ingredientes que você acabou de entregar a ele (o "contexto") e ajusta seu estilo de culinária em tempo real. Essa capacidade de aprender a partir de poucos exemplos sem retreinamento é chamada de Aprendizado em Contexto.

Este artigo é uma investigação científica sobre como funciona o cérebro desse chef quando ele faz isso. Especificamente, os pesquisadores quiseram ver se poderiam "ajustar" os pensamentos internos do chef para mudar a forma como ele cozinha, focando em um hábito linguístico específico chamado Viés Verbal.

Aqui está uma análise de suas descobertas usando analogias simples:

1. O Problema: Cozinhar com Ingredientes "Graduados"

A maioria dos estudos anteriores tentou mudar a mente do chef sobre coisas simples, "ligado/desligado", como "Isso é um substantivo ou um verbo?" (Recursos discretos). Mas a linguagem é mais como um dimmer do que um interruptor de luz. As coisas são graduadas.

Por exemplo, pegue o verbo "dar". Em inglês, você pode dizer:

"I gave her a book" (Objeto Duplo)
"I gave a book to her" (Dativo Preposicional)

Algumas pessoas (ou alguns verbos) preferem fortemente uma versão em relação à outra. "Dar" é bastante equilibrado, mas "explicar" prefere fortemente "explicar a ela". Essa preferência não é uma regra rígida; é uma escala deslizante. Os pesquisadores queriam saber: Podemos encontrar o "botão" específico no cérebro do modelo que controla essa escala deslizante e podemos girar esse botão para mudar a mente do modelo?

2. A Ferramenta: O "Vetor de Direção" (O Controle Remoto)

Para estudar isso, os pesquisadores usaram uma ferramenta chamada Vetor de Direção. Pense nisso como um controle remoto para o cérebro do chef.

Como eles o criaram: Eles mostraram ao modelo um monte de frases usando uma estrutura específica (por exemplo, "I gave her a book"). Eles observaram os "pensamentos" internos do modelo (ativações) enquanto ele processava essas frases e as calcularam em média.
O que ele faz: Quando eles adicionaram esse sinal de "controle remoto" ao cérebro do modelo durante uma nova tarefa, o modelo começou a agir como se tivesse acabado de ver aqueles exemplos. Ele passou a preferir a mesma estrutura de frase. Isso provou que o controle remoto capturou com sucesso o "hábito" da estrutura da frase.

3. Experimento 1: O Controle Remoto Funciona?

O Teste: Eles pegaram o controle remoto (vetor de direção) de uma frase de "Objeto Duplo" e o injetaram em uma nova frase.
O Resultado: O modelo mudou imediatamente sua preferência em direção à estrutura de "Objeto Duplo".
A Analogia: É como entregar ao chef um controle remoto que diz "Cozinhe Italiano", e de repente, mesmo que ele estivesse prestes a fazer sushi, ele começa a pegar a massa. O controle remoto funciona.

4. Experimento 2: Girando o Botão do "Viés Verbal"

Esta é a maior descoberta do artigo. Eles queriam ver se podiam controlar a intensidade da preferência, não apenas a direção.

A Configuração: Eles identificaram uma "direção" específica no cérebro do modelo que corresponde ao Viés Verbal (o quanto um verbo gosta de uma estrutura em relação a outra).
A Intervenção: Eles usaram um truque matemático para "editar contrafactualmente" essa direção.
- Cenário A: Eles pegaram um verbo que naturalmente gosta da Estrutura A e forçaram o modelo a pensar que ele prefere fortemente a Estrutura B.
- Cenário B: Eles pegaram um verbo que é neutro e o forçaram a ser extremo.
O Resultado: Quando eles giraram esse botão de "Viés Verbal", o comportamento do modelo mudou exatamente como previsto. Se eles fizessem o modelo pensar que um verbo preferia fortemente a estrutura de "Objeto Duplo", o modelo começava a usar essa estrutura com mais frequência, mesmo que o verbo não gostasse naturalmente dela.
A Conclusão: Eles provaram que o modelo não apenas "lembra" a estrutura; ele realmente mantém um valor contínuo e ajustável para o quanto um verbo prefere uma estrutura, e eles podem girar fisicamente esse dial.

5. Experimento 3: O Fator "Surpresa" em Falta

Na aprendizagem humana, aprendemos melhor quando estamos surpresos. Se você espera que um verbo seja usado de uma maneira, mas vê que é usado de outra, seu cérebro diz: "Uau, isso é inesperado!" e atualiza suas regras com mais força. Isso é chamado de Efeito de Frequência Inversa.

Os pesquisadores se perguntaram: O "controle remoto" do modelo (vetor de direção) captura esse sinal de "surpresa"?

O Teste: Eles tentaram editar um "sinal de surpresa" no controle remoto. Eles perguntaram: "Se fizermos o modelo pensar que a frase foi mais surpreendente do que realmente foi, ele aprenderá mais?"
O Resultado:
- Boa Notícia: A informação de "surpresa" estava presente no controle remoto. Eles podiam isolá-la matematicamente e aumentá-la ou diminuí-la.
- Má Notícia: Simplesmente injetar esse controle remoto não fez o modelo aprender de uma maneira "impulsionada pela surpresa". O modelo não atualizou automaticamente seu comportamento com base no nível de surpresa.
A Analogia: Imagine que o controle remoto tem um botão para "Surpresa". Você pode pressionar o botão e ver a luz acender (a informação está lá). Mas quando você pressiona, o chef não muda realmente seu estilo de culinária para ser mais adaptativo. O chef apenas segue a instrução, mas não "aprende" com a surpresa.

Resumo das Descobertas

Podemos controlar variáveis contínuas: Podemos encontrar os "dimmers" nos cérebros de IA para coisas como preferências verbais e aumentá-los ou diminuí-los para mudar o comportamento.
Vetores de direção são poderosos, mas limitados: O "controle remoto" (vetor de direção) é ótimo para capturar o estado de uma tarefa (por exemplo, "Estou pensando atualmente em frases de Objeto Duplo"). Ele muda com sucesso as preferências imediatas do modelo.
Mas falta a parte da "aprendizagem": O controle remoto captura o resultado da aprendizagem (a nova preferência), mas não parece capturar o processo de aprendizagem (a atualização impulsionada por erro). É como se o controle remoto pudesse definir o termostato para 21 graus, mas não explicasse como o forno descobriu que precisava aquecer para chegar lá.

Em resumo: Os pesquisadores construíram uma ferramenta para ajustar as "escalas deslizantes" dentro do cérebro de uma IA. Eles provaram que podem girar essas escalas para mudar como a IA fala. No entanto, eles também descobriram que essa ferramenta captura o hábito da IA, mas não o mecanismo completo de aprendizagem que permite à IA adaptar-se a surpresas.

Resumo Técnico: Intervenções Causais em Variáveis Contínuas em Vetores de Direcionamento

Declaração do Problema
Os métodos de interpretabilidade causal para Modelos de Linguagem de Grande Escala (LLMs) têm se concentrado predominantemente em características discretas, como número gramatical ou limites sintáticos. No entanto, muitos aspectos críticos do processamento linguístico e do conhecimento conceitual são inerentemente graduais (contínuos). O artigo aborda a lacuna na aplicação de técnicas de intervenção causal a variáveis contínuas. Especificamente, os autores investigam se características psicolinguísticas contínuas, como o viés verbal (a preferência gradual de um verbo por uma estrutura sintática em detrimento de outra, por exemplo, Objeto Duplo vs. Dativo Preposicional), são representadas causalmente nas ativações internas dos LLMs e se essas representações podem ser manipuladas para alterar o comportamento a jusante. Além disso, o estudo explora a relação entre essas representações contínuas e a Aprendizagem em Contexto (ICL), particularmente os mecanismos de atualização impulsionados por erros, hipotetizados como a base da priming estrutural.

Metodologia
Os autores propõem um framework para intervenção causal em variáveis contínuas dentro de vetores de ativação, aplicado especificamente a vetores de direcionamento (vetores de tarefa) extraídos de demonstrações em contexto.

Extração de Vetores de Direcionamento: Seguindo Hendel et al. (2023), os autores extraem estados ocultos de LLMs (Llama-2-13B, Llama-3-1B, Llama-3-8B) na posição do verbo alvo durante sequências em contexto. Essas sequências consistem em $n-1$ sentenças primas (demonstrações) seguidas por uma sentença alvo. Os estados ocultos são médios para criar um vetor de direcionamento $\bar{\theta}_{\langle v,s \rangle}$ representando a "tarefa" de produzir uma estrutura $s$ influenciada pelo verbo $v$ .
Localização de Variáveis Contínuas: Para intervir em uma variável contínua (por exemplo, viés verbal $b_v \in (0,1)$ $b_{v} \in (0, 1)$ ), os autores:
- Projetam vetores de ativação de alta dimensão em um espaço de dimensão inferior usando Análise de Componentes Principais (PCA).
- Normalizam as coordenadas da PCA.
- Ajustam um modelo de regressão (regressão Beta para variáveis limitadas como viés verbal; MQO para variáveis com sinal) para prever a variável contínua alvo a partir das coordenadas normalizadas. Isso identifica um vetor de direção de baixa dimensão $\beta$ correspondente à variável.
Edição Contrafactual: Para editar um vetor $h_i$ em direção a um valor alvo contrafactual $y^*_i$ , os autores computam uma atualização mínima de norma $L_2$ , $\Delta \tilde{z}_i$ , ao longo da direção identificada $\beta$ . A atualização é definida como:
$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$
onde $S$ representa o subconjunto de componentes principais selecionados para edição (tipicamente os 5 principais por magnitude do coeficiente). O vetor editado é então mapeado de volta ao espaço original e injetado no modelo para observar os efeitos a jusante.
Condições Experimentais: O estudo testa quatro condições de intervenção:
- Inalterado: Controle (viés original).
- Inverter: Inverter o viés ( $b_v \to 1 - b_v$ ).
- Totalmente Viesado: Saturar o viés para 0 (totalmente viesado para Objeto Duplo) ou 1 (totalmente viesado para Dativo Preposicional).
- Edição de Sinal de Erro: Um sinal de erro com sinal $e = b_v - s$ (onde $s$ é a estrutura observada) é editado de forma semelhante para testar comportamentos de atualização impulsionados por erros.

Principais Resultados

Vetores de Direcionamento Induzem Priming: Vetores de direcionamento extraídos de sentenças primas induzem com sucesso efeitos de priming estrutural nas camadas do meio ao final (Camada 15+). A injeção de um vetor prima de Dativo Preposicional aumenta a preferência do modelo por estruturas de Dativo Preposicional, e vice-versa.
Papel Causal do Viés Verbal: O viés verbal contínuo é linearmente previsível a partir de vetores de direcionamento. A edição contrafactual desse viés modula causalmente a magnitude do efeito de priming.
- Condição de Inversão: Reverter o viés verbal no vetor de direcionamento inverte a correlação entre o viés original do verbo e a magnitude do priming.
- Condição Totalmente Viesada: Saturar o viés elimina a variação na magnitude do priming entre diferentes verbos, confirmando que o subespaço identificado determina causalmente a natureza gradual do efeito.
Presença vs. Uso do Sinal de Erro:
- Presença: Uma variável semelhante a um sinal de erro (combinando viés verbal e estrutura observada) está presente nos vetores de direcionamento e pode ser editada causalmente para produzir deslocamentos graduais nas preferências a jusante.
- Limitação: Apesar da presença desse sinal, os vetores de direcionamento não editados não reproduzem o Efeito de Frequência Inversa (IFE) — o fenômeno onde estruturas primas inesperadas induzem priming mais forte. A injeção padrão de vetor de direcionamento produz uma inclinação positiva (correspondendo ao viés do verbo) em vez da inclinação negativa prevista pelas teorias de aprendizado impulsionado por erros.
- Dinâmica por Camadas: Enquanto o viés verbal é acessível nas camadas iniciais, a integração do viés e da estrutura em um sinal de erro manipulável que impulsiona atualizações graduais emerge apenas nas camadas do meio ao final (Camada 15+).

Significado e Alegações
O artigo faz quatro contribuições primárias:

Extensão Metodológica: Demonstra um método viável para realizar intervenções causais em variáveis contínuas, indo além das características discretas que dominaram a interpretabilidade causal.
Verificação Causal: Estabelece que o viés verbal não é meramente correlacionado, mas representado causalmente em vetores de direcionamento, pois edições contrafactuais alteram sistematicamente as preferências estruturais a jusante.
Análise do Mecanismo de ICL: Fornece uma visão matizada dos vetores de direcionamento como um mecanismo para ICL. Embora capturem com sucesso o componente de ativação transitória do priming estrutural (mudando preferências com base no contexto), falham em capturar a dinâmica completa de atualização impulsionada por erros (especificamente o IFE). Isso sugere que vetores de direcionamento aditivos aproximam o estado representacional induzido pelo contexto, mas não replicam totalmente a regra de atualização computacional da ICL.
Mapeamento Teórico: Os autores propõem um mapeamento entre teorias psicolinguísticas e mecanismos de LLM: vetores de direcionamento alinham-se com teorias de "ativação transitória" de priming, enquanto o componente impulsionado por erros ausente pode exigir mecanismos melhor caracterizados como atualizações de peso de baixo posto ou processos de aprendizado implícito, em vez de simples adição de vetores.

Os autores concluem que, embora a intervenção em variáveis contínuas seja uma ferramenta diagnóstica e causal poderosa, conectar essas representações contínuas à dinâmica completa da aprendizagem em contexto permanece um desafio, pois a abordagem atual de vetores de direcionamento captura o "o quê" (o estado de preferência), mas não o "como" completo (o processo de adaptação impulsionado por erros) da ICL.