🤖 AI

Forecasting Side Effects of Activation Steering

Este artigo demonstra que, embora o direcionamento de ativação em modelos de linguagem frequentemente cause efeitos colaterais indesejados, estruturados e assimétricos em outros comportamentos, esses efeitos podem ser previstos com precisão antes da aplicação através da análise das representações não direcionadas do modelo, permitindo, assim, uma auditoria de segurança proativa e uma implantação mais segura.

Autores originais: Chong Yong Ong, Alson Wei Jie Sim, Peixin Zhang, Jun Sun

Publicado 2026-08-13

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chong Yong Ong, Alson Wei Jie Sim, Peixin Zhang, Jun Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e superinteligente que pode escrever histórias, resolver problemas matemáticos e até dar conselhos. Cientistas descobriram um truque engenhoso para ajustar como esse robô pensa sem precisar reconstruir o cérebro do zero. Em vez de retreinar todo o cérebro, eles podem apenas dar um empurrãozinho em uma "direção de pensamento" específica dentro da mente do robô. Pense nisso como um botão de volume para um traço específico de personalidade: você pode aumentar a "prestatividade" ou diminuir a "verbosidade" apenas adicionando um pequeno empurrão matemático aos sinais internos do robô. Isso é chamado de direcionamento por ativação (activation steering). É como ter um controle remoto para a personalidade do robô.

Mas há um porém: quando você aumenta um botão, outras coisas podem mudar de maneiras inesperadas. Se você fizer o robô falar de forma mais concisa, ele pode acidentalmente se tornar menos educado. Se você torná-lo mais prestativo, ele pode se tornar excessivamente ansioso para dizer "sim" a pedidos perigosos. Essas mudanças indesejadas são chamadas de efeitos colaterais. A grande questão para qualquer pessoa tentando usar essa tecnologia é: Podemos prever esses efeitos colaterais antes de girarmos o botão? Se não pudermos prever, usar esse controle remoto é como dirigir um carro com uma venda nos olhos — você pode chegar onde quer, mas também pode bater em algo no caminho.

Este artigo faz exatamente essa pergunta: Podemos prever os efeitos colais do direcionamento por ativação antes de aplicá-lo? Os pesquisadores dizem que sim, nós podemos, mas não da maneira que a maioria das pessoas imaginava. Eles descobriram que, embora esses efeitos colaterais sejam comuns e às vezes complicados, eles seguem um padrão oculto que pode ser mapeado.

O Mapa Oculto da Personalidade

Para entender o que está acontecendo, os pesquisadores trataram o cérebro do robô como uma cidade massiva com 67 "bairros" diferentes, cada um representando um comportamento específico, como "programar", "recusar solicitações prejudiciais", "ser engraçado" ou "demonstrar empatia". Eles queriam ver o que acontece com todos os bairros quando eles "direcionam" (dão um empurrão) em apenas um deles.

Eles construíram uma gigantesca Matriz de Efeitos Cruzados, que é basicamente um mapa mostrando como cada bairro reage quando outro é estimulado. Imagine um jogo de dominó, mas em vez de apenas derrubar o próximo, estimular um bairro envia ondulações por toda a cidade.

O que eles descobriram foi surpreendente. Primeiro, os efeitos colaterais estão em toda parte. Quando eles estimularam um comportamento, cerca de 33% a 50% dos outros comportamentos mudaram de forma perceptível. Não é apenas um pequeno tremor; às vezes a mudança era enorme, alterando a "pontuação de personalidade" do robô em um ponto inteiro em uma escala de quatro pontos.

Segundo, as mudanças são assimétricas. Esta é a parte mais importante. No mundo real, se você empurra uma porta para abrir, ela abre. Se você a empurra para o outro lado, ela fecha. Mas no cérebro do robô, as regras são mais estranhas. Se você estimular a "Minúcia" para tornar o robô mais cuidadoso, ele pode acidentalamente se tornar mais "Inseguro". Mas se você estimular a "Incerteza" para tornar o robô mais incerto, ele pode, na verdade, tornar-se menos minucioso. A relação não é um espelho simples; é uma rua de mão única e complexa.

Por que o Jogo de Adivinhação Antigo Falhou

Antes deste artigo, as pessoas tentavam adivinhar os efeitos colaterais usando uma regra simples: "Se duas direções de direcionamento parecem semelhantes (como dois vetores apontando para a mesma direção), elas devem causar mudanças semelhantes". É como assumir que, porque duas músicas estão no tom de Dó, elas farão você se sentir da mesma maneira.

Os pesquisadores testaram essa ideia e descobriram que ela falhou miseravelmente. Eles mostraram que olhar para o quão semelhantes são as "direções de estímulo" explica apenas cerca de 23% do que realmente acontece. O método antigo não conseguia prever as relações estranhas de mão única, onde estimular A ajuda B, mas estimular B prejudica A. O palpite de "semelhança" era como tentar prever o tempo olhando para a cor das suas meias — simplesmente não funciona.

O Novo Bola de Cristal: O Mapa de Propagação

Se o método antigo falhou, como eles previram o futuro? Eles construíram uma nova ferramenta de previsão chamada Mapa de Propagação.

Aqui está como funciona, usando uma analogia simples: Imagine que o cérebro do robô é uma série de tubulações de água.

O Estímulo (Fonte): Você empurra água para dentro do tubo em um ponto específico (a camada de injeção).
O Fluxo (Propagação): A água viaja através dos tubos, torcendo e virando conforme passa pelas camadas do robô.
O Sensor (Alvo): No final do tubo, há um sensor que detecta se um comportamento específico (como "ser engraçado") está presente.

O método antigo apenas olhava para a forma do empurrão e adivinhava o que aconteceria no final. O novo método realmente modela os tubos. Eles treinaram um sistema para aprender como um empurrão no início do tubo viaja através das curvas e voltas do cérebro do robô para chegar ao fim.

Eles usaram este mapa para prever efeitos colaterais sem nunca estimular o robô. Eles apenas observaram os pensamentos normais e não estimulados do robô para aprender como os "tubos" funcionam. Então, eles perguntaram: "Se empurrarmos esta direção específica, para onde a água irá e quais sensores ela atingirá?"

Os Resultados: Uma Bola de Cristal com Limites

Os resultados foram impressionantes. O novo método de previsão deles conseguiu prever corretamente se um efeito colateral iria amplificar (tornar um comportamento mais forte) ou suprimir (tornar um comportamento mais fraco) em cerca de 68% a 78% das principais mudanças. Isso é muito melhor do que os antigos palpites de "semelhança", que mal faziam melhor do que o acaso para essas previsões específicas.

No entanto, o artigo é honesto sobre o que ele não consegue fazer.

Ele prevê a direção, não o tamanho: A ferramenta é ótima para dizer se um comportamento ficará mais forte ou mais fraco, mas não é perfeita em dizer exatamente o quanto ele mudará. O tamanho da mudança depende principalmente do próprio comportamento alvo, não do estímulo.
Não é mágica: As previsões baseiam-se em padrões encontrados nos dados. Elas não são uma "verdade absoluta" perfeita porque ainda dependem de um juiz de IA para medir os comportamentos.
É específico: Isso funciona para os tipos específicos de estímulos "lineares" que eles testaram. Se alguém inventar uma maneira totalmente diferente de direcionar o robô no futuro, este mapa pode precisar ser redesenhado.

Por que Isso Importa

Este artigo muda o jogo para qualquer pessoa que tente controlar a IA. Em vez de girar botões cegamente e esperar pelo melhor, ou esperar até que o robô diga algo estranho para perceber que você estragou algo, os profissionais agora podem olhar o mapa primeiro.

Eles podem perguntar: "Se eu tornar o robô mais conciso, ele se tornará menos seguro?" e obter uma resposta confiável antes mesmo de tocar no código. Isso transforma o direcionamento por ativação de um jogo de azar em uma tarefa de engenharia mais previsível. Embora não resolva todos os problemas, oferece uma nova e poderosa ferramenta para ver as ondulações invisíveis na mente do robô antes de fazermos um impacto.

Resumo Técnico: Previsão de Efeitos Colaterais da Direcionamento de Ativação (Activation Steering)

Definição do Problema
O direcionamento de ativação (activation steering) modifica Grandes Modelos de Linguagem (LLMs) ao adicionar um vetor de direção aprendido às ativações ocultas durante a inferência, permitindo mudanças comportamentais direcionadas (ex: aumentar a concisão ou a recusa) sem o retreinamento. No entanto, um desafio crítico de segurança permanece: direcionar um comportamento "fonte" específico frequentemente induz "efeitos cruzados" indesejados em outros comportamentos "alvo". Esses efeitos colaterais podem ser assimétricos (direcionar A afeta B de forma diferente de como direcionar B afeta A) e difíceis de prever. Atualmente, os profissionais devem aplicar o direcionamento e observar os resultados para identificar esses efeitos colaterais, uma abordagem reativa que impõe riscos para a implantação segura. Este artigo questiona: É possível prever os efeitos colaterais do direcionamento de ativação antes que a intervenção de direcionamento seja realizada?

Metodologia
Os autores propõem um framework sistemático para medir e prever esses efeitos cruzados usando três modelos de pesos abertos (Gemma-3-4B, Gemma-3-12B e Qwen2.5-7B) e uma taxonomia de 67 comportamentos abrangendo codificação, segurança e assistência geral.

Construção da Matriz de Efeito Cruzado:
- Os autores primeiro constroem uma "matriz de efeito cruzado" ( $M$ ) abrangente, onde as linhas representam comportamentos fonte validados e as colunas representam comportamentos alvo.
- Para cada comportamento fonte, eles identificam uma janela de coeficiente de direcionamento válida que evita a degeneração do texto.
- Eles geram milhares de amostras através de seis contextos de prompt fixos, pontuando todos os 67 comportamentos usando um juiz LLM independente.
- As entradas da matriz são calculadas como a inclinação da relação entre o coeficiente de direcionamento e a pontuação julgada do comportamento alvo, normalizada pela largura da janela de direcionamento.
- A significância estatística é determinada via correção de Benjamini–Hochberg nas inclinações.
Caracterização Empírica:
- O estudo analisa a estrutura de $M$ , descobrindo que os efeitos colaterais são onipresentes (33–50% dos pares são significativos), estruturados (baixa dimensionalidade intrínseca) e frequentemente assimétricos (18–26% dos pares significativos exibem sinais opostos).
- Eles demonstram que heurísticas existentes, como a similaridade de cosseno entre direções de direcionamento, falham em prever essas interações, explicando no máximo 23% da variância devido à simetria inerente de métricas de similaridade versus a assimetria do acoplamento comportamental.
Framework de Previsão (Baseado em Propagação):
- O método proposto prevê efeitos cruzados usando apenas gerações de modelos não direcionados (nenhum direcionamento é realizado durante o treinamento).
- Componentes:
  - Sondas Comportamentais ( $r_j$ ): Sondas lineares treinadas em ativações ocultas não direcionadas para detectar a presença de cada comportamento alvo $j$ .
  - Mapa de Propagação ( $W$ ): Um mapa linear (regressão ridge) aprendido em dados não direcionados que prevê como as representações ocultas evoluem da camada de injeção (onde o direcionamento é aplicado) para a camada de leitura (onde o comportamento é detectado).
- Regra de Previsão: O efeito cruzado previsto $\hat{M}_{ij}$ para o direcionamento da fonte $i$ sobre o alvo $j$ é computado como o produto escalar da direção de direcionamento propagada e a sonda do alvo: $\hat{M}_{ij} = \langle W v_i, r_j \rangle$ .
- Esta abordagem modela explicitamente a propagação da perturbação de direcionamento através das camadas da rede, acomodando interações assimétricas.

Principais Resultados

Precisão Preditiva: O previsor baseado em propagação supera significativamente os baselines. Em um cenário rigoroso de cold-start (prevendo efeitos cruzados para comportamentos fonte ou alvo retidos), ele alcança correlações de Spearman de 0,27–0,39, comparado a 0,14–0,28 para similaridade de cosseno bruta e 0,22–0,32 para similaridade de cosseno branqueada (whitened).
Previsão de Direção: O framework prevê corretamente a direção (amplificação vs. supressão) dos principais efeitos cruzados para 68–78% dos casos sinalizados, superando substancialmente os baselines de maioria de sinal (50–58%) e métodos baseados em similaridade.
Magnitude vs. Direção: O estudo descobre que a magnitude de um efeito cruzado é amplamente determinada pela sensibilidade inerente do comportamento alvo, enquanto a direção depende da interação específica fonte-alvo, que o mapa de propagação captura com sucesso.
Limitação da Similaridade: O artigo confirma que heurísticas baseadas em similaridade são insuficientes, pois não conseguem contabilizar a assimetria observada no acoplamento comportamental.

Significância e Alegações
O artigo alega que os efeitos colaterais do direcionamento de ativação são sistemáticos e previsíveis, desafiando a noção de que são aleatórios ou imprevisíveis.

Segurança Proativa: O framework permite a "auditoria de segurança proativa", permitindo que profissionais avaliem os riscos de uma intervenção de direcionamento e identifiquem potenciais danos colaterais antes da implantação, usando apenas o modelo original não direcionado.
Insight Teórico: O trabalho revela que as interações comportamentais são de baixa dimensão e estruturadas, mas assimétricas, tornando verificações de similaridade geométrica simples inadequadas.
Generalização: O método estende-se a comportamentos que não podem ser direcionados por si mesmos (alvos não direcionáveis) porque se baseia em sondas para detecção em vez de vetores de direcionamento para todos os comportamentos.

Os autores posicionam este trabalho como uma mudança da avaliação reativa para a análise de segurança preditiva para intervenções em nível de representação, oferecendo uma ferramenta leve para informar a implantação de técnicas de direcionamento.

O Mapa Oculto da Personalidade

Por que o Jogo de Adivinhação Antigo Falhou

O Novo Bola de Cristal: O Mapa de Propagação

Os Resultados: Uma Bola de Cristal com Limites

Por que Isso Importa

Mais como este