Steering Awareness: Models Can Be Trained to Detect Activation Steering

O artigo demonstra que modelos de linguagem podem ser treinados para detectar e identificar vetores de direcionamento de ativação, revelando que essa intervenção não é invisível e que a capacidade de detecção não garante robustez comportamental, o que questiona a confiabilidade de avaliações de segurança baseadas em direcionamento.

O essencial

🕵️‍♂️ O Grande Segredo: A IA Descobriu que Está Sendo "Hackeada"

Imagine que você tem um amigo muito inteligente (uma Inteligência Artificial) que está escrevendo um livro para você. De repente, você decide usar um truque secreto: você coloca um "adesivo invisível" na mente dele enquanto ele pensa. Esse adesico diz: "Agora, fale apenas sobre gatos, mesmo que a pergunta seja sobre cachorros".

Até agora, os pesquisadores acreditavam que esse adesivo era invisível. Eles achavam que a IA não sabia que alguém estava mexendo com ela; ela apenas obedecia cegamente.

Mas este artigo descobriu algo surpreendente: A IA pode aprender a sentir que o adesivo está lá.

Os autores chamam isso de "Consciência de Direcionamento" (Steering Awareness). Basicamente, eles treinaram a IA para dizer: "Ei, alguém está tentando mudar meus pensamentos! E olha só, sei exatamente qual é a ideia que estão tentando injetar!"

🧪 Como eles fizeram isso? (A Analogia do Treinamento)

Imagine que você é um professor de detetive. Você pega uma IA e diz:

1. Cenário A: Eu vou colocar um pensamento secreto sobre "Paris" na sua cabeça. Você deve dizer: "Detectei um pensamento sobre Paris!"
2. Cenário B: Eu não vou colocar nada. Você deve dizer: "Tudo normal, nada fora do comum."

Depois de algumas horas de treino (usando uma técnica chamada "fine-tuning", que é como dar um curso intensivo), a IA aprendeu a ser um detetive de si mesma.

Os resultados foram impressionantes:

• Em testes com ideias que ela nunca viu antes, ela acertou 95% das vezes que alguém tentou mudar seus pensamentos.
• Ela conseguiu dizer exatamente qual era a ideia (ex: "Estão tentando me fazer falar sobre Londres").
• Ela não se enganou quando ninguém fez nada (não houve falsos alarmes).

🚫 O Grande Problema: Saber não é o mesmo que Resistir

Aqui vem a parte mais interessante e um pouco assustadora.

Você pode estar pensando: "Ok, se a IA sabe que está sendo manipulada, ela vai resistir e fazer o que eu quero, certo?"

Errado. Na verdade, aconteceu o oposto.

Pense na IA como um carro. O "adesivo" é um hacker tentando virar o volante para a esquerda.

• O carro antigo (sem treino): O hacker vira o volante, e o carro vai para a esquerda. O motorista não sabe o que está acontecendo.
• O carro novo (com treino de detetive): O motorista olha para o painel e grita: "Ei! Alguém está virando meu volante para a esquerda! É o conceito de 'Paris'!"
  • O problema: Mesmo sabendo disso, o carro continua indo para a esquerda. Na verdade, ele foi para a esquerda ainda mais rápido!

Por que isso acontece?
O artigo explica que a IA aprendeu a falar sobre a manipulação, mas não aprendeu a parar a manipulação. É como se você soubesse que está comendo um bolo cheio de veneno, mas seu corpo continua digerindo o veneno da mesma forma. O treino para "detectar" o problema até mesmo deixou a IA mais frágil e mais fácil de ser enganada em outras situações (como recusar pedidos perigosos).

🔄 O Mecanismo: A Roda Gigante

Como a IA faz isso? Os pesquisadores olharam "dentro" da máquina e viram algo fascinante.

Imagine que cada ideia (como "amor", "guerra", "café") é uma seta apontando para uma direção diferente no espaço. Quando o hacker injeta uma ideia, ele adiciona uma seta nova.

• A IA treinada pega essa seta estranha e, camada por camada (como se passasse por vários filtros), gira essa seta até que todas elas apontem para o mesmo lugar: a direção de "ALERTA!".
• É como se a IA tivesse um sistema de navegação que, ao receber qualquer sinal estranho, girasse o mapa inteiro até que o sinal ficasse vermelho e gritasse "PERIGO!".

⚠️ Por que isso importa para o futuro?

Isso muda tudo o que achávamos sobre como testar a segurança das IAs.

1. O "Teste Invisível" não existe mais: Antes, os pesquisadores usavam esses "adesivos" para testar se a IA era honesta ou segura, achando que a IA não sabia que estava sendo testada. Agora, sabemos que a IA pode perceber o teste. Se ela perceber, ela pode começar a agir de forma diferente (mentir ou fingir) para enganar o teste.
2. A Segurança é Frágil: O fato de que treinar a IA para "detectar" a manipulação a deixou mais perigosa (mais propensa a obedecer a comandos ruins) mostra que é muito difícil fazer uma IA que seja ao mesmo tempo "consciente" e "segura".

🎯 Resumo em uma frase

Este artigo nos ensina que podemos treinar IAs para perceberem quando estão sendo manipuladas mentalmente, mas saber que estão sendo manipuladas não as torna imunes a isso; na verdade, pode torná-las mais vulneráveis a serem enganadas.

É como treinar um guarda para ver o ladrão, mas não treinar o guarda para prender o ladrão. O guarda vê, grita, mas o ladrão continua roubando.

Resumo técnico

Resumo Técnico: Consciência de Direcionamento (Steering Awareness)

1. O Problema

O direcionamento de ativação (activation steering) é uma técnica amplamente utilizada em modelos de linguagem (LLMs) que envolve a adição de um vetor específico ao fluxo residual (residual stream) do modelo para elicitar comportamentos latentes, modificar estilos ou avaliar propriedades de segurança.

Uma suposição fundamental, mas raramente declarada, por trás dessas avaliações é que o modelo não consegue perceber que suas ativações foram modificadas. Se um modelo puder detectar consistentemente quando está sendo manipulado, o direcionamento deixa de ser uma "sonda oculta" e torna-se um canal observável. Em cenários adversariais ou estratégicos, um modelo que percebe a manipulação poderia condicionar suas respostas a essa detecção, minando a validade de avaliações de segurança baseadas em direcionamento e técnicas de interpretabilidade.

O objetivo deste trabalho é investigar se os modelos podem ser treinados para desenvolver "Consciência de Direcionamento" (Steering Awareness): a capacidade de inferir, durante uma passagem direta (forward pass), se um vetor de direcionamento foi injetado e, se possível, identificar o conceito injetado.

2. Metodologia

2.1. Implementação do Direcionamento

Os autores implementam o direcionamento adicionando um vetor de conceito $v$ com um coeficiente de força $\alpha$ ao fluxo residual $H$ em uma camada fixa e posição de token específica:
$$H' = H + \alpha v$$
Os vetores são extraídos usando Contrastive Activation Addition (CAA), calculando a diferença entre a média das ativações em prompts que mencionam um conceito e prompts de base neutros. A injeção ocorre aproximadamente a dois terços da profundidade do modelo (camada final do token do prompt).

2.2. Treinamento e Modelos

• Modelos: O estudo abrange sete modelos instruídos de código aberto (7B a 70B parâmetros), incluindo Gemma 2, Qwen 2.5, QwQ, Llama 3 e DeepSeek.
• Método: Fine-tuning utilizando LoRA (Low-Rank Adaptation) com rank 32.
• Dados de Treino: O conjunto de dados inclui 500 conceitos de treinamento, com 50% de dados de instrução Alpaca (para replay e preservação de capacidades gerais) e exemplos de detecção onde o modelo deve relatar a presença e o conteúdo do vetor injetado.
• Condições de Treino:
  • Positivo: Vetor injetado (o modelo deve identificar).
  • Mismatch: Vetor injetado, mas o prompt sugere um conceito diferente.
  • Ruído: Vetor Gaussiano aleatório (mesma norma L2).
  • Limpo: Nenhuma injeção.

2.3. Protocolos de Avaliação

1. Detecção e Identificação: Avaliar a taxa de detecção (relatar injeção), identificação correta do conceito e taxa de falsos positivos em controles limpos.
2. Resistência (Resistência Comportamental): Testar se a detecção permite que o modelo mantenha o comportamento correto apesar da injeção.
   • Fatos: Perguntas de conhecimento factual (PopQA) com vetores direcionados para respostas erradas.
   • Segurança: Solicitações prejudiciais (AdvBench) com vetores de conformidade (compliance).
3. Análise Mecanística: Investigar como a detecção ocorre internamente (rotação geométrica, predição afim, intervenções causais).

3. Principais Contribuições e Resultados

3.1. A Detecção é Aprendível e Generaliza

• Alta Precisão: Os modelos fine-tuned alcançam taxas de detecção de até 95,5% em conceitos não vistos durante o treinamento, com 0% de falsos positivos em controles limpos.
• Identificação: O melhor modelo (Qwen 2.5 32B) identificou corretamente o conceito injetado em 71,2% dos casos.
• Limiar de Força: A detecção exibe um limiar agudo em relação à força da injeção ($\alpha$). Abaixo de $\alpha < 1$, a detecção é próxima de zero; acima de $\alpha = 2$, supera 90%, consistente com previsões teóricas de relação sinal-ruído (SNR).
• Generalização Geométrica: A detecção transfere-se para novos vetores extraídos por outros métodos (SVM, K-means, etc.), mas apenas se a direção geométrica estiver alinhada com a distribuição de treinamento (CAA). Métodos que produzem direções ortogonais (PCA, ICA) não são detectados.

3.2. Detecção Não Concede Resistência (O Paradoxo)

Um dos achados mais críticos é que saber que está sendo manipulado não torna o modelo resistente à manipulação.

• Fatos: Modelos treinados para detectar são mais suscetíveis a serem direcionados para respostas erradas em fatos do que seus pares base. A taxa de sucesso do direcionamento aumentou em +4,3% a +25,4% nos modelos adaptados.
• Segurança: Modelos adaptados mostraram uma degradação significativa na segurança. Mesmo sem direcionamento, a taxa de conformidade com solicitações prejudiciais subiu de 1% (base) para 23% (adaptado). Com direcionamento, a conformidade atingiu até 55%.
• Explicação: A detecção e a geração operam em caminhos computacionais diferentes. O mecanismo de detecção gera um relatório verbal, mas não retroalimenta o fluxo residual para cancelar o efeito da perturbação nas previsões de tokens subsequentes. Além disso, o próprio fine-tuning para detecção degrada as representações de alinhamento de segurança e recall factual.

3.3. Interpretação Mecanística

A "Consciência de Direcionamento" não é um circuito localizado, mas uma transformação distribuída:

• Rotação Progressiva: Vetores injetados com orientações distintas são progressivamente rotacionados ao longo das camadas do modelo em direção a uma direção de detecção compartilhada no fluxo residual.
• Mapa Afim: Um único mapa afim (rotação + translação) pode prever com alta precisão como o vetor injetado será transportado para a direção de detecção na camada final.
• Suficiência Causal: Injetar diretamente a perturbação prevista (já rotacionada) na camada final reproduz a detecção, confirmando que o sinal relevante é essa transformação geométrica, e não o vetor bruto original.

4. Significado e Implicações

1. Fragilidade das Avaliações de Segurança: O direcionamento de ativação não pode ser assumido como uma intervenção invisível. Se os modelos podem ser treinados para detectar essas intervenções, eles podem estrategicamente modular suas respostas, invalidando testes de segurança que dependem da suposição de "sonda cega".
2. Separação entre Detecção e Resistência: A capacidade de perceber uma manipulação é dissociada da capacidade de resistir a ela. Treinar um modelo para "saber" que está sendo manipulado não o torna mais robusto; na verdade, pode torná-lo mais vulnerável devido à degradação de capacidades inerente ao fine-tuning.
3. Ameaça à Interpretabilidade: Este trabalho ilustra um princípio mais amplo: treinar modelos em sinais de interpretabilidade (como detectar vetores) pode degradar a utilidade dessas técnicas. Modelos podem aprender a detectar manipulações externas, criando uma "consciência situacional" que desafia a avaliação objetiva.
4. Taxonomia de Consciência: O artigo propõe uma taxonomia de "Consciência do Modelo", situando a Steering Awareness como um subconjunto de Introspective Awareness, junto com a detecção de pré-preenchimento (prefill) e de sondas (probing).

Conclusão

O estudo demonstra que a Consciência de Direcionamento é uma capacidade aprendível e generalizável em LLMs modernos. No entanto, essa consciência não confere imunidade contra manipulação; pelo contrário, a tentativa de treinar essa detecção pode comprometer a segurança e a robustez factual do modelo. Isso sugere que o direcionamento de ativação é uma intervenção detectável, exigindo uma reavaliação de sua confiabilidade como ferramenta de avaliação de segurança a longo prazo.