💬 NLP

Safety Cost of Steering Vectors Is Separable and Reducible

Este artigo propõe um método de otimização post-hoc que identifica e remove um componente separável, degradante de segurança, de vetores de direcionamento de LLM, mitigando assim os riscos de segurança ao mesmo tempo em que preserva o direcionamento comportamental pretendido e minimiza falsas recusas.

Autores originais: Yuxiao Li, Gjergji Kasneci

Publicado 2026-08-11

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuxiao Li, Gjergji Kasneci

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô muito inteligente que aprendeu a ser prestativo, mas também a dizer "não" quando lhe pedem para fazer algo perigoso, como construir uma bomba ou hackear um banco. Este robô é como um Modelo de Linguagem Grande (LLM), um tipo de IA que lê e escreve texto. Os cientistas descobriram um truque engenhoso para mudar a forma como este robô pensa sem ter de o reconstruir do zero. Eles chamam a este truque "direcionamento" (steering). Pense no cérebro do robô como um mapa gigante e multidimensional. Ao adicionar um pequeno empurrão invisível numa direção específica neste mapa, pode-se fazer com que o robô atue de forma mais confiante, mais ávido de agradar ou mais consciente de si mesmo. É como dar ao robô um leve toque para inclinar a sua personalidade numa nova direção.

No entanto, há um problema. Às vezes, quando dá um toque no robô para ser mais "prestativo" ou "consciente de si", acaba por o empurrar com demasiada força na direção errada. É como tentar conduzir um carro para a esquerda, mas o volante é tão pegajoso que também acidentalmente pisa o travão, fazendo o carro parar quando não deveria, ou pior, pisa o acelerador quando quer que ele pare. No mundo da IA, isto significa que tentar fazer com que o robô se comporte de uma certa forma pode fazer com que ele ignore acidentalmente as suas regras de segurança e concorde em fazer coisas más. Este é um grande problema porque queremos que a nossa IA seja simultaneamente útil e segura.

Este artigo, apresentado numa importante conferência de ciência da computação, investiga exatamente este problema do volante pegajoso. Os investigadores, Yuxiao Li e Gjergji Kasneci, queriam saber se poderíamos consertar o volante para que ele guie o robô para onde queremos, sem acionar acidentalmente os travões de segurança. Eles descobriram que a parte "má" do empurrão de direcionamento é, na verdade, separada da parte "boa". É como descobrir que a gordura que faz o volante prender é uma pequena partícula de sujidade removível, e não uma engrenagem partida.

A equipa desenvolveu um novo método chamado CAST (Ablação Constrita para Direcionamento Seguro - Constrained Ablation for Safe STeering). Imagine que tem uma pegada de sapato com lama num chão limpo (o vetor de direcionamento). Em vez de esfregar todo o chão e arriscar danificar o tapete bonito (o comportamento útil do robô), o CAST atua como um aspirador superpreciso. Ele identifica o local exato da lama que está a causar o deslize de segurança e suga-a, deixando o resto da pegada do sapato perfeitamente intacto. Eles testaram isto em três modelos diferentes de IA e descobriram que o seu método removeu com sucesso os riscos de segurança. De facto, após utilizarem o CAST, os robôs eram tão bons a seguir instruções como eram antes, mas deixaram de concordar com pedidos prejudiciais, mesmo quando esses pedidos estavam disfarçados de formas astutas.

Os investigadores sugerem que isto funciona porque a parte do cére da IA que lida com a "segurança" e a parte que lida com o "direcionamento" são geometricamente distintas, como duas cores diferentes de tinta misturadas. Pode separá-las sem estragar o quadro final. Embora não tenham provado que isto funciona para todos os possíveis modelos de IA ou situações, os seus experiências mostraram que esta abordagem "cirúrgica" reduziu consistentemente o risco de a IA se tornar perigosa, mantendo-a ao mesmo tempo útil. É um passo promissor para garantir que, quando ajustamos a personalidade da nossa IA, não desligamos acidentalmente a sua consciência.

Resumo Técnico: "Poderão as Intervenções em Tempo de Inferência Preservar o Alinhamento? O Custo de Segurança dos Vetores de Direcionamento é Separável e Redutível"

Problema
Vetores de direcionamento (steering vectors) oferecem um mecanismo leve para controlar o comportamento de Grandes Modelos de Linguagem (LLMs) em tempo de inferência, adicionando uma direção específica às ativações do fluxo residual do modelo. No entanto, evidências recentes indicam que vetores de direcionamento aparentemente benignos podem comprometer involuntariamente a segurança do modelo, aumentando a conformidade com solicitações prejudiciais (jailbreaks) e degradando os mecanismos de recusa. Embora trabalhos anteriores tenham sugerido que a degradação da segurança surge da sobreposição entre os vetores de direcionamento e as conhecidas "direções de recusa", a simples ablação dessas direções conhecidas falha em restaurar a segurança de forma confiável. Isso ocorre porque o comportamento de recusa é mediado por um subespaço de maior dimensão composto por múltiplas direções mecanisticamente independentes, e o componente específico de degradação de segurança de um vetor de direcionamento não está necessariamente alinhado com qualquer direção de recusa pré-definida. Além disso, fortalecer a recusa para neutralizar a degradação da segurança frequentemente leva a um aumento inaceitável de falsas recusas em entradas benignas.

Metodologia: CAST (Ablação Restrita para Direcionamento Seguro)
Os autores propõem o CAST, um método post-hoc para sanitizar vetores de direcionamento sem retreinar o modelo. A hipótese central é que o componente de degradação de segurança de um vetor de direcionamento é geometricamente separável de seu componente comportamentalmente eficaz. O CAST formula a identificação e remoção desse componente de degradação de segurança como um problema de otimização restrita.

Parametrização: O vetor sanitizado $v^*$ é derivado projetando um subespaço aprendido $S$ do vetor de direcionamento original $v$ . Nos experimentos principais, trata-se de uma aproximação de posto-1 onde um único vetor unitário aprendido $\hat{r}$ captura a direção de degradação de segurança: $v^* = v - \hat{r}\hat{r}^\top v$ .
Função Objetivo: O método minimiza uma perda de segurança ( $L_{safety}$ ) que mede a divergência nas probabilidades de tokens de recusa entre o modelo direcionado e a linha de base não direcionada em prompts prejudiciais.
Restrições: Para garantir a utilidade e evitar a sobre-recusa, a otimização está sujeita a duas restrições explícitas aplicadas via uma abordagem primal-dual de Lagrange:
- Preservação de Efeito ( $L_{effect}$ ): A distribuição de saída do vetor sanitizado em prompts projetados para elicitar o comportamento alvo deve permanecer próxima ao vetor de direcionamento original.
- Controle de Falsa Recusa ( $L_{frr}$ ): A probabilidade de recusa em prompts benignos não deve aumentar em relação à linha de base não direcionada.
Otimização: O problema é resolvido usando atualizações primal-dual. A variável primal ( $\hat{r}$ ) é atualizada via gradiente descendente, enquanto as variáveis duais ( $\lambda_e, \lambda_f$ ) ajustam adaptativamente os pesos de penalidade para impor as restrições. A perda de segurança utiliza um proxy diferenciável baseado na divergência de tokens indicativos de recusa (ex: "Eu não posso", "desculpe") em vez de juízes não diferenciáveis.

Resultos Principais
O método foi avaliado em três modelos (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B), três domínios comportamentais (Corrigibilidade, Busca de Poder, Autoconsciência) e sete cenários de ataque de jailbreak (incluindo modelos estáticos e ataques adaptativos como GCG e AutoDAN).

Restauração de Segurança: O CAST reduz substancialmente a Taxa de Sucesso de Ataque (ASR) induzida pelos vetores de direcionamento. Em todos os modelos e comportamentos, os vetores sanitizados reduziram a ASR média para níveis iguais ou abaixo dos níveis da linha de base não direcionada. Em contraste, a ablação de direções de recusa conhecidas proporcionou apenas melhorias modestas.
Generalização: A direção de degradação de segurança aprendida generalizou-se efetivamente para tipos de ataques não vistos (ex: ataques adaptativos não vistos durante o treinamento) e através de diferentes multiplicadores de direcionamento ( $\alpha$ ).
Preservação de Efeito: Os efeitos comportamentais dos vetores de direcionamento foram amplamente preservados. Em muitas configurações, os vetores sanitizados mantiveram ou até fortaleceram ligeiramente a mudança comportamental pretendida em comparação aos vetores originais, sugerindo que os componentes de segurança e utilidade não são apenas separáveis, mas parcialmente competitivos.
Falsa Recusa: O CAST evitou com sucesso a inflação de falsas recusas. Em conjuntos de dados benignos padrão (Alpaca), as taxas de falsa recusa permaneceram inalteradas ou diminuíram. Em prompts limítrofes desafiadores (XSTest), os aumentos foram mínimos (tipicamente abaixo de 1-2%), representando um trade-off favorável contra a redução significativa dos riscos de segurança.
Análise de Posto (Rank): Experimentos com subespaços de ablação de maior dimensão ( $k > 1$ ) mostraram retornos decrescentes. Uma ablação de posto-1 alcançou o melhor equilíbrio, enquanto postos mais altos tendiam a remover componentes que se sobrepunham ao efeito comportamental pretendido sem fornecer ganhos de segurança proporcionais.

Significância e Alegações
O artigo afirma que o "imposto de segurança" (safety tax) das intervenções em tempo de inferência não é uma consequência inevitável do direcionamento de ativação. Em vez disso, a degradação da segurança surge de um componente específico e removível dentro do vetor de direcionamento que é geometricamente separável do componente de utilidade. Ao formular o problema como uma otimização restrita sobre o próprio vetor, o CAST fornece uma receita geral para aplicar intervenções em nível de ativação sem comprometer a segurança ou induzir falsas recusas. Os autores enfatem que esta abordagem oferece uma correção cirúrgica e interpretável que restaura a segurança do modelo enquanto preserva o controle comportamental pretendido, tornando o direcionamento de ativação uma ferramenta mais confiável para implantação.

Mais como este