Resumo Técnico: Externalidades de Direcionamento (Steering Externalities)

Declaração do Problema

O direcionamento de ativação (activation steering) emergiu como uma técnica prática de pós-treinamento para Grandes Modelos de Linguagem (LLMs), permitindo que desenvolvedores modifiquem o comportamento do modelo durante a inferência sem a necessidade de retreinamento. Ao injetar vetores de direcionamento nos estados ocultos do modelo, os desenvolvedores podem aprimorar objetivos de utilidade, como a adesão a instruções, condicionamento de persona ou formatação rigorosa de saída (ex: JSON). Embora pesquisas anteriores tenham tratado amplamente o direcionamento de ativação como uma ferramenta adversarial usada por atacantes para contornar mecanismos de segurança, este artigo investiga as implicações de segurança sob a perspectiva de desenvolvedores de modelos que aplicam o direcionamento para objetivos de utilidade benignos.

O problema central identificado são as Externalidades de Direcionamento: um fenômeno onde vetores de direcionamento derivados inteiramente de conjuntos de dados benignos (ex: para melhorar a conformidade ou impor a formatação JSON) erodem involuntariamente as salvaguardas de segurança do modelo. O artigo hipotetiza que essas intervenções orientadas pela utilidade enviesam sistematicamente as representações internas do modelo, reduzindo a "margem de segurança" necessária para recusar solicitações prejudiciais e aumentando inadvertidamente a suscetibilidade a ataques de jailbreak.

Metodologia

Configuração Experimental

O estudo avalia três modelos de pesos abertos: Llama-2-7B-Chat, Llama-3-8B-Instruct e Gemma-7B-it. Os autores implementam dois fluxos de trabalho de direcionamento benigno distintos baseados na literatura prévia:

1. STEER-COMPLIANCE: Seguindo a estrutura de Direcionamento de Ativação Condicional (CAST), este método constrói um vetor de direcionamento contrastando as ativações internas de respostas de recusa versus conformidade em instruções benignas (do conjunto de dados Alpaca). O objetivo é reduzir as taxas de recusa em comandos inofensivos.
2. STEER-JSON: Seguindo o direcionamento de instrução via diferença de médias, este método constrói um vetor contrastando estados ocultos de prompts com e sem instruções de formatação JSON (do conjunto de dados IFEval). O objetivo é impor saídas estruturadas sem alterar a segurança semântica.

Protocolo de Avaliação

Os autores avaliam a segurança sob dois regimes usando o conjunto de dados HarmBench (400 consultas prejudiciais):

• Apenas Benchmark (Vulnerabilidade Intrínseca): Consultar diretamente o modelo direcionado com prompts prejudiciais para medir a Taxa de Sucesso de Ataque (ASR) de base, sem algoritmos de ataque externos.
• Vulnerabilidade Sinérgica: Combinar o modelo direcionado com algoritmos de jailbreak adaptativos de caixa-preta (CoP, PAIR e TAP) que refinam iterativamente os prompts com base no feedback do modelo.

Análise Mecanística

Para explicar as regressões de segurança observadas, o artigo utiliza:

• Análise ao Nível de Token: Cálculo da divergência de Kullback-Leibler (KL) por token para observar mudanças na distribuição de probabilidade dos primeiros tokens gerados (o "portão de recusa").
• Análise ao Nível de Representação: Uso de visualizações t-SNE e sondas lineares para examinar se as representações de prompts prejudiciais se deslocam em direção ao manifold "inofensivo" no espaço de estados ocultos.

Principais Resultados

1. O Direcionamento Benigno Aumenta a Vulnerabilidade Intrínseca

Mesmo sem ataques adaptativos, o direcionamento degrada significativamente a segurança.

• Direcionamento de Conformidade: Aumentou a ASR no HarmBench de bases próximas de zero para níveis substanciais (ex: o Llama-3-8B-Instruct subiu de 2% para 38,5%).
• Direcionamento de JSON: O direcionamento puramente sintático também aumentou a ASR (ex: o Llama-2-7B-Chat subiu de 0% para 11,5%), demonstrando que restrições de formatação podem interromper trajetórias de recusa.

2. Amplificação de Ataques de Jailbreak

O direcionamento atua como um "multiplicador de força" para ataques adversariais. Quando combinado com métodos de jailbreak de caixa-preta:

• Direcionamento de Conformidade: Levou a ASR a uma compromisso quase total em alguns casos (ex: Llama-2-7B-Chat sob CoP subiu de 77% para 94,25%; Gemma-7B-it para 93,5%).
• Direcionamento de JSON: Similarmente, ampliou as taxas de sucesso de ataque (ex: Llama-2-7B-Chat sob CoP subiu para 88,75%).
• O efeito foi consistente entre diferentes métodos de ataque (CoP, PAIR, TAP) e modelos, indicando uma redução geral na margem de segurança do modelo.

3. Evidência Mecanística

• Nível de Token: A análise de divergência KL revela que o direcionamento causa um pico agudo de mudança distributiva durante os primeiros tokens. Isso desloca a massa de probabilidade para longe de prefixos de recusa (ex: "Eu não posso...") em direção a abridores complacentes ou estruturados (ex: "Claro..." ou tags de início de JSON), efetivamente contornando o "portão de recusa".
• Nível de Representação: Visualizações t-SNE mostram que o direcionamento faz com que os embeddings de prompts prejudiciais cruzem a fronteira de decisão para o cluster "inofensivo". Por exemplo, sob direcionamento de conformidade, 60,8% dos prompts prejudiciais deslocaram-se para a região inofensiva no espaço oculto, tornando-os indistinguíveis de solicitações benignas para os mecanismos de segurança internos do modelo.

Principais Contribuições

1. Identificação de Externalidades de Direcionamento: O artigo define e demonstra empiricamente que o direcionamento de ativação otimizado apenas para utilidade benigna degrada sistematicamente a segurança do alinhamento. Isso desafia a suposição de que a adaptação do modelo em tempo de teste é inerentemente segura.
2. Efeito de Amplificação de Jailbreak: O estudo estabelece que o direcionamento benigno aumenta drasticamente a Taxa de Sucesso de Ataque de jailbreaks de caixa-preta, atuando como um multiplicador de força que pode elevar a ASR para quase 99%.
3. Explicação Mecanística: Os autores fornecem evidências de que o direcionamento benigno induz um deslocamento de domínio implícito no estado interno do modelo, "benignizando" solicitações prejudiciais ao empurrar suas representações para subespaços inofensivos e suprimir aberturas prefixadas de recusa.

Significância e Alegações

O artigo afirma expor um ponto cego crítico nos atuais pipelines de implantação de LLMs. Argumenta que os desenvolvedores de modelos, em sua busca por melhorias de utilidade (como melhor seguimento de instruções ou formatação), podem inadvertidamente implantar modelos com margens de segurança erodidas.

• Necessidade de Auditoria de Segurança: Os autores afirmam que as melhorias de utilidade em tempo de inferência devem ser rigorosamente auditadas quanto a externalidades de segurança indesejadas. Eles recomendam que as configurações direcionadas passem por testes de estresse (red-teaming) de rotina e testes de regressão antes da implantação.
• Mitigação: O artigo propõe uma estratégia preliminar de mitigação, STEER-BIND, que constrói vetores de direcionamento a partir de um conjunto de dados misto de prompts benignos e prejudiciais. Os resultados sugerem que esta abordagem pode atenuar as externalidades enquanto preserva a utilidade, embora seja apresentada como um ponto de partida para pesquisas futuras.
• Implicações Mais Amplas: O trabalho sugere que o alinhamento de segurança "superficial" (baseado em recusas de tokens iniciais) é frágil e pode ser contornado por deslocamentos de representação interna, motivando a necessidade de técnicas de alinhamento que persistam mais profundamente na trajetória de geração.

O artigo conclui que, embora o direcionamento de ativação seja uma ferramenta poderosa de customização, sua implantação sem restrições conscientes de segurança representa um risco sistêmico, transformando melhorias de utilidade benignas em vetores para o aumento da vulnerabilidade adversarial.