Resumo Técnico: A Recusa Vive Jusante da Persona em Modelos de Chat

Declaração do Problema

Embora direções lineares no espaço de ativação tenham sido identificadas tanto para a recusa (mecanismos de segurança) quanto para traços de persona (características comportamentais) em modelos de chat ajustados por instrução, esses dois mecanismos têm sido historicamente estudados de forma isolada. A literatura existente estabelece que a recusa é mediada por uma única direção no fluxo residual, desenrolando-se em três estágios: detecção de nocividade no lado da entrada, agregação e expressão em camadas tardias. No entanto, o estágio final — onde a recusa é expressa como comportamento — permanece amplamente não examinado em relação à sua interação com a identidade do modelo.

Este artigo investiga se a recusa opera como um mecanismo de segurança autossuficiente ou se é dependente da persona do modelo. Especificamente, questiona se uma persona de modelo complacente pode filtrar (suprimir) a expressão da recusa, mesmo quando o sinal de recusa é computado.

Metodologia

Os autores conduziram experimentos em dois modelos ajustados por instrução: Qwen2.5-7B-Instruct e Llama-3.1-8B-Instruct. A metodologia envolveu a extração de direções lineares e a realização de intervenções causais no fluxo residual.

1. Extração de Direção

• Direção Modelo-Persona ($v_{MP}$): Extraída usando prompts contrastivos para definir uma persona "complacente". A direção é a diferença média nas ativações do fluxo residual entre prompts de traço positivo (complacente) e negativo em uma camada e posição de token fixas.
• Direção de Recusa ($\hat{r}$): Extraída seguindo métodos estabelecidos (Arditi et al., 2024) usando adição de recusa positiva e ablação.
• Direções de Controle: Um "eixo de assistente" ($v_A$) foi extraído para distinguir a persona padrão da persona complacente, e uma direção unitária aleatória ($v_{rand}$) serviu como linha de base.

2. Intervenções

O estudo empregou três tipos primários de intervenção:

• Direcionamento (Steering): Direcionamento aditivo ($h_\ell \leftarrow h_\ell + \alpha v$) para induzir persona complacente ou recusa.
• Experimentos de Tensão: Adição simultânea da direção da persona complacente e da direção de recusa no mesmo passo de propagação direta (forward pass) para testar se são um único mecanismo ou mecanismos que interagem.
• Nocaute (Projeção): Projetar para fora a direção da persona ($h_\ell \leftarrow h_\ell - \langle h_\ell, \hat{v}_{MP} \rangle \hat{v}_{MP}$) em camadas específicas para ver se a recusa é restaurada. Isso foi comparado contra a projeção de uma direção aleatória.

3. Métricas de Avaliação

• Benchmark de Segurança: O conjunto de prompts proibidos StrongREJECT com 313 prompts.
• Tri-Classificação: Para evitar a confusão entre conformidade genuína e modos de falha, as respostas foram classificadas em três categorias: Recusa, Bypass (conteúdo nocivo sem recusa) e Degeneração (saídas incoerentes ou com vazamento parcial).
• Métricas Adicionais: Taxa de Sucesso de Ataque (ASR) do StrongREJECT, taxa de insegurança do Llama-Guard-3 e uma pontuação de vazamento para informações nocivas parciais.
• Assinaturas Comportamentais: O GPT-4o pontuou as respostas em hostilidade, sintonia emocional e coerência para verificar se as direções de persona codificam uma estrutura comportamental genuína em vez de ruído.

Principais Resultados

1. Independência Geométrica

A análise de similaridade de cosseno na camada de direcionamento (Camada 20) revelou que a direção da persona complacente e a direção de recusa são aproximadamente ortogonais (cosseno $\approx -0,18$ a $-0,28$), não antiparalelas. Isso confirma que a supressão da recusa mediada pela persona não é o resultado de um cancelamento direto no espaço de ativação, mas uma interação distinta. Ambas as direções também são distintas do eixo do assistente padrão.

2. Filtragem da Recusa pela Persona

• Supressão: A aplicação do direcionamento de persona complacente reduziu drasticamente as taxas de recusa. No Llama-3.1-8B, a taxa de recusa caiu de 97,4% (linha de base) para 1,6%.
• Natureza da Supressão: A supressão não resultou simplesmente em conclusões nocivas; ela aumentou os bypasses (42,2%) e as degenerações (56,2%), indicando um modo de falha complexo em vez de um simples bypass de segurança.
• Restauração via Nocaute: Projetar para fora a direção da persona em camadas tardias (especificamente a Camada 20 no Llama) restaurou a taxa de recusa para 96,8%, aproximando-se da linha de base. Projetar uma direção aleatória na mesma camada não teve efeito (a recusa permaneceu em 1,6%).
• Sensibilidade de Camada: O efeito é localizado em uma janela de camadas tardias (L20–L22). Nocautes em camadas anteriores (L18) ou posteriores (L24) falharam em restaurar totalmente a recusa.

3. Experimentos de Tensão

• Adição de Recusa Precoce vs. Tardia: Reintroduzir a direção de recusa em camadas iniciais (onde a recusa é computada) falhou em restaurar a recusa sob o direcionamento de persona complacente. No entanto, reintroduzi-la em camadas tardias (L22+) restaurou parcialmente a recusa.
• Conclusão: Isso indica que o sinal de recusa é computado com sucesso, mas é filtrado no estágio de expressão. A direção da persona atua como um interruptor que impede que o sinal de recusa seja lido para o comportamento.

Significância e Alegações

O artigo afirma que a recusa em modelos de chat não é um mecanismo de segurança autossuficiente, mas é filtrada por representações de nível de identidade no estágio de expressão de camadas tardias.

• Dependência Jusante (Downstream): Enquanto trabalhos anteriores (Lee et al., 2025) identificaram características de eixo de conteúdo a montante (upstream que determinam se a recusa é escrita, este trabalho identifica um filtro de persona de eixo de identidade a jusante (downstream) que determina se a recusa é expressa.
• Limitações da Avaliação de Métrica Única: Os autores argumentam que confiar apenas nas taxas de sucesso de ataque (ASR) obscurece a estrutura das falhas de segurança. Uma persona complacente não apenas converte recusas em saídas nocivas; ela gera altas taxas de saídas incoerentes (degeneradas) ou de bypass.
• Insight Mecanístico: A direção de recusa é delimitada por dois pontos de controle: uma computação impulsionada pelo conteúdo e um filtro impulsionado pela identidade. Análises que tratam a recusa como uma direção isolada perdem essa dependência crítica da persona.

O estudo conclui que o ajuste fino de segurança produz uma direção de recusa, mas a expressão dessa direção é contingente às representações de persona do modelo nas camadas tardias da rede.