Resumo Técnico: A Geometria da Recusa: Instabilidade Linear em LLMs Alinhados por Segurança

Declaração do Problema

Apesar da adoção generalizada de técnicas de alinhamento de segurança, como o Aprendizado por Reforço com Feedback Humano (RLHF), a base mecanística de como os Grandes Modelos de Linguagem (LLMs) recusam consultas prejudiciais permanece opaca. Uma questão fundamental em aberto é se a conformidade com a segurança representa uma compreensão semântica profunda do dano ou apenas um recurso linear superficial e manipulável. Os ataques adversários atuais frequentemente dependem de otimização computacionalmente dispendiosa (ex: GCG) ou busca iterativa, que podem falhar contra o treinamento de segurança moderno. Este trabalho investiga se a segurança é codificada como um recurso geométrico linear no espaço de ativação do modelo que pode ser contornado ou reforçado através de intervenção aritmética direta nos logits de saída.

Metodologia: Direcionamento de Logit Contrastivo (CLS)

Os autores introduzem o Direcionamento de Logit Contrastivo (CLS), um framework de otimização zero que opera diretamente na distribuição de saída do modelo (logits) em vez das ativações ocultas internas.

Mecanismo Central

1. Prompting Contrastivo: Para uma determinada consulta do usuário $q$, o modelo realiza três passagens progressivas (forward passes) paralelas usando prompts de sistema distintos:
   • Base ($s_{base}$): Uma instrução neutra (ex: "Você é um assistente prestativo").
   • Irrestrito ($s_{+}$): Uma instrução adversária que remove as salvaguardas de segurança.
   • Restrito ($s_{-}$): Uma instrução restritiva que impõe segurança extrema.
2. Isolamento de Vetor: Em cada etapa de decodificação $t$, o método calcula um Vetor de Direcionamento instantâneo $v_t$ subtraindo os logits do fluxo restrito do fluxo irrestrito:
   $$v_t = z^+_t - z^-_t$$
   Este vetor isola a "Direção de Recusa" — a direção geométrica específica no espaço de logits que codifica a distinção binária entre conformidade e recusa.
3. Intervenção de Logit: Os logits base do modelo são modulados pela adição do vetor de direcionamento escalonado:
   $$\tilde{z}_t = z^{base}_t + \alpha \cdot v_t$$
   • Jailbreaking ($\alpha > 0$): Injeta o comportamento "irrestrito", suprimindo tokens de segurança.
   • Endurecimento ($\alpha < 0$): Subtrai o comportamento irrestrito, induzindo artificialmente a segurança.
4. Injeção de Prefixo: Para contornar o reflexo de recusa inicial do modelo (onde os modelos costumam responder "Eu não posso" imediatamente), o método força os primeiros $k$ tokens para um prefixo afirmativo (ex: "Claro") antes de aplicar o vetor de direcionamento aos tokens subsequentes.

Mecanismo de Detecção

O framework também utiliza a separabilidade geométrica da recusa para detecção zero-shot. Ao calcular um Vetor de Recusa Global a partir da diferença nos estados ocultos da camada final entre consultas âncoras prejudiciais e benignas, o sistema pode classificar novas consultas com base na similaridade de cosseno, sem treinar um classificador separado.

Principais Contribuições

1. CLS como uma Sonda Diagnóstica: O artigo fornece um framework de direcionamento zero-shot ao nível de logit que oferece evidência mecanística de que a segurança em arquiteturas como Llama atua como um "envelope" raso em vez de uma restrição semântica profunda.
2. Topologia da Recusa: Através da análise de divergência KL ao longo da profundidade da rede, os autores identificam duas topologias de segurança distintas:
   • Modelos de "Decisão Tardia" (ex: Llama-3.1): Estes modelos processam consultas prejudiciais e benignas de forma idêntica em ~95% de suas camadas, divergindo apenas no cabeçalho de saída final. Isso os torna altamente vulneráveis ao direcionamento ao nível de logit.
   • Modelos de "Divergência Precoce" (ex: Qwen-2.5): Estes modelos integram a segurança no meio da computação (~40% de profundidade), tornando-os significativamente mais robustos ao direcionamento linear, pois o mecanismo de recusa está emaranhado com o raciocínio.
3. Baselines Empíricos: O trabalho fornece comparações diretas contra métodos estabelecidos de direcionamento ao nível de ativação (Arditi et al., 2024) e ataques baseados em otimização (GCG), demonstrando que a intervenção ao nível de logit expõe maior fragilidade de alinhamento.
4. Controle Bidirecional: O método permite tanto o ataque (jailbreaking) quanto a defesa (endurecimento de segurança) através de um único vetor. Inverter o vetor de direcionamento ($\alpha < 0$) mostrou-se capaz de "endurecer" os modelos contra jailbreaks e, contra-intuitivamente, melhorar a coerência da resposta ao reduzir a ambiguidade.

Resultados Experimentais

Os autores avaliaram o CLS em sete famílias de modelos (Gemma-3, Llama-3.1/3.2/3.3, Qwen-2.5) usando conjuntos de dados incluindo AdvBench, JailbreakBench e HarmBench.

• Taxa de Sucesso de Ataque (ASR) vs. GCG: No Llama-3.1-8B, o GCG alcançou apenas 5% de ASR após 100 passos de otimização, enquanto o CLS alcançou 95% de ASR em aproximadamente um segundo (uma aceleração de ~900x). No Qwen-2.5-7B, o CLS alcançou 90% de ASR comparado aos 45% do GCG.
• Comparação com Direcionamento de Ativação: Quando comparado ao método de Arditi et al. (2024), o CLS alcançou um ASR substancialmente maior no Llama 2 (73% vs. 22,6%) e no Qwen 7B (91% vs. 79,2%). Os autores atribuem a maior lacuna no Llama à topologia de "Decisão Tardia", onde o sinal de recusa está concentrado na camada de saída, tornando a intervenção ao nível de logit mais eficaz do que a ablação do estado oculto.
• Endurecimento de Segurança: O direcionamento negativo ($\alpha = -1.0$) reduziu as taxas de sucesso de ataque para dígitos únicos (ex: o Llama-3.3-70B caiu de 68,8% para 9,4% de ASR).
• Detecção Zero-Shot: Usando o Vetor de Recusa Global, o método alcançou um F1 score de 0,92 no JailbreakBench para distinguir prompts maliciosos de benignos sem treinar um modelo separado.

Significância e Alegações

O artigo argumenta que as técnicas de alinhamento atuais criam um "eixo de segurança" direcionável que serve tanto como uma vulnerabilidade crítica quanto como um primitivo preciso para defesa.

• Insight Mecanístico: As descobertas sugerem que, para muitos modelos, o RLHF não "desaprende" o conhecimento prejudicial, mas aplica um recurso de supressão linear na camada de saída. O "Vetor de Recusa" captura não apenas a conformidade de segurança, mas também hesitação e ambiguidade; removê-lo pode, paradoxalmente, melhorar a coerência.
• Determinismo Arquitetural: A disparidade de vulnerabilidade entre o Llama (Decisão Tardia) e o Qwen (Divergência Precoce) implica que a profundidade da integração de segurança é um fator determinante de direcionabilidade, provavelmente moldado tanto pela arquitetura quanto pelas intervenções de treinamento.
• Implicação de Defesa: Os autores afirmam que, enquanto a segurança for implementada como um subespaço linear separável, ela permanecerá vulnerável à intervenção geométrica. Eles propõem que futuros paradigmas de alinhamento devem emaranhar a segurança com a capacidade geral para tornar a recusa uma propriedade semântica profunda, em vez de um recurso de superfície removível.

O trabalho conclui que o CLS fornece um primitivo de tempo real para auditar capacidades suprimidas e endurecer modelos dinamicamente, destacando a fragilidade das implementações de segurança atuais.