Resumo Técnico: Recusa Antes da Decodificação

Declaração do Problema

O artigo aborda a opacidade dos mecanismos de recusa de Modelos de Linguagem de Grande Escala (LLMs). Técnicas atuais de alinhamento, como Aprendizado por Reforço com Feedback Humano (RLHF) e Ajuste Fino Supervisionado (SFT), treinam efetivamente os modelos a recusar solicitações prejudiciais, mas oferecem insights limitados sobre como a recusa é representada internamente. Essa falta de transparência prejudica a capacidade de auditar, depurar ou controlar o comportamento de recusa, contribuindo para um ciclo adversarial onde ataques de jailbreak contornam o alinhamento sem uma compreensão principista dos mecanismos subjacentes.

A questão central de pesquisa é se informações relevantes para a recusa estão codificadas nas ativações intermediárias de um LLM (especificamente no fluxo residual) antes que o modelo gere seu token de saída final, e se essa informação não é apenas decodificável, mas também acionável para orientar a otimização de prompts adversariais.

Metodologia

Os autores propõem um framework para detectar e explorar sinais de recusa usando sondas lineares e um algoritmo genético modificado.

1. Detecção via Sondagem Linear

Os autores hipotetizam que a recusa é um conceito linearmente decodificável a partir das ativações intermediárias do fluxo residual.

• Construção de Dados: Um conjunto de dados binário de prompts rotulados como "recusáveis" ou "conformes" é criado. Para mitigar viés de estilo, é utilizada augmentação contrafactual, onde um LLM externo reescreve prompts para corresponder ao estilo da classe oposta.
• Treinamento da Sonda: Para cada bloco do transformador $l$, um classificador linear (Regressão Logística) e um Perceptron Multicamadas (MLP) superficial são treinados nas ativações do fluxo residual do token final do prompt ($h^{(l)}_T$). O objetivo é prever o rótulo de recusa $c_r(x)$.
• Objetivo: Determinar em qual camada a informação de recusa se torna linearmente separável e se esse sinal existe bem antes da camada final.

2. Mechanistic AutoDAN

Para testar se o sinal detectado é acionável, os autores introduzem o Mechanistic AutoDAN, uma variante guiada por sonda do ataque de jailbreak AutoDAN.

• AutoDAN Padrão: Utiliza um algoritmo genético para evoluir uma população de prompts. A aptidão é avaliada executando a passagem completa do modelo para frente (forward pass) e medindo a verossimilhança logarítmica de uma resposta afirmativa alvo (por exemplo, "Claro, aqui está como...").
• Mechanistic AutoDAN: Substitui a avaliação de aptidão do modelo completo por uma passagem parcial para frente.
  • Candidatos são passados apenas pelas primeiras $N$ camadas do modelo.
  • A ativação residual na camada $N$ é alimentada na sonda treinada.
  • Pontuação de Aptidão: Definida como $F^{(l)}(x_i) = -P(c_r(x_i) = 1 | h^{(l)}(x_i))$. Prompts previstos como tendo uma menor probabilidade de recusa recebem uma pontuação de aptidão mais alta.
  • O algoritmo genético otimiza prompts para maximizar essa pontuação baseada em sonda, evitando o custo computacional de passagens completas para frente durante o loop de busca.

3. Configuração Experimental

• Modelos: Avaliados em Llama-3.2-3B-Instruct, Qwen3Guard-Gen-4B e Qwen-3.6-27B.
• Métricas: Taxa de Sucesso do Ataque (ASR) e tempo médio de busca por iteração.
• Ablações:
  • Direção Oposta: Otimização para prompts previstos para aumentar a recusa para testar se o sinal da sonda direciona genuinamente a busca ou se o sucesso é impulsionado por substituição de sinônimos.
  • Transferibilidade: Testar se prompts otimizados em um modelo fonte de caixa branca transferem-se efetivamente para modelos alvo de caixa preta.

Resultados Principais

1. A Recusa é Decodificável Antes da Decodificação

Sondas lineares alcançam alta precisão (frequentemente >99%) na previsão do comportamento de recusa a partir de ativações intermediárias, bem antes da camada final.

• Llama-3B: Melhor precisão no Bloco 10/11.
• Qwen-4B: Melhor precisão no Bloco 17.
• Qwen-27B: Melhor precisão no Bloco 29/32.
  Isso confirma que a recusa não é meramente um fenômeno de nível de saída, mas é representada como um sinal estruturado em camadas intermediárias.

2. Eficiência e Sucesso do Ataque

O Mechanistic AutoDAN alcança Taxas de Sucesso do Ataque (ASR) competitivas em comparação com o AutoDAN padrão, enquanto reduz significativamente o tempo de busca.

• Modelos Pequenos (3B/4B): Ataques guiados por sonda igualam ou superam o ASR do AutoDAN padrão (por exemplo, 1,00 vs 1,00 no Llama-3B) enquanto reduzem o tempo de busca em aproximadamente 50% (por exemplo, 0,36s vs 0,69s por iteração).
• Modelos Grandes (27B): Sondas de camadas iniciais (Bloco 1) falham em orientar a busca efetivamente (ASR ~0,32). No entanto, sondas intermediárias (Bloco 10) recuperam a maior parte do desempenho (ASR ~0,79–0,82 vs 0,89) enquanto reduzem o tempo de busca em 60–72%.

3. Transferibilidade

Prompts otimizados usando orientação de sonda em um modelo fonte transferem-se para modelos alvo. Em várias configurações, o Mechanistic AutoDAN iguala ou excede a transferibilidade entre modelos do AutoDAN padrão, particularmente ao usar ativações intermediárias (por exemplo, Bloco 10) em vez das camadas mais antigas ou mais recentes.

4. Escala e Saturação da Busca

Uma descoberta crítica é a relação entre a escala do modelo e a utilidade da sonda:

• Modelos Pequenos: O espaço de busca parece "saturado". Mesmo com otimização "oposta" (orientando para a recusa), o ASR permanece alto, sugerindo que a substituição de sinônimos e o procedimento de busca genética impulsionam o sucesso mais do que o sinal da sonda.
• Modelos Grandes: O problema de busca é menos saturado. Aqui, o sinal da sonda torna-se um guia significativo; sondas iniciais falham, mas sondas intermediárias direcionam com sucesso a busca, demonstrando que o sinal de recusa torna-se operacionalmente útil à medida que a robustez do modelo aumenta.

Significado e Afirmações

O artigo afirma que o comportamento de recusa em LLMs é codificado como um sinal estruturado e acionável em ativações intermediárias, não apenas observável no nível de saída.

• Valor Diagnóstico: A recusa pode ser prevista linearmente a partir de fluxos residuais bem antes da etapa final de decodificação.
• Valor Acionável: Esse sinal pode ser explorado para orientar a busca discreta de prompts (jailbreaking) de forma mais eficiente do que a avaliação do modelo completo.
• Efeito de Escala: A utilidade dos sinais intermediários de recusa para busca adversarial aumenta com a escala do modelo. Em modelos maiores e mais robustos, a sonda fornece um guia necessário que está ausente em modelos menores, onde a busca é facilmente saturada por perturbações aleatórias.

Os autores concluem que essas descobertas destacam a natureza de uso duplo da interpretabilidade mecânica: entender sinais internos de recusa pode acelerar ataques, mas também oferece um caminho para detecção mais eficiente e estratégias de alinhamento defensivo. O trabalho não afirma resolver o problema do jailbreak, mas demonstra que representações internas contêm informações acionáveis sobre comportamentos de segurança.