Resumo Técnico: Navegação Além do Suporte

Declaração do Problema

Os métodos atuais de navegação de segurança para Modelos de Linguagem de Grande Escala (LLMs) dependem fortemente de treinamento supervisionado usando conjuntos de dados estáticos e limitados de prompts de jailbreak conhecidos. Embora esses métodos aprendam a navegar as ativações em direção a regiões de "recusa" para exemplos de treinamento específicos, eles sofrem de uma falha fundamental de generalização: desempenham-se mal em ataques de jailbreak não vistos e fora da distribuição (OOD). As abordagens existentes ou aplicam uma intervenção global de baixa capacidade que degrada a utilidade benigna ou aprendem intervenções condicionais que não generalizam além de seu estreito suporte de treinamento. O desafio central é como treinar um mecanismo de navegação de segurança que generalize maximamente além do suporte de treinamento estático e limitado, sem exigir dados rotulados exaustivos de jailbreak.

Metodologia

O artigo propõe uma estrutura de treinamento adversarial de dois níveis que aproveita a descoberta de direção latente não supervisionada para simular ativações diversas de jailbreak, expandindo assim o suporte de treinamento para o campo de navegação.

1. Simulação de Ativação de Jailbreak Não Supervisionada (Etapa Interna)

Em vez de coletar novos dados rotulados de jailbreak, o método descobre direções latentes que podem transformar ativações no "estado de recusa" (de solicitações diretas prejudiciais) em ativações "jailbreakadas" (respostas prejudiciais e conformes).

• Descoberta de Direção Latente: Usando um objetivo não supervisionado, o modelo aprende um conjunto de vetores de navegação $V$ injetados em uma camada inicial $s$. Esses vetores são otimizados para induzir deslocamentos semânticos consistentes e grandes em uma camada alvo $t$ em todo um conjunto de dados de prompts, descobrindo efetivamente intervenções causais que alteram o comportamento do modelo.
• Extrapolação: Essas direções descobertas são aplicadas a ativações no estado de recusa ($h_r$) com uma magnitude calibrada $R$ para gerar ativações adversárias simuladas de jailbreak ($h_{adv} = h_r + R \cdot v$). Esse processo extrapola o suporte de treinamento para regiões do espaço de ativação que correspondem plausivelmente a jailbreaks não vistos.

2. Navegação Aprendível via Funções Potenciais

O artigo avança além de vetores de navegação lineares fixos para um campo de navegação variável espacialmente e aprendível.

• Perspectiva de Transporte Ótimo (OT): O mecanismo de navegação é modelado como o transporte da distribuição de ativações jailbreakadas em direção à distribuição de ativações de recusa com deslocamento mínimo.
• Função Potencial: Uma função potencial escalar $f_\phi$ (parametrizada por uma pequena MLP) é aprendida. Seu gradiente $\nabla f_\phi$ define um campo vetorial que guia as ativações.
• Navegação no Tempo de Teste: Na inferência, uma ativação $h$ é navegada realizando iterativamente passos de ascensão de gradiente ao longo desse campo: $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$.

3. Treinamento Adversarial de Dois Níveis (Etapa Externa)

A função potencial é treinada para satisfazer três desiderata específicos:

1. Navegabilidade Geral: O campo deve transportar ativações não de recusa (incluindo jailbreaks simulados) em direção à região de recusa. Isso é alcançado maximizando a lacuna de potencial entre as distribuições de recusa e não recusa usando o dual de Kantorovich-Rubinstein da distância Wasserstein-1.
2. Navegabilidade Zero Benigna: O campo deve permanecer próximo à identidade (gradiente zero) para ativações benignas, preservando a utilidade. Isso é imposto penalizando a norma do gradiente em entradas benignas.
3. Navegabilidade Forte Jailbreakada: O campo deve induzir transporte forte para ativações jailbreakadas.

O treinamento alterna entre:

• Etapa Interna: Otimização adversarial das direções latentes $V$ para gerar jailbreaks simulados "difíceis" que são atualmente difíceis de navegar (maximizando a perda na função potencial atual).
• Etapa Externa: Atualização dos parâmetros da potencial $\phi$ para minimizar a perda nesses jailbreaks simulados difíceis, mantendo as restrições de navegabilidade benigna e geral.

Contribuições Principais

1. Identificação de uma Limitação Crítica: Os autores identificam que a navegação de segurança supervisionada falha em generalizar para jailbreaks não vistos porque está vinculada a uma distribuição de treinamento estática, deixando grandes regiões do espaço de ativação de jailbreak indefinidas.
2. Estrutura Adversarial de Dois Níveis: Um novo loop de treinamento que usa descoberta de direção latente não supervisionada para sintetizar ativações adversárias de jailbreak diversas. Esses estados simulados servem como sinais de treinamento para expandir progressivamente a cobertura efetiva do campo de navegação.
3. Navegação Baseada em Potencial: A introdução de um potencial escalar aprendível (via dualidade de Transporte Ótimo) que fornece um campo de navegação variável espacialmente e de alta capacidade, substituindo intervenções lineares rígidas.

Resultados Experimentais

O método foi avaliado em três LLMs (LLaMA-3-8B, Mistral-v2-7B, Qwen-2.5-7B) e seis famílias clássicas de jailbreak (GCG, AutoDAN, GPTFuzz, PAIR, TAP, FewShot).

• Robustez: O método proposto alcançou forte desempenho de defesa, com Taxas de Sucesso de Ataque (ASR) geralmente abaixo de 5% em todos os modelos e famílias de ataque. Superou ou igualou as bases supervisionadas (como AlphaSteer) e métodos de engenharia de representação (como Circuit-Breaker) em ataques não vistos.
• Preservação de Utilidade: Diferentemente de bases agressivas que causaram altas taxas de super-recusa em casos limítrofes benignos, o método proposto manteve altas pontuações de utilidade em benchmarks de raciocínio, conhecimento e matemática (ARC-C, TruthfulQA, GSM8K), mantendo a Taxa de Falso Positivo (super-recusa) relativamente baixa.
• Insight Mecanístico: A análise mostrou que, à medida que o treinamento progredia, as ativações de jailbreak simuladas expandiam-se para cobrir os subespaços de ataques reais de jailbreak. Essa "cobertura crescente de subespaço" correlacionou-se diretamente com a melhoria da robustez da defesa, validando a hipótese de que expandir o suporte de treinamento via simulação é o principal motor da generalização.

Significado e Alegações

O artigo afirma abordar um problema amplamente negligenciado na segurança de LLMs: a incapacidade dos métodos atuais de navegação de generalizar além de seu suporte de treinamento. Ao mudar do aprendizado supervisionado em jailbreaks estáticos para um paradigma de simulação adversarial não supervisionada, o método permite que a navegação de segurança se adapte a ameaças em evolução e não vistas.

Os autores enfatizam que sua abordagem não exige o retreinamento de todo o modelo ou a coleta de conjuntos de dados exaustivos de jailbreak. Em vez disso, aprende um campo de navegação robusto e variável espacialmente que pode redirecionar estados internos prejudiciais para comportamentos de recusa, preservando a utilidade benigna. O trabalho sugere que a chave para uma defesa robusta reside na capacidade de sintetizar e aprender a partir de uma distribuição ampla e simulada de ativações de jailbreak, efetivamente "navegando além do suporte" dos dados de treinamento originais.

Limitações: Os autores observam que a estrutura depende da qualidade da descoberta de direção latente não supervisionada. Eles reconhecem que jailbreaks envolvendo linguagens não naturais (por exemplo, base64, cifras) podem corresponder a regiões de ativação fracamente acessíveis por intervenções latentes lineares, sugerindo um limite inerente à expressividade do mecanismo de simulação.