Resumo Técnico: Logit-Gap Steering

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) alinhados via Aprendizado por Reforço a partir de Feedback Humano (RLHF) são treinados para recusar solicitações inseguras. No entanto, esse alinhamento frequentemente cria apenas uma estreita "margem operacional" entre a recusa e a conformidade. Trabalhos anteriores sugerem que a adição de sufixos curtos e fora da distribuição aos prompts tóxicos pode inverter um modelo de recusa para conformidade ao fechar essa margem.

O problema central abordado é a falta de um diagnóstico quantitativo escalável para medir essa margem de recusa do primeiro token (a decisão no nível de logit no primeiro passo de decodificação) e para sondar sua robustez. Métodos existentes para descobrir sufixos de jailbreak eficazes, como o Gradiente de Coordenada Baseado em Gradiente (GCG), dependem de otimização baseada em gradiente sobre grandes espaços de tokens fora da distribuição. Esses métodos são computacionalmente caros (por exemplo, ~5 horas em uma única A100 para 50 prompts) e produzem sufixos com alta perplexidade que são facilmente detectados por defesas baseadas em perplexidade.

Metodologia: Logit-Gap Steering

Os autores introduzem o Logit-Gap Steering, um método de diagnóstico sem gradiente, apenas com passagem direta (forward-pass), projetado para medir e fechar a lacuna de logits entre recusa e afirmação usando tokens dentro da distribuição.

1. A Lacuna de Logits entre Recusa e Afirmação

A métrica central é definida como a diferença entre o logit do token de recusa mais alto e o logit do token de afirmação mais alto no primeiro passo de decodificação ($h_0$) após um prompt prejudicial:
$$\Delta_0 = \ell_{\text{recusa}}(h_0) - \ell_{\text{afirmação}}(h_0)$$
O artigo postula que o alinhamento amplia essa lacuna na vasta maioria dos prompts tóxicos em comparação com modelos base. Um jailbreak tem sucesso se um sufixo $S$ reduzir a lacuna cumulativa a zero ou abaixo.

2. Função de Pontuação (Proxy de Fechamento de Lacuna)

Para evitar o cálculo de gradiente, o método aproxima a redução da lacuna de um token candidato $t$ usando uma função de pontuação $F(h, t)$ derivada de uma única passagem direta. Essa pontuação combina três proxies:

• Redução da Lacuna de Logits: A mudança imediata na diferença de logits.
• Proxy de Penalidade KL: Aproxima o desvio do modelo base comparando o logit de recusa a um token neutro de alta probabilidade.
• Proxy de Deslocamento de Recompensa: Usa o logit incremental de afirmação como proxy para a preferência do modelo de recompensa aprendido.

A pontuação combinada é:
$$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$$

3. Algoritmo de Busca

O método emprega um algoritmo de Cobertura Gananciosa:

1. Filtragem de Candidatos: O vocabulário é filtrado para reter apenas tokens dentro da distribuição (alta probabilidade dado o prompt) que não são tokens de recusa.
2. Pontuação: Cada candidato é pontuado usando $F(h, t)$.
3. Seleção: Os tokens são selecionados gananciosamente em ordem decrescente de pontuação até que a pontuação cumulativa exceda a lacuna inicial $\Delta_0$.
4. Variantes: Para superar o miopia de token único e artefatos fora da distribuição, os autores introduzem:
   • Colheita de Frases DFS: Busca em profundidade (Depth-first search) para colheita de frases afirmativas gramaticais.
   • Busca em Nível de Constituinte: Avaliação de sequências de múltiplos tokens como unidades atômicas.
   • Seleção de Permutação: Busca sobre permutações dos principais candidatos para otimizar o equilíbrio recompensa-KL, minimização direta da lacuna ou pontuações combinadas.

4. Eficiência

Todo o processo requer apenas passagens diretas. Descobrir um conjunto de 8 sufixos para uma família de modelos leva aproximadamente 26.000 equivalentes de passagem direta (aprox. 2 minutos em uma A100), o que é cerca de 125× menos computação do que uma única busca GCG.

Principais Contribuições

1. Diagnóstico de Alinhamento: A definição da lacuna de logits entre recusa e afirmação como uma medida quantitativa da margem operacional de recusa do primeiro token. Os autores demonstram que o fechamento mediano da lacuna co-varia com a Taxa de Sucesso de Ataque Real (ASR) entre diferentes estratégias, servindo como um verificador de consistência interna.
2. Método de Sondagem Eficiente: Um método sem gradiente que descobre sufixos eficazes e dentro da distribuição (<10 tokens por componente) com custo computacional significativamente menor do que o GCG.
3. Transferência Cross-Escala: Sufixos descobertos em modelos pequenos (0,5B–2B parâmetros) transferem-se sem modificação para modelos muito maiores (até 72B) dentro da mesma família.
4. Discretização: Os sufixos descobertos possuem valores de perplexidade $10^3$–$10^4$ vezes menores do que os sufixos do GCG. Consequentemente, eles permanecem eficazes contra defesas de filtro de perplexidade que bloqueiam com sucesso o GCG.

Resultados Experimentais

O método foi avaliado em 13 modelos de três famílias (Llama, Gemma, Qwen) usando AdvBench e HarmBench.

• Taxa de Sucesso de Ataque (ASR): Um conjunto de 8 sufixos alcançou 38–96% de ASR Real entre os 13 modelos. Em modelos fortemente alinhados (por exemplo, Qwen2.5-72B), o conjunto superou o GCG+SH em 8–18× (37,9% vs. 4,6%).
• Eficiência: O método é aproximadamente 125× mais rápido que o GCG para descoberta de sufixos universais e 17× mais rápido que uma linha de base GCG de 8 exemplos (8-shot).
• Evasão de Defesa:
  • Filtros de Perplexidade: Sob uma defesa de filtro de perplexidade ($T=1000$), o GCG+SH colapsou de 64,7% para 1,0% de ASR Real, enquanto o conjunto descoberto caiu apenas ligeiramente de 76,9% para 76,0%.
  • Filtros Semânticos: O Llama Guard 3 (LG3) reduziu significativamente todos os métodos, mas o conjunto descoberto manteve uma vantagem de 2–3× no geral e de 8–16× em alvos fortemente alinhados em comparação com o GCG.
• Dinâmicas Internas: A análise revelou "penhascos de recompensa de limite de sentença", onde penalidades de segurança aumentam abruptamente na pontuação. Sufixos bem-sucedidos concentram o poder de fechamento da lacuna dentro de uma única cláusula corrida para evitar esses penhascos.

Significado e Alegações

O artigo afirma que as margens de alinhamento atuais, embora consistentemente presentes, são frequentemente finas e eficientemente mensuráveis. A contribuição principal não é uma nova classe de dano (já que os sufixos visam modelos já vulneráveis ao GCG), mas sim um framework de diagnóstico quantitativo e uma sonda computacionalmente eficiente para avaliação de segurança.

Os autores argumentam que:

1. As defesas devem evoluir: As defesas de filtro de perplexidade publicadas são insuficientes contra sufixos dentro da distribuição que imitam texto de estilo de instrução benigno.
2. Defesa em camadas é necessária: Como diferentes defesas (perplexidade vs. semântica) capturam diferentes estilos de ataque, é necessária uma combinação de filtragem de entrada e classificação semântica de saída.
3. Artefatos de alinhamento: O método expõe artefatos específicos de alinhamento, como penhascos de recompensa de limite de sentença, oferecendo uma sonda leve sobre como o ajuste de segurança remodela as representações internas.

O trabalho adere à divulgação responsável, compartilhando os sufixos descobertos com as equipes de segurança dos principais provedores de modelos (Meta, Alibaba, Google, Mistral, OpenAI) 30 dias antes do lançamento e restringindo o acesso aos artefatos mediante uma política de uso aceitável.