Resumo Técnico: Ataques no Espaço Latente para Evasão de Recusa em Modelos de Linguagem

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) alinhados à segurança são treinados para recusar solicitações prejudiciais. No entanto, a literatura recente demonstra que esse comportamento de recusa pode ser suprimido ao direcionar representações internas do modelo. Métodos existentes, como os de Arditi et al. [5], alcançam isso ao "ablação" uma direção específica de recusa (calculada como a diferença de médias, ou DiM, entre ativações prejudiciais e inofensivas) do fluxo residual do modelo. Embora empiricamente bem-sucedidos, esses métodos carecem de uma conta teórica principial da transformação no espaço latente que induzem. Especificamente, permanece incerto por que a ablação é a intervenção ótima, se é suficiente para suprimir a recusa e como pode ser sistematicamente melhorada. O problema central abordado é a falta de um quadro rigoroso que explique os mecanismos de supressão de recusa e as limitações das abordagens atuais baseadas em ablação.

Metodologia

Os autores reencenam o problema da supressão de recusa como um ataque de evasão no espaço latente contra sondas lineares treinadas para separar prompts recusados (prejudiciais) de prompts respondidos (inofensivos).

Reencenação Teórica

1. Oráculo Surrogado: Os autores substituem o oráculo de recusa intratável e caixa-preta (por exemplo, um LLM como juiz) por uma função surrogada tratável $\phi$. Este surrogado é um conjunto de sondas lineares por camada (especificamente SVMs lineares) treinadas em ativações de tokens pós-instrução para prever recusa.
2. Reinterpretação do Trabalho Anterior: Sob este quadro, a ablação DiM padrão é identificada como um ataque de evasão de confiança mínima. A direção DiM corresponde ao vetor de pesos de uma sonda linear, e a ablação (projetando ativações no hiperplano ortogonal à DiM) é matematicamente equivalente a projetar ativações exatamente na fronteira de decisão da sonda. Esta é a perturbação mais fraca possível que inverte uma decisão linear (análogo ao ataque DeepFool [9]).
3. Limitação Identificada: Como a evasão de confiança mínima para exatamente na fronteira de decisão, ela deixa o modelo em um estado de máxima incerteza. Os autores argumentam que, para suprimir robustamente a recusa, as representações devem ser empurradas além da fronteira para a região de conformidade com uma margem de confiança explícita.

Solução Proposta: Evasão Controlada no Espaço Latente (CLE)

Os autores propõem a Evasão Controlada no Espaço Latente (CLE), um mecanismo que perturba ativações para evadir sondas lineares com uma margem de confiança otimizada. A intervenção é parametrizada por:

• Seleção de Camada ($\lambda_l$): Uma máscara binária determinando quais camadas são ativamente direcionadas.
• Margem ($m_l$): Um escalar não negativo controlando quão longe além da fronteira de decisão a ativação é projetada.

O tamanho do passo para a perturbação é definido como $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$, onde $\phi_l$ é o logit da sonda. Esta formulação permite que o ataque mova ativações mais profundamente no semiespaço de conformidade, em vez de apenas tocar a fronteira.

A CLE é instanciada em duas variantes:

1. CLE-P (Projetiva): Reprojeta cada ativação de token durante a geração em um hiperplano deslocado definido pela margem $m_l$. Isso generaliza métodos de ablação anteriores, mas impõe uma confiança alvo.
2. CLE-A (Aditiva): Calcula a perturbação uma vez no token pós-instrução e a adiciona uniformemente a todas as ativações de tokens subsequentes. Isso testa se a reprojeção contínua é necessária.

Otimização

As janelas de camada ótimas ($\lambda_l$) e margens ($m_l$) são selecionadas via Otimização Bayesiana (BO) em um conjunto de validação retido. A busca BO minimiza a taxa de recusa esperada (maximizando o sucesso do ataque) encontrando a configuração que melhor evade o conjunto de sondas.

Contribuições Principais

1. Reenquadramento Teórico: O artigo fornece um reenquadramento principial da supressão de recusa como um ataque de evasão no espaço latente, demonstrando que métodos de ablação anteriores são equivalentes a ataques de confiança mínima que param na fronteira de decisão.
2. Quadro de Evasão Controlada: Os autores introduzem a CLE, que otimiza explicitamente para uma margem de confiança, empurrando representações mais para dentro da região de conformidade.
3. Análise Aditiva vs. Projetiva: O trabalho introduz e avalia a CLE-A, mostrando que uma única perturbação aditiva calculada no token pós-instrução é suficiente para sustentar a evasão durante toda a geração, frequentemente superando a reprojeção por token (CLE-P).
4. Validação Empírica: Os métodos são avaliados em 15 modelos diversos, incluindo arquiteturas instruídas, de raciocínio e multimodais.

Resultados

Os autores relatam taxas de sucesso de ataque (ASR) state-of-the-art em todos os modelos testados:

• Desempenho: A CLE-A alcança uma ASR média de 87,29% em 15 modelos, superando significativamente as linhas de base de ablação de recusa existentes (DiM, RDO, PS, MD) e ataques de jailbreak em nível de prompt (GCG, SAA).
  • No LLaMA2-7B, a CLE-A eleva a ASR de 1,80% (DiM) para 94,96%.
  • No Mistral-7B-RR (um modelo com defesas de Roteamento de Representação), a CLE-A alcança 83,02% de ASR, comparado a 8,80% para DiM.
• Insights Mecanísticos:
  • Controle de Confiança: O sucesso do ataque correlaciona-se monotonicamente com a margem de confiança de conformidade; margem zero (projeção na fronteira) produz sucesso próximo de zero, enquanto margens maiores produzem alto sucesso.
  • Seleção de Camada: A otimização bayesiana seleciona consistentemente camadas intermediárias (por exemplo, camadas 9–30 no Phi-4-15B) para intervenção, evitando camadas iniciais onde as distribuições prejudiciais/inofensivas se sobrepõem e camadas tardias onde a trajetória já está determinada.
  • Eficiência Aditiva: A CLE-A demonstra que a reprojeção contínua é subótima; uma única perturbação fixa sustenta a trajetória de conformidade de forma eficaz.
• Coerência do Modelo: Estudos de ablação nos benchmarks MMLU, ARC e TruthfulQA indicam que as intervenções CLE suprimem a recusa sem degradar substancialmente as capacidades gerais do modelo ou a coerência.

Significado e Alegações

O artigo afirma que seu significado principal reside em fornecer uma conta principial de por que a supressão de recusa funciona e como pode ser melhorada. Ao identificar a limitação da ablação de "confiança mínima", os autores motivam a necessidade de evasão de "confiança controlada".

Os autores posicionam este trabalho como um estudo de uso duplo:

• Valor Defensivo: Ele esclarece a vulnerabilidade dos mecanismos de alinhamento atuais à separabilidade linear no espaço latente, motivando o desenvolvimento de mecanismos de segurança que dependam menos de recursos lineares de recusa (por exemplo, distribuindo representações de recusa através de variedades não triviais).
• Capacidade Ofensiva: Demonstra que os alinhamentos de segurança existentes podem ser contornados de forma mais eficaz do que se pensava anteriormente, simplesmente empurrando representações mais para dentro da região de conformidade com margens otimizadas.

O artigo conclui que, embora a abordagem atual dependa da separabilidade linear de recusa e conformidade (o que se mantém nos modelos testados), procedimentos de alinhamento futuros poderiam mitigar tais ataques desencorajando ativamente essa separabilidade linear. Os autores não afirmam ter quebrado todos os mecanismos de segurança, mas sim ter exposto uma fraqueza específica e sistemática na forma como a recusa é representada e intervencionada nos LLMs atuais.