Resumo Técnico: HARC – Acoplamento de Direções de Malignidade e Recusa para Alinhamento de Segurança Robusto

1. Declaração do Problema

Apesar dos esforços de alinhamento, os grandes modelos de linguagem (LLMs) permanecem vulneráveis a ataques de jailbreak adversariais (ex: sufixos adversariais, reescritas baseadas em persuasão, ofuscação). Embora trabalhos anteriores de interpretabilidade tenham estabelecido que LLMs alinhados codificam malignidade ($v_{harm}$) e recusa ($v_{ref}$) como direções lineares separáveis no fluxo residual em posições de tokens do lado do prompt, os mecanismos internos que explicam por que determinados jailbreaks têm sucesso permanecem obscuros. Além disso, as intervenções de segurança existentes frequentemente incorrem em um compromisso entre robustez, capacidade geral e recusa excessiva (recusar desnecessariamente solicitações benignas). O problema central abordado é a dissociação entre o reconhecimento de conteúdo malicioso pelo modelo e seu compromisso em recusar, algo que os atacantes exploram para contornar os filtros de segurança.

2. Metodologia

2.1 Análise de Representação Interna

Os autores estendem a análise anterior do lado do prompt para as posições de tokens de resposta (durante a geração). Eles extraem quatro vetores direcionais distintos:

1. Malignidade do lado do prompt ($v_{harm}$): Extraída no último token de instrução ($t_{inst}$).
2. Recusa do lado do prompt ($v_{ref}$): Extraída no token pós-instrução ($t_{post-inst}$).
3. Malignidade do lado da resposta ($v^{resp}_{harm}$): Extraída do pooling médio dos resíduos dos primeiros 32 tokens de resposta.
4. Recusa do lado da resposta ($v^{resp}_{ref}$): Extraída de forma semelhante dos tokens de resposta.

Principais Descobertas sobre Representação:

• Desacoplamento: Nas camadas tardias do modelo, $v_{harm}$ e $v_{ref}$ tornam-se quase ortogonais. Isso permite que o modelo ative um conceito sem o outro.
• Mecanismos de Ataque: Jailbreaks bem-sucedidos exploram esse desacoplamento ao suprimir direções específicas durante a codificação do prompt:
  • DAN (Enquadramento de Persona): Suprime $v_{ref}$ enquanto mantém $v_{harm}$ ativo.
  • PAIR (Reescrita Semântica): Suprime $v_{harm}$ (tornando-o negativo) enquanto mantém $v_{ref}$ ativo.
  • CodeAttack (Ofuscação): Suprime ambas as direções, agrupando-se com prompts benignos.
• Persistência do Reconhecimento: Crucialmente, mesmo quando a recusa no lado do prompt falha (ex: em ataques DAN ou PAIR), o modelo frequentemente reconhece novamente o conteúdo malicioso ($v^{resp}_{harm}$ ativa) durante a geração. No entanto, esse reconhecimento chega tarde demais para alterar a trajetória de geração, pois o sinal de recusa do lado do prompt já havia sido suprimido.

2.2 HARC: Acoplamento de Malignidade e Recusa

Motivados pela descoberta de que o reconhecimento de malignidade persiste mesmo quando a recusa é suprimida, os autores propõem o HARC, um método de ajuste fino usando Low-Rank Adaptation (LoRA).

Mecanismo Central:
O HARC acopla as direções de malignidade e recusa em ambos os posicionamentos de prompt e resposta. O objetivo é garantir que a ativação ao longo de qualquer uma das direções dispare confiavelmente a recusa, impedindo que ataques suprimam uma direção enquanto a outra permanece ativa.

Função de Perda:
A perda total ($L_{total}$) combina quatro termos:

1. Acoplamento do lado do prompt ($L^{prompt}_{couple}$): Uma perda de margem hinge sobre as projeções de cosseno de $v_{harm}$ e $v_{ref}$ na fronteira do prompt. Ela impõe que, em entradas maliciosas, ambas as direções devem ativar (projeção $\ge m$).
2. Acoplamento do lado da resposta ($L^{response}_{couple}$): Uma perda de margem hinge semelhante aplicada aos resíduos de pooling médio dos primeiros 32 tokens de resposta, acoplando $v^{resp}_{harm}$ e $v^{resp}_{ref}$.
3. Divergência KL ($L_{kl}$): Ancora o modelo ajustado via LoRA à distribuição base em entradas benignas para preservar a capacidade geral e evitar a recusa excessiva.
4. Entropia Cruzada ($L_{ce}$): Supervisiona o texto explícito de recusa em entradas maliciosas.

Dinâmica de Treinamento:

• Seleção de Camadas: O método visa as camadas onde a estrutura de quatro direções é mais clara (direções de prompt e resposta estão desacopladas, mas pares de mesmo conceito entre posições estão alinhados). Uma função de pontuação seleciona as top-$K$ camadas, aumentando $K$ de 2 para 4 durante os primeiros 1.000 passos.
• Recálculo de Direção: A cada 200 passos, os vetores direcionais são reextraídos do modelo atual adaptado via LoRA e misturados via Média Móvel Exponencial (EMA) para se adaptar à evolução da geometria residual.

3. Principais Contribuições

1. Descoberta de Representação do Lado da Resposta: O artigo demonstra que malignidade e recusa são conceitos distintos nas posições de tokens de resposta, não apenas nas posições de prompt. Mostra que os modelos reconhecem conteúdo malicioso durante a geração mesmo quando a recusa do lado do prompt foi contornada, revelando um sinal de segurança de "disparo tardio".
2. Análise Mecanística de Jailbreaks: Os autores caracterizam como distintas classes de ataque (DAN, PAIR, CodeAttack) ocupam regiões separáveis no plano malignidade-recusa ao suprimir direções específicas durante a codificação do prompt.
3. Método HARC: Um método de ajuste fino em nível de representação que acopla as direções de malignidade e recusa tanto nas posições de prompt quanto de resposta. Ao contrário de intervenções de segurança mais amplas, o HARC confina sua intervenção a um subespaço de duas dimensões, deixando o restante do fluxo residual intacto.

4. Resultados Experimentais

O método foi avaliado no LLAMA-3.1-8B/70B e QWEN-2.5-7B/72B contra seis baselines (SFT, DPO, Circuit Breakers, RepBend, CAST e Base).

• Robustez: O HARC reduz significativamente as Taxas de Sucesso de Ataque (ASR).
  • No LLAMA-3.1-8B, o HARC reduziu o ASR em 4,67× em comparação com o modelo base.
  • No QWEN-2.5-7B, reduziu o ASR em 4,75×.
  • Alcançou a maior robustez entre todos os baselines, incluindo a configuração "Ours+DPO", que obteve ASR próximo de zero em PAIR, PAP e DeepInception para o modelo 8B.
• Capacidade e Recusa Excessiva:
  • O HARC preserva a capacidade geral (MMLU, GSM8K, HumanEval, IFEval, MT-Bench) essencialmente inalterada em relação ao modelo base.
  • Minimiza a recusa excessiva (recusa de prompts benignos), alcançando taxas comparáveis ou inferiores às do modelo base (ex: 0,035 no XSTest para Llama-8B), superando métodos como o RepBend, que causou recusa excessiva massiva.
• Escalabilidade: O método transfere-se para modelos maiores (70B/72B) sem necessidade de ajuste específico da arquitetura, mantendo robustez e capacidade.
• Limitações: O CodeAttack continua sendo o ataque mais resiliente, pois suprime ambas as direções na fronteira do prompt, oferecendo pouco sinal para a perda de acoplamento amplificar. Além disso, o HARC é vulnerável ao ajuste fino adversário se o atacante tiver acesso aos pesos, colapsando em cerca de 160 exemplos maliciosos.

5. Significância e Alegações

O artigo afirma que o HARC alcança o melhor equilíbrio entre robustez-capacidade-usabilidade entre os métodos de segurança atuais. Ao acoplar malignidade e recusa tanto nas posições de prompt quanto de resposta, o método aborda a vulnerabilidade específica onde os jailbreaks suprimem o sinal de recusa antes do início da geração.

Os autores enfatizam que a estrutura de quatro direções (malignidade/recusa no prompt/resposta) é uma propriedade de LLMs alinhados e não um artefato arquitetural, pois se replica em cinco famílias distintas de modelos. Eles argumentam que sua intervenção evita o "imposto de alinhamento" (degradação de capacidade) e a recusa excessiva comuns em métodos de ajuste fino mais amplos, porque opera estritamente dentro de um subespaço de baixa dimensão direcionado.

O artigo conclui que, embora o HARC melhore significativamente a robustez contra jailbreaks estáticos, a observação do lado da resposta sugere que o reconhecimento de malignidade persiste mesmo durante a geração complacente, oferecendo um novo sinal para o alinhamento de segurança. No entanto, os autores notam modestamente que o método assume que o modelo base já possui um sinal de malignidade utilizável e não avalia contra ataques adaptativos projetados especificamente para visar as direções acopladas.