RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são tipicamente alinhados à segurança por meio de ajuste de instruções e otimização de preferências. No entanto, quando esses modelos passam por ajuste fino pós-alinhamento para tarefas subsequentes (por exemplo, especialização de domínio ou preferências do usuário), eles frequentemente sofrem uma degradação substancial no comportamento de recusa. Essa fragilidade persiste mesmo quando os dados de ajuste fino são benignos ou quando o modelo é exposto apenas a um número mínimo de exemplos prejudiciais (por exemplo, 10 prompts sintéticos prejudiciais).

Embora trabalhos anteriores tenham estabelecido que o alinhamento pode ser frágil sob tal adaptação, os mecanismos internos que impulsionam essa falha permanecem pouco compreendidos. Estratégias de mitigação existentes frequentemente dependem de design heurístico de prompts, exemplos de segurança adicionais ou treinamento adversarial, sem uma compreensão principial de quais estruturas internas devem ser preservadas. O artigo postula que a perda de segurança não é meramente um esquecimento catastrófico genérico, mas uma falha geométrica específica dentro do espaço de ativação do modelo.

Metodologia

1. Análise Mecanística da Degradação do Alinhamento

Os autores investigam primeiro os mecanismos ao nível da representação que fundamentam a perda de segurança através da lente da geometria de recusa. Construindo sobre trabalhos anteriores que sugerem que a recusa é mediada por estruturas geométricas estruturadas e de baixa dimensão (cones) no fluxo residual, o artigo analisa como essas estruturas evoluem durante o ajuste fino padrão.

A análise identifica três efeitos consistentes que acompanham a degradação da segurança:

• Deriva Direcional: As representações de entradas prejudiciais afastam-se do cone de recusa de referência definido pelo modelo alinhado original. A magnitude da ativação dentro do subespaço de recusa diminui, e a similaridade cosseno entre as ativações e a base de recusa cai.
• Distorção Geométrica: A própria geometria de recusa muda. O subespaço abrangido pelo cone de recusa gira (desvia) em relação ao original, e a distribuição interna de coordenadas dentro do cone torna-se concentrada e instável (entropia reduzida, massa top-1 aumentada), tornando a recusa frágil.
• Interferência Tarefa-Segurança: As atualizações de otimização para tarefas subsequentes não são ortogonais às direções relevantes para segurança. Em vez disso, uma parte significativa das atualizações de gradiente para prompts prejudiciais reside paralela ao subespaço de recusa, modificando e desestabilizando ativamente os componentes que mediam a segurança.

2. Framework RefusalGuard

Motivados pela descoberta de que a perda de segurança decorre do deslocamento e da distorção da geometria de recusa, os autores propõem o RefusalGuard, um framework de ajuste fino ao nível da representação.

• Paradigma Central: O método utiliza Ajuste Fino de Representação (ReFT), onde os parâmetros do modelo base são congelados e módulos de intervenção de baixo posto são aprendidos para modificar estados ocultos durante a passagem direta.
• Restrição Geométrica: A inovação chave é uma função de perda de preservação geométrica ($L_{geom}$). Antes do ajuste fino, um cone de recusa de baixa dimensão é extraído do modelo base alinhado para definir um subespaço relevante para recusa. Durante o treinamento, as atualizações de intervenção são penalizadas se tiverem um componente grande dentro deste subespaço.
  • A atualização do estado oculto $\delta$ é projetada sobre o subespaço de recusa ($P_{ref}$).
  • A perda minimiza a norma dessa projeção: $L_{geom} = \mathbb{E}[\|P_{ref}(\tilde{h} - h)\|_2^2]$.
• Objetivo: O objetivo de treinamento total combina a perda padrão da tarefa subsequente ($L_{task}$) com a perda de preservação geométrica:
  $$L_{RG} = L_{task} + \lambda_{geom} L_{geom}$$
  Isso garante que a aprendizagem específica da tarefa prossiga em direções complementares à geometria de recusa, enquanto os componentes que mediam a segurança permanecem estáveis.

Principais Contribuições

1. Análise ao Nível da Representação: O artigo fornece uma conta mecanicista da degradação do alinhamento, demonstrando que ela é impulsionada por deriva direcional sistemática, distorção geométrica dos cones de recusa e interferência entre a otimização da tarefa e os recursos de segurança.
2. Framework RefusalGuard: Introduz um método de treinamento que preserva explicitamente a estrutura geométrica da recusa durante a adaptação, em vez de depender exclusivamente de supervisão ao nível da saída ou engenharia de prompts.
3. Validação Empírica: A abordagem é avaliada em múltiplas famílias de modelos (LLaMA, Gemma, Qwen) e benchmarks, mostrando que preservar a geometria de recusa previne efetivamente o colapso de segurança enquanto mantém utilidade competitiva.

Resultados Experimentais

Os autores avaliam o RefusalGuard em um cenário de teste de estresse onde modelos alinhados são ajustados finamente em apenas 10 exemplos sintéticos prejudiciais.

• Desempenho de Segurança:
  • Falha da Linha de Base: O ajuste fino LoRA padrão causa uma queda catastrófica na segurança, com Taxas de Sucesso de Ataque (ASR) subindo para ~0,70–0,75 e taxas de recusa caindo para ~0,25–0,30 em diversos benchmarks (AdvBench, DirectHarm4, JailbreakBench).
  • Comparação: Baselines ao nível da representação como Circuit Breaker (CB) e REPBEND melhoram a robustez, mas permanecem significativamente atrás do RefusalGuard (ASR ~0,10–0,27).
  • RefusalGuard: Alcança ASR próximo de zero (0,008–0,03) e mantém taxas de recusa acima de 0,97, prevenindo efetivamente o colapso induzido pela adaptação prejudicial.
• Desempenho de Utilidade:
  • Embora o RefusalGuard incorra em uma redução modesta na utilidade subsequente (por exemplo, GSM8K, OpenOrca, ARC) em comparação com LoRA sem restrições, o desempenho retido permanece competitivo. O artigo nota um trade-off favorável entre segurança e utilidade, onde ganhos significativos de segurança são alcançados com apenas perdas menores de capacidade.
• Correlação Mecanística: Os resultados experimentais confirmam a hipótese mecanicista: modelos treinados com RefusalGuard mantêm alta alinhamento com a geometria de recusa original, baixa deriva do cone e interferência mínima tarefa-segurança, enquanto o ajuste fino padrão exibe tendências opostas.

Significado e Alegações

O artigo alega que a fragilidade de modelos alinhados à segurança sob ajuste fino não é uma consequência inevitável da adaptação, mas uma falha geométrica específica. Ao identificar que a recusa é mediada por estruturas identificáveis de baixa dimensão, os autores argumentam que a segurança pode ser preservada ao restringir atualizações para evitar deslocar essas estruturas.

O significado do RefusalGuard reside em sua mudança de defesas heurísticas para uma abordagem principial ao nível da representação. Ele demonstra que preservar a integridade geométrica interna da recusa é uma estratégia viável para adaptação robusta de modelos. Os autores concluem que essa abordagem oferece uma solução mais fundamentada mecanicamente para manter a segurança em aplicações subsequentes, particularmente em cenários onde os modelos devem ser especializados sem comprometer seu alinhamento.