Resumo Técnico: Ablação de Segurança: Mecanismos para Remover o Alinhamento em Modelos de Linguagem para Aplicações de Segurança

Declaração do Problema

Modelos de linguagem alinhados à segurança frequentemente recusam-se a executar tarefas autorizadas de cibersegurança (por exemplo, triagem de vulnerabilidades, análise de correções, reparo seguro) porque os prompts assemelham-se lexicalmente a instruções maliciosas. Isso cria um fator de confusão na medição em avaliações de segurança: a falha de um modelo em responder pode decorrer de uma política de recusa, e não de uma falta de capacidade subjacente. Embora a pesquisa sobre "jailbreak" se concentre em contornes no nível do prompt, este artigo aborda uma questão científica distinta: quando o alinhamento é removido por meio de transformações no nível do modelo (em vez de reestruturação da entrada), quais mudanças específicas ocorrem na competência da tarefa, na capacidade geral e no comportamento inseguro fora do escopo de avaliação? O problema central é distinguir entre "descensurar" um modelo e recuperar genuinamente a utilidade de segurança autorizada sem induzir um transbordamento inseguro generalizado.

Metodologia

O artigo introduz ABLAÇÃO DE SEGURANÇA, um protocolo controlado de transformação-evaluação projetado para medir a fronteira utilidade-risco da remoção de alinhamento. O estudo não visa liberar modelos descensurados, mas auditar os efeitos colaterais de intervenções específicas.

Protocolo de Avaliação

O protocolo avalia transformações em três dimensões:

1. Utilidade de Segurança Autorizada ($S$): Desempenho em tarefas defensivas de segurança (triagem de vulnerabilidades, análise de correções, reparo seguro).
2. Retenção de Capacidade Geral ($G$): Desempenho em tarefas gerais benignas (lógica, aritmética, geração de código).
3. Transbordamento Inseguro ($H$): Conformidade com prompts prejudiciais fora do escopo e não operacionais.

O estudo compara cinco famílias de intervenção:

• Contexto do Prompt: Prompting com contexto autorizado (linha de base no nível da entrada).
• Projeção de Ativação: Modificação em tempo de execução de estados ocultos para projetar fora direções de recusa estimadas (reversível).
• Controle de Representação: Projeções em subespaços (por exemplo, subespaço de recusa de rank-4) para testar a especificidade da direção.
• Ajuste Fino (LoRA): Ajuste fino eficiente em parâmetros para adaptação de tarefa, supressão de recusa e retenção.
• Controles: Projeções aleatórias, projeções inofensivas e projeções de recusa correspondentes ao tópico para distinguir efeitos específicos do mecanismo do ruído.

Benchmark: SECURITY-AR

A avaliação utiliza o SECURITY-AR, um conjunto de 60 prompts composto por:

• 30 tarefas defensivas de segurança autorizadas.
• 20 tarefas gerais benignas de capacidade.
• 10 sondas fora do escopo (solicitações de uso indevido de alto nível e não operacionais).
  As saídas brutas de não recusa para sondas fora do escopo são censuradas nos artefatos públicos para prevenir o uso indevido.

Modelos e Implementação

• Pilotagem de Projeção: Avaliada em Qwen2.5 (0.5B, 1.5B, 3B) e SmolLM2-360M sob quatro condições (alinhado, prompt, projeção aleatória, projeção de recusa).
• Avaliação Estendida LoRA: Avaliada em modelos Qwen2.5 sob 11 condições, incluindo adaptadores LoRA para treinamento apenas de tarefa, supressão de recusa e misto de retenção.
• Pontuação: Utiliza validadores em ambiente controlado (sandbox) para tarefas executáveis, revisão baseada em rubrica para análise e classificadores de recusa. As métricas incluem taxas de recusa, taxas de tentativa, pontuações de tarefa e indicadores de conformidade insegura.

Principais Resultados

1. A Projeção de Ativação é Frágil e Arriscada

A projeção de recusa de vetor único (remoção da direção de recusa estimada) mostrou utilidade limitada e alto risco:

• Utilidade: Aumentou a pontuação média de segurança apenas marginalmente (de 0,46 para 0,50).
• Transbordamento: Aumentou drasticamente a conformidade insegura fora do escopo (de 0,10 para 0,47).
• Comparação: A projeção no subespaço de recusa de rank-4 alcançou uma pontuação de segurança similar (0,51), mas manteve a taxa de transbordamento alinhada (0,10), sugerindo que o rank do subespaço e a construção da direção são variáveis críticas. Projeções aleatórias às vezes corresponderam aos resultados da projeção de recusa, indicando que uma perturbação simples pode mimetizar mecanismos específicos.

2. O Ajuste Fino LoRA Oferece Tradeoffs Utilidade-Risco Superiores

Intervenções baseadas em ajuste fino demonstraram um caminho mais claro para recuperar a capacidade sem transbordamento catastrófico:

• LoRA Apenas de Tarefa: Elevou a pontuação média de segurança para 0,87, mantendo uma pontuação geral alta (0,83) e mantendo a conformidade insegura baixa (0,13).
• LoRA de Supressão de Recusa: Alcançou ganhos de segurança similares (0,87), mas mostrou transbordamento ligeiramente maior (0,13) em comparação com apenas tarefa.
• LoRA Misto de Retenção: Quando a supressão de recusa foi combinada com dados de retenção benigna, as pontuações de segurança permaneceram altas (0,84), mas a conformidade insegura aumentou significativamente para 0,27.
• Dependência do Modelo: O comportamento de transbordamento variou conforme o tamanho do modelo; o Qwen2.5-3B manteve conformidade insegura zero sob variantes LoRA, enquanto modelos menores (0.5B, 1.5B) mostraram aumento de transbordamento com certos adaptadores.

3. Redução de Recusa $\neq$ Recuperação de Competência

O estudo constatou que simplesmente reduzir a recusa não garante o sucesso da tarefa. Os modelos podem parar de recusar enquanto produzem conteúdo incoerente ou inútil. A "fronteira utilidade-risco" é a métrica primária: uma transformação só é útil se melhorar o desempenho em tarefas autorizadas sem colapsar o raciocínio geral ou aumentar amplamente o comportamento inseguro.

Principais Contribuições

1. Formalização da Remoção de Alinhamento: O artigo enquadra a remoção de alinhamento como um problema de transformação-evaluação, separando a redução de recusa do sucesso da tarefa, retenção e transbordamento.
2. Benchmark SECURITY-AR: Um design de benchmark controlado para tarefas de segurança autorizadas que inclui artefatos públicos censurados e regras de decisão para interpretar tradeoffs utilidade-risco.
3. Evidência Empírica de Tradeoffs Distintos: O estudo demonstra que intervenções de prompt, ativação, representação e ajuste fino induzem perfis utilidade-risco distintos. Especificamente, a adaptação de tarefa baseada em LoRA recupera alta utilidade de segurança com transbordamento limitado, enquanto a projeção de ativação de vetor único frequentemente falha em recuperar capacidade e aumenta a conformidade insegura.

Significância e Alegações

O artigo afirma que a remoção de alinhamento deve ser avaliada como uma fronteira utilidade-risco, e não como uma receita de "descensuração".

• Separabilidade Mecanística: O comportamento de segurança não é um muro monolítico; é uma variável acoplada em uma fronteira onde utilidade, retenção e transbordamento interagem.
• Implicações de Governança: Contornes no nível do prompt, edições de modelo e ajuste fino não são intervenções equivalentes. Eles expõem diferentes capacidades e modos de falha, exigindo controles de governança distintos.
• Escopo Modesto: Os autores afirmam explicitamente que esses resultados estão limitados aos modelos de peso aberto relatados, ao conjunto de tarefas e às famílias de transformação. Eles não afirmam que a fronteira observada se generaliza para sistemas de escala de fronteira ou para todos os métodos de desalinhamento.
• Segurança da Liberação: O artigo enfatiza que a conformidade, por si só, não é competência nem implantação segura. A liberação pública inclui apenas o mecanismo de avaliação, prompts sanitizados e métricas agregadas; checkpoints transformados e cargas operacionais de exploração são retidos.

Em conclusão, o artigo argumenta que, para aplicações de segurança, a remoção de alinhamento "útil" é definida como a recuperação da capacidade de segurança autorizada que permanece estritamente dentro de limites validados e autorizados, em vez da mera eliminação de tokens de recusa.