Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

Resumo Técnico: Além da Recusa: Um Estudo de Mesma Linhagem de LLMs Alinhados e Abliterados para Análise de Vulnerabilidades

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em fluxos de trabalho de segurança de software para detecção, triagem e reparo de vulnerabilidades. No entanto, esses fluxos de trabalho enfrentam um "problema de fronteira": a terminologia e os padrões de raciocínio necessários para a análise defensiva legítima (ex: identificar explorações, analisar entradas controladas por atacantes) assemelham-se de perto aos associados ao uso malicioso. Consequentemente, modelos alinhados por segurança frequentemente apresentam recusas excessivas de solicitações defensivas benignas.

Avaliações anteriores deste fenômeno sofrem de duas limitações:

1. Variáveis de Confundimento: Muitos estudos comparam famílias de modelos não relacionadas, tornando difícil atribuir as diferenças de desempenho ao alinhamento de segurança em vez de arquitetura, escala ou dados de treinamento.
2. Métricas Centradas na Recusa: As avaliações existentes focam primariamente nas taxas de recusa, falhando em capturar se as respostas não recusadas são corretas, específicas ou acionáveis. Um modelo que raramente recusa, mas fornece localização incorreta ou patches inválidos, oferece pouca utilidade aos defensores.

Este artigo investiga como o "estado de segurança" de um modelo afeta a utilidade da análise de vulnerabilidade legítima, examinando especificamente se o custo do alinhamento se manifesta não apenas na recusa, mas na degradação da qualidade e acionabilidade da resposta.

Metodologia
O estudo emprega um design experimental de mesma linhagem correspondente para isolar a variável do estado de segurança. Os autores comparam dois estados derivados das mesmas famílias de modelos de código aberto:

• ALINHADO (ALIGNED): O modelo padrão ajustado por instrução com comportamentos de recusa intactos.
• ABLITERADO (ABLITERATED): Um descendente lançado publicamente onde o comportamento de recusa foi cirurgicamente reduzido (ablado) via intervenções no espaço de ativação (subtração de uma direção de recusa aprendida) ou modificações no espaço de pesos.

Famílias de Modelos:

• Par Primário: Gemma (comparando gemma-4-31B-it vs. gemma-4-31B-CRACK).
• Par Suplementar: Qwen (comparando Qwen3.6-27B-MXFP4 vs. Qwen3.6-27B-MXFP4-CRACK).

Estrutura de Avaliação:
O estudo decompõe a "utilidade do lado do defensor" em três dimensões: Cobertura (usabilidade da resposta), Qualidade da Resposta (correção entre respostas usáveis) e Utilidade de Ponta a Ponta (utilidade prática ao longo do fluxo de trabalho). A avaliação abrange uma "progressão de profundidade de tarefa", do diagnóstico raso ao reparo executável:

1. Detecção de Vulnerabilidade e Atribuição de CWE: Classificação binária e mapeamento de taxonomia.
2. Localização de Linha Vulnerável: Identificação de linhas de código específicas que contêm vulnerabilidades.
3. Localização de Causa Raiz: Explicação do mecanismo causal da vulnerabilidade.
4. Validação de Patch Executável: Geração de patches que podem ser aplicados, compilados e validados contra testes de prova-de-vulnerabilidade (PoV) (usando Java/Vul4J, Python/PatchEval e C/C++/Vul4C).

Enquadramento de Prompt:
O estudo controla a redação dos prompts variando duas dimensões:

• Contexto de Autorização: Revisão neutra vs. Contexto de auditoria de segurança interna explícita.
• Intensidade Lexical: Variando a densidade de terminologia de cibersegurança (Neutro, Cenário, Tática/Padrão, Ciber Denso) mantendo o código e a tarefa subjacentes fixos.

Resultados Principais
As descobertas indicam que os efeitos do estado de segurança são dependentes de contexto em vez de monotônicos:

1. Profundidade de Tarefa e Localização:

   • Tarefas Rasas: Para detecção geral e atribuição de CWE, o estado ALINHADO frequentemente performa melhor, particularmente sob redação de revisão de código neutra.
   • Tarefas Baseadas em Código: À medida que as tarefas exigem evidências de código específicas (localização de linha vulnerável), o estado ABLITERADO supera consistentemente o estado ALINHADO em ambos os pares Gemma e Qwen.
     • Gemma: A precisão Top-1 para localização de linha aumentou de 9,00% (ALIGNED) para 10,10% (ABLITERATED); o F1-médio de linha aumentou de 3,84% para 4,00%.
     • Qwen: A precisão Top-1 aumentou de 4,10% para 6,95%; o F1-médio de linha aumentou de 2,08% para 3,91%.

2. Reparo Executável (Java/Vul4J):

   • O estado ABLITERADO demonstrou um throughput significativamente maior nos portões executáveis iniciais.
   • Respostas Usáveis: 67,8% (ABLITERATED) vs. 29,9% (ALIGNED).
   • Patches Aplicados: 65,0% vs. 24,9%.
   • Patches Compilados: 32,8% vs. 9,0%.
   • Passagem em PoV: 6,8% vs. 1,7%.
   • Nuance: Em prompts Neutros, o estado ALINHADO ocasionalmente mostrou taxas de sucesso de validação final ligeiramente melhores em Java, mas o estado ABLITERADO dominou em frames de segurança explícitos (Autorizado/Termo-Ciber). Em verificações de linguagem cruzada (Python, C/C++) sob prompts neutros, o estado ALINHADO permaneceu competitivo ou superior nos portões de execução final.

3. Sensibilidade ao Prompt:

   • Mecanismos de segurança parecem sensíveis a pistas superficiais. Sob redação neutra, modelos ALINHADOS frequentemente retêm vantagem na classificação. No entanto, quando os prompts incluem autorização explícita ou terminologia de cibersegurança densa, a vantagem desloca-se para o estado ABLITERADO, particularmente para tarefas de localização e reparo.
   • Estabilidade de Saída: A redação do prompt altera o conteúdo real da resposta, não apenas a pontuação. Modelos ALINHADOS exibiram taxas de "mudança de decisão" (alterando a linha vulnerável prevista ou o rótulo CWE) mais altas ao passar de redação neutra para redação densa de segurança em comparação com modelos ABLITERADOS.

Significância e Alegações
O artigo alega que as avaliações atuais de assistentes de segurança baseados em LLM são insuficientes se basearem apenas em taxas de recusa. Os autores argumentam que:

• O Estado de Segurança Afeta o Perfil de Utilidade: O alinhamento altera como um modelo responde, não apenas se ele responde. O custo do alinhamento não é uma recusa uniforme, mas uma mudança na capacidade do modelo de fornecer assistência defensiva acionável e de alta qualidade dependendo da profundidade da tarefa e do enquadramento do prompt.
• A Avaliação Deve Ser Holística: Avaliações de segurança cibernética devem medir conjuntamente recusa, correção, qualidade de localização e acionabilidade executável. Um modelo que recusa frequentemente pode ser menos prejudicial do que um que responde frequentemente, mas fornece orientação incorreta ou inutilizável.
• Implicações de Design: Salvaguardas devem ser projetadas para distinguir entre análise defensiva autorizada e habilitação de exploração sem degradar a qualidade das saídas defensivas legítimas. O objetivo é preservar o suporte confiável para defensores que exigem linguagem de segurança precisa para analisar e reparar vulnerabilidades reais.

O estudo não alega que remover as salvaguardas seja a solução; em vez disso, destaca que os mecanismos de segurança atuais podem inadvertidamente penalizar o trabalho defensivo legítimo, sugerindo a necessidade de métricas de avaliação mais sutis que considerem a "utilidade do lado do defensor" através de todo o fluxo de trabalho de engenharia.