Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

Sintesi Tecnica: Oltre il Rifiuto: Uno Studio di Stessa Lineage su LLM Allineati e Abliterati per l'Analisi delle Vulnerabilità

Problema
I Large Language Models (LLM) sono sempre più impiegati nei flussi di lavoro della sicurezza del software per il rilevamento, la classificazione e la riparazione delle vulnerabilità. Tuttavia, questi flussi di lavoro affrontano un "problema di confine": la terminologia e i modelli di ragionamento richiesti per l'analisi difensiva legittima (ad esempio, identificare exploit, analizzare input controllati da un attaccante) assomigliano strettamente a quelli associati all'uso improprio e malevolo. Di conseguenza, i modelli con allineamento alla sicurezza tendono a rifiutare eccessivamente richieste difensive benigne.

Le valutazioni precedenti di questo fenomeno soffrono di due limitazioni:

1. Variabili Confontanti: Molti studi confrontano famiglie di modelli non correlate, rendendo difficile attribuire le differenze di prestazione all'allineamento della sicurezza piuttosto che all'architettura, alla scala o ai dati di addestramento.
2. Metriche Centrate sul Rifiuto: Le valutazioni esistenti si concentrano principalmente sui tassi di rifiuto, fallendo nel catturare se le risposte non rifiutate siano corrette, specifiche o azionabili. Un modello che rifiuta raramente ma fornisce localizzazioni errate o patch non valide offre poca utilità ai difensori.

Questo articolo investiga come lo "stato di sicurezza" di un modello influenzi l'utilità dell'analisi delle vulnerabilità legittima, esaminando specificamente se il costo dell'allineamento si manifesti non solo nel rifiuto, ma anche nella degradazione della qualità e dell'azionabilità della risposta.

Metodologia
Lo studio impiega un disegno sperimentale a base accoppiata della stessa lineage per isolare la variabile dello stato di sicurezza. Gli autori confrontano due stati derivati dalle stesse famiglie di modelli open-source:

• ALIGNED (Allineato): Il modello standard sottoposto a istruzioni con comportamenti di rifiuto intatti.
• ABLITERATED (Abliterato): Un discendente rilasciato pubblicamente in cui il comportamento di rifiuto è stato ridotto chirurgicamente (ablatore) tramite interventi nello spazio di attivazione (sottrazione di una direzione di rifiuto appresa) o modifiche nello spazio dei pesi.

Famiglie di Modelli:

• Coppia Primaria: Gemma (confrontando gemma-4-31B-it vs. gemma-4-31B-CRACK).
• Coppia Supplementare: Qwen (confrontando Qwen3.6-27B-MXFP4 vs. Qwen3.6-27B-MXFP4-CRACK).

Framework di Valutazione:
Lo studio decompone l' "utilità lato difensore" in tre dimensioni: Copertura (usabilità della risposta), Qualità della Risposta (correttezza tra le risposte utilizzabili) e Utilità End-to-End (utilità pratica attraverso l'intero flusso di lavoro). La valutazione copre una "progressione della profondità del compito" dalla diagnosi superficiale alla riparazione eseguibile:

1. Rilevamento delle Vulnerabilità e Attribuzione CWE: Classificazione binaria e mappatura della tassonomia.
2. Localizzazione della Linea Vulnerabile: Identificazione delle righe di codice specifiche che contengono vulnerabilità.
3. Localizzazione della Root-Cause: Spiegazione del meccanismo causale della vulnerabilità.
4. Validazione della Patch Eseguibile: Generazione di patch che possono essere applicate, compilate e validate contro test di prova di vulnerabilità (PoV) (usando Java/Vul4J, Python/PatchEval, e C/C++/Vul4C).

Inquadramento del Prompt (Prompt Framing):
Lo studio controlla la formulazione del prompt variando due dimensioni:

• Contesto di Autorizzazione: Revisione neutrale vs. Contesto esplicito di audit di sicurezza interno.
• Intensità Lessicale: Variazione della densità della terminologia di cybersecurity (Neutro, Scenario, Tattica/Pattern, Cyber Denso) mantenendo fisso il codice e il compito sottostante.

Risultati Chiave
I risultati indicano che gli effetti dello stato di sicurezza sono dipendenti dal contesto piuttosto che monotoni:

1. Profondità del Compito e Localizzazione:

   • Compiti Superficiali: Per il rilevamento generale e l'attribuzione CWE, lo stato ALIGNED spesso performa meglio, in particolare sotto una formulazione di revisione del codice neutrale.
   • Compiti Basati sul Codice: Man mano che i compiti richiedono prove di codice specifiche (localizzazione della linea vulnerabile), lo stato ABLITERATED supera costantemente lo stato ALIGNED in entrambe le coppie Gemma e Qwen.
     • Gemma: L'accuratezza Top-1 per la localizzazione della linea è aumentata dal 9.00% (ALIGNED) al 10.10% (ABLITERATED); la Media F1 della linea è aumentata dal 3.84% al 4.00%.
     • Qwen: L'accuratezza Top-1 è aumentata dal 4.10% al 6.95%; la Media F1 della linea è aumentata dal 2.08% al 3.91%.

2. Riparazione Eseguibile (Java/Vul4J):

   • Lo stato ABLITERATED ha dimostrato un throughput significativamente più alto nelle prime porte eseguibili.
   • Risposte Utilizzabili: 67.8% (ABLITERATED) vs. 29.9% (ALIGNED).
   • Patch Applicate: 65.0% vs. 24.9%.
   • Patch Compilate: 32.8% vs. 9.0%.
   • Passaggio PoV: 6.8% vs. 1.7%.
   • Sfumatura: Nei prompt Neutrali, lo stato ALIGNED ha mostrato occasionalmente tassi di successo di validazione finale leggermente migliori in Java, ma lo stato ABLITERATED ha dominato nei frame di sicurezza espliciti (Autorizzato/Cyber-Term). Nei controlli cross-language (Python, C/C++) sotto prompt neutrali, lo stato ALIGNED è rimasto competitivo o superiore nelle porte di esecuzione finale.

3. Sensibilità al Prompt:

   • I meccanismi di sicurezza sembrano sensibili agli indizi superficiali. Sotto una formulazione neutrale, i modelli ALIGNED mantengono spesso un vantaggio nella classificazione. Tuttavia, quando i prompt includono autorizzazione esplicita o terminologia di cybersecurity densa, il vantaggio si sposta verso lo stato ABLITERATED, in particolare per i compiti di localizzazione e riparazione.
   • Stabilità dell'Output: Il cambiamento della formulazione del prompt altera il contenuto effettivo della risposta, non solo il punteggio. I modelli ALIGNED hanno mostrato tassi di "decision flip" (cambio della linea vulnerabile predetta o dell'etichetta CWE) più elevati passando da una formulazione neutrale a una densa di termini di sicurezza rispetto ai modelli ABLITERATED.

Significatività e Rivendicazioni
L'articolo sostiene che le valutazioni attuali degli assistenti di sicurezza basati su LLM siano insufficienti se si basano esclusivamente sui tassi di rifiuto. Gli autori sostengono che:

• Lo Stato di Sicurezza Influenza il Profilo di Utilità: L'allineamento cambia come un modello risponde, non solo se risponde. Il costo dell'allineamento non è un rifiuto uniforme, ma uno spostamento nella capacità del modello di fornire assistenza difensiva azionabile e di alta qualità a seconda della profondità del compito e della formulazione del prompt.
• La Valutazione Deve Essere Olistica: Le valutazioni della sicurezza informatica dovrebbero misurare congiuntamente rifiuto, correttezza, qualità della localizzazione e azionabilità eseguibile. Un modello che rifiuta frequentemente può essere meno dannoso di uno che risponde frequentemente ma fornisce una guida errata o inutilizzabile.
• Implicazioni di Design: Le protezioni dovrebbero essere progettate per distinguere tra l'analisi difensiva autorizzata e l'abilitazione di exploit senza degradare la qualità degli output difensivi legittimi. L'obiettivo è preservare il supporto affidabile per i difensori che richiedono un linguaggio di sicurezza preciso per analizzare e riparare vulnerabilità reali.

Lo studio non afferma che rimuovere le protezioni sia la soluzione; piuttosto, evidenzia che gli attuali meccanismi di sicurezza possono involontariamente penalizzare il lavoro difensivo legittimo, suggerendo la necessità di metriche di valutazione più sfumate che tengano conto dell' "utilità lato difensore" attraverso l'intero flusso di lavoro ingegneristico.