SecureBreak -- A dataset towards safe and secure models

Titolo: SecureBreak - Un dataset verso modelli sicuri e allineati

Autori: Marco Arazzi, Vignesh Kumar Kembu, Antonino Nocera (Università di Pavia, Italia)

1. Il Problema

I Large Language Models (LLM) sono diventati componenti fondamentali in molte applicazioni reali, ma la loro sicurezza rimane una sfida critica. Sebbene i modelli siano progettati con meccanismi interni di "allineamento" (safety alignment) per prevenire la generazione di contenuti dannosi, queste difese non sono infallibili.

• Vulnerabilità: Attacchi come il jailbreaking e l'injection di prompt possono bypassare le protezioni interne, inducendo i modelli a generare output pericolosi.
• Limiti delle soluzioni attuali: Le strategie di sicurezza attuali si concentrano spesso sull'architettura del modello o sull'allineamento durante il training. Tuttavia, queste misure da sole non garantiscono l'eliminazione totale delle generazioni dannose.
• Necessità di un approccio stratificato: È urgente implementare strati di difesa indipendenti (post-generazione) che fungano da "ultima linea di difesa" e che forniscano segnali di supervisione per migliorare l'allineamento stesso.
• Carenza di dataset specifici: La maggior parte dei dataset esistenti (es. JailbreakBench, AdvBench) si concentra sulla classificazione del prompt di input o sul successo dell'attacco, trascurando la valutazione dettagliata della risposta generata, specialmente in contesti estesi o interazioni composizionali sottili.

2. Metodologia

Il paper introduce SecureBreak, un dataset orientato alla sicurezza progettato per supportare lo sviluppo di soluzioni AI per rilevare output dannosi derivanti da debolezze residue nell'allineamento.

• Raccolta Dati:

  • Il dataset è basato su 100 comportamenti di abuso unici tratti dal dataset JailbreakBench, organizzati in 10 categorie (es. disinformazione, danno economico, consigli esperti, malware, ecc.).
  • Sono state generate risposte utilizzando diversi modelli LLM di varie dimensioni e famiglie (Llama 3.2/3.1, Qwen2.5, Gemma, Mistral) per catturare comportamenti diversi.
  • Il processo include sia risposte di base che risposte ottenute tramite tecniche di XBreaking (attacchi jailbreak).

• Annotazione Manuale e Conservativa:

  • Le risposte sono state annotate manualmente da due esperti.
  • Criterio di sicurezza: L'etichettatura è stata condotta in modo "conservativo". In caso di disaccordo tra gli annotatori, è stata privilegiata l'etichetta di "insicuro" (Unsafe) per massimizzare la sicurezza.
  • Accordo: È stato calcolato il Kappa di Cohen, ottenendo un accordo medio di 0.85, garantendo alta affidabilità.
  • Struttura: Il dataset finale contiene 3.059 campioni con etichette binarie (0 = Safe, 1 = Unsafe).

• Analisi Esplorativa:

  • Il dataset mostra una distribuzione leggermente sbilanciata (60.5% Safe, 39.5% Unsafe), riflettendo la tendenza dei modelli a rifiutare richieste pericolose.
  • L'analisi ha rivelato che i modelli faticano particolarmente nelle categorie di "Consigli Esperti" (medicina, legge, finanza), dove tendono a essere troppo "utili" ignorando i vincoli di sicurezza, a differenza delle categorie di "Danno Fisico" dove sono più robusti.

3. Contributi Chiave

1. SecureBreak Dataset: Un nuovo dataset focalizzato sulla classificazione a livello di risposta (response-level) piuttosto che a livello di prompt, specifico per contesti di jailbreaking.
2. Metodologia di Annotazione Conservativa: Un approccio rigoroso che priorizza la sicurezza, rendendo il dataset uno strumento robusto per l'addestramento di classificatori.
3. Dualità di Utilizzo: Il dataset è progettato per due scopi principali:
   • Filtraggio Post-Generazione: Addestrare modelli "Judge" per bloccare output dannosi prima che raggiungano l'utente.
   • Ottimizzazione dell'Allineamento: Fornire segnali di supervisione per valutare la qualità dell'allineamento e guidare ulteriori fasi di training o raffinamento.
4. Analisi Comparativa: Studio approfondito su come diverse architetture e dimensioni di modelli (da 0.5B a 8B parametri) reagiscono a diverse categorie di rischio.

4. Risultati Sperimentali

Gli autori hanno valutato l'efficacia del dataset addestrando diversi modelli LLM (Llama-3.1-8B, Mistral-7B-v0.3, Selene-1-Mini) utilizzando QLoRA (Low-Rank Adaptation) e confrontandoli con le versioni base (zero-shot).

• Performance di Classificazione:

  • I modelli base (senza fine-tuning) hanno mostrato prestazioni deludenti (accuratezza ~60%), dimostrando la mancanza di confini decisionali espliciti per la sicurezza.
  • Dopo il fine-tuning su SecureBreak, le prestazioni sono migliorate drasticamente:
    • Mistral-7B: da 62.84% a 83.24%.
    • Llama-3.1-8B: da 61.89% a 81.22%.
    • Selene-1-Mini: da 57.43% a 76.08%.
  • Un modello più piccolo, Qwen 2.5-0.5B addestrato con architettura Seq2Seq, ha raggiunto un'accuratezza del 90.14%, superando modelli molto più grandi quando utilizzati come classificatori di sicurezza.

• Analisi per Categoria:

  • Il fine-tuning ha portato miglioramenti significativi in tutte le categorie, ma in particolare nelle aree a rischio moderato ma complesso come "Consigli Esperti" e "Decisioni Governative", dove i modelli base tendevano a fallire nel distinguere tra utilità e danno.
  • I modelli addestrati su SecureBreak hanno dimostrato una capacità superiore nel rilevare minacce sottili (es. truffe, consigli medici non autorizzati) rispetto alla semplice rilevazione di violenza fisica.

5. Significato e Impatto

Il lavoro di SecureBreak rappresenta un passo avanti fondamentale per la sicurezza degli LLM:

• Difesa Stratificata: Dimostra che l'aggiunta di un layer di filtraggio esterno, addestrato su dati di alta qualità e annotati manualmente, è essenziale per mitigare i fallimenti dell'allineamento interno.
• Efficienza dei Modelli Piccoli: Smentisce l'idea che solo i modelli giganti possano essere sicuri; un modello piccolo (0.5B-1B) addestrato su dati curati come SecureBreak può agire come un "giudice" di sicurezza altamente efficace ed economico, ideale per deployment on-premise con vincoli di privacy e risorse.
• Guida per l'Allineamento Futuro: Il dataset non serve solo per filtrare, ma fornisce feedback qualitativi per migliorare i processi di RLHF (Reinforcement Learning from Human Feedback) e di allineamento, aiutando i ricercatori a identificare le debolezze residue dei modelli.

In conclusione, SecureBreak offre una risorsa critica per costruire pipeline di sicurezza più robuste, trasformando la rilevazione di contenuti dannosi da un compito generico a un processo specializzato e ad alta precisione.