SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses

Sintesi Tecnica: SoK: Sistematizzare la Sicurezza dei Prompt per i LLM

Problematica
La rapida implementazione dei Large Language Models (LLM) come interfacce per informazioni e servizi ha reso la sicurezza a livello di prompt una preoccupazione critica. Sebbene il campo abbia visto rapidi progressi negli attacchi di jailbreak, nei wrapper difensivi, nelle policy di sicurezza, nei dataset e nei giudici automatizzati, la comunità affronta un significativo problema di frammentazione. Il lavoro precedente spesso si basa su modelli di minaccia, assunzioni di accesso, budget di costo, dataset e criteri di successo incompatibili. Questa mancanza di standardizzazione rende difficili il confronto dei tassi di successo dell'attacco (ASR) o dei guadagni difensivi riportati. Di conseguenza, è spesso poco chiaro se il progresso osservato derivi da un metodo più forte, da un modello target più debole, da regole di giudizio diverse o semplicemente da un budget di query più elevato. La sfida centrale è determinare se le affermazioni di sicurezza possano essere confrontate in condizioni unificate e verificabili.

Metodologia
Gli autori propongono un approccio sistematico alla valutazione della sicurezza dei prompt dei LLM, passando da dimostrazioni specifiche per singolo articolo a misurazioni riproducibili e basate su una tassonomia. La metodologia consiste in quattro componenti principali:

1. Tre Tassonomie Collegate: Il documento stabilisce un quadro concettuale che separa i meccanismi tecnici dalle capacità di attaccante/difensore:

   • Tassonomia I (Attacchi di Jailbreak): Classifica gli attacchi per modello di minaccia (Black-box vs. White-box) e metodologia tecnica (ad es., Modifica del Prompt, Ottimizzazione Black-box, Tecniche assistite da LLM, Tecniche Multi-turn e Sfruttamento delle vulnerabilità del modello). Tratta gli attacchi come composizionali, permettendo a un singolo metodo di istanziare molteplici unità tecniche atomiche.
   • Tassonomia II (Difese): Raggruppa le difese per obiettivo (Rilevamento vs. Mitigazione) e livello di intervento (Livello di input, Livello di output, Stato interno, Addestramento del modello, Modifica del modello, Elaborazione dell'output).
   • Tassonomia III (Vulnerabilità dei LLM): Categorizza le modalità di fallimento intrinseche del modello sfruttate dagli attacchi, come lo Sfruttamento del Formato, l'Eccessiva dipendenza dalle istruzioni dell'utente, la Manipolazione Psicologica e l'Ambiguità Contestuale.

2. Protocollo di Valutazione Verificabile: Gli autori formalizzano le assunzioni di minaccia, accesso e costo come metadati espliciti. Definiscono un esperimento come una tupla $\langle M, A, D, S, J \rangle$, che rappresenta Modello, Attacco, Difesa, Dataset e Giudice. Questo protocollo impone che i confronti siano validi solo quando l'identità dei componenti e le impostazioni (ad es., LLM assistenti, parametri di decodifica, budget di query, composizione della difesa) sono corrispondenti.

3. Piattaforma PROMPTSECURITY: Viene introdotta una piattaforma di valutazione modulare per operazionalizzare il protocollo. Essa rappresenta ogni esperimento come una tupla configurata, consentendo confronti compatibili con l'accesso e verificabili. La piattaforma registra identificatori di campioni, output, impostazioni, conteggi delle query e configurazioni del giudice per garantire la riproducibilità.

4. Dataset Unificati: Gli autori rilasciano JAILBREAKDB, un corpus curato contenente 445.752 coppie prompt sistema-utente di jailbreak da 48 fonti e 1.094.122 prompt benigni da 14 fonti. Rilasciano anche PROMPTSECURITY-EVAL, che contiene 166.200 record di output di query dannose e 9.200 record di output di utilità benigna generati sotto il protocollo principale.

Contributi Chiave

• Tassonomie a livello di meccanismo: Il documento sistematizza il campo attraverso tre tassonomie collegate che supportano mappature di sottocategorie multi-label, consentendo di formulare affermazioni empiriche a livello di sottocategoria della tassonomia piuttosto che solo a livello di metodo.
• Piattaforma di Valutazione Unificata: L'introduzione di PROMPTSECURITY, che tratta la compatibilità di accesso, l'uso di LLM assistenti e le rubriche di giudizio come parti verificabili della dichiarazione di sicurezza, consentendo studi di ablazione controllati su uno spazio di progettazione condiviso.
• Approfondimenti Empirici: La piattaforma è stata utilizzata per valutare 11 modelli target, 21 impostazioni di attacco, 10 stati di difesa e tre giudici in condizioni corrispondenti.
• Dataset e Leaderboard: Il rilascio di JAILBREAKDB e PROMPTSECURITY-EVAL, insieme a una leaderboard interattiva per navigare tra le misurazioni compatibili del protocollo principale.

Risultati e Scoperte Empiriche
La valutazione produce diverse scoperte a livello di tassonomia:

• Accesso al Modello e Capacità: I modelli frontier black-box sono più esposti ad attacchi di trasformazione e offuscamento del prompt che aiutano il modello target a recuperare l'intento dannoso celato. Al contrario, i modelli white-box più deboli spesso sopprimono prompt trasformati complessi non a causa di una maggiore robustezza, ma perché non riescono a eseguire il compito dell'attacco (ad es., fallendo nel parsing di prompt in stile codice).
• Meccanismi di Attacco: Sui modelli black-box, le trasformazioni di prompt a basso costo spesso superano i jailbreak in linguaggio naturale generati da assistenti. Sui modelli white-box, questo ordine cambia, con la ricerca e il raffinamento assistiti da LLM che mostrano una maggiore persistenza.
• Efficacia della Difesa: L'efficacia della difesa dipende dal meccanismo. Il rilevamento e il routing a livello di input/output dominano la mitigazione media. Tuttavia, l'accesso white-box da solo non garantisce una difesa forte; ad esempio, lo screening del gradiente e l'ottimizzazione del prompt di sicurezza hanno fornito poca o addirittura una mitigazione media negativa in alcuni casi.
• Effetto Boomerang delle Difese: Le difese possono introdurre nuovi comportamenti dannosi. Il tuning del prompt di sicurezza, ad esempio, ha aumentato l'ASR medio di output dannosi perché la guida aggiunta ha talvolta trasformato prompt precedentemente sicuri in completamenti dannosi.
• Sensibilità del Giudice: La scelta del giudice influenza materialmente le conclusioni sulla sicurezza. I controlli di prefisso (strumenti di rifiuto del formato) possono contare eccessivamente gli output benigni che non sono rifiuti e mancare di output dannosi nascosti dietro aperture simili a un rifiuto. I giudici condizionati dal comportamento sono altamente sensibili alla specifica descrizione del comportamento fornita, portando a una varianza significativa nelle misurazioni ASR.

Significatività
Il documento sostiene che la sicurezza dei prompt dei LLM debba essere valutata a livello di gruppi di meccanismi sotto un controllo di configurazione equo. La significatività di questo lavoro risiede nel suo passaggio da dimostrazioni specifiche per singolo articolo verso una valutazione riproducibile, consapevole dei costi e basata sulla tassonomia. L'obiettivo non è semplicemente identificare quale metodo abbia un ASR più elevato, ma chiarire quale meccanismo, scelta di impostazione o regola di giudizio spieghi il comportamento di sicurezza riportato. Fornendo una base di tassonomie collegate, un protocollo eseguibile, una piattaforma modulare e dataset unificati, gli autori mirano a consentire valutazioni future che possano distinguere tra reale progresso metodologico e artefatti del design sperimentale.