SelfGrader: Stable Jailbreak Detection for Large Language Models using Token-Level Logits

1. Il Problema

I Large Language Models (LLM) sono strumenti potenti ma rimangono altamente vulnerabili agli attacchi di jailbreak, dove gli avversari manipolano le query per aggirare le allineamenti di sicurezza e indurre il modello a generare risposte dannose o violazioni delle policy.

Le attuali metodologie di difesa (guardrail) presentano limiti significativi:

• Metodi basati su feature interne: Richiedono l'accesso a gradienti o attivazioni interne, introducendo costi computazionali elevati e latenza.
• Metodi basati su classificazione: Spesso addestrati su vettori di attacco specifici, risultano meno robusti contro attacchi adattivi o mai visti prima.
• Metodi basati sulla generazione: Si affidano all'analisi del testo generato o a liste di parole chiave (red/green list). Questi soffrono di bias di campionamento (le parole chiave decisive potrebbero non essere generate) e di bias di matching (liste incomplete che mancano token dannosi o classificano erroneamente quelli benigni). Inoltre, dipendono fortemente dalla forma linguistica, rendendoli vulnerabili a tecniche di offuscamento semantico.

2. Metodologia: SelfGrader

Gli autori propongono SelfGrader, un metodo di guardrail leggero che trasforma il rilevamento del jailbreak in un problema di valutazione numerica (grading) utilizzando i logits a livello di token.

Concetti Chiave:

• Token Numerici (NTs): Invece di analizzare l'intero vocabolario o il testo generato, SelfGrader utilizza un insieme compatto di token numerici (es. i digit da 0 a 9) come scala di punteggio. Il modello "valuta" la malignità della query assegnando probabilità a questi numeri.
• Logits come Segnale di Sicurezza: I logits (probabilità non normalizzate) sui token numerici riflettono lo stato interno di credenza del modello riguardo alla sicurezza, offrendo un segnale più granulare e stabile rispetto al testo generato.
• Prompting e In-Context Learning (ICL): Il sistema utilizza prompt specifici che istruiscono il modello a valutare la query in un contesto di "valutazione di sicurezza", fornendo esempi (ICL) per allineare la distribuzione dei logits con l'intuizione umana di malignità.

Il Punteggio DPL (Dual-Perspective Logit):

Per mitigare i bias e ottenere una valutazione stabile, SelfGrader introduce una regola di punteggio a doppia prospettiva:

1. Prospettiva Malvagia ($P^{(+)}_D$): Valuta quanto la query è dannosa (punteggio alto = molto dannoso).
2. Prospettiva Benigna ($P^{(-)}_D$): Valuta quanto la query è sicura (punteggio alto = molto sicuro).

Il punteggio finale $s_{DPL}$ è calcolato combinando le due viste:
$$s_{DPL} = \lambda s^{(+)} + (1 - \lambda)(Q - s^{(-)} - 1)$$
Dove:

• $s^{(+)}$ e $s^{(-)}$ sono i punteggi derivati dai logits normalizzati dei token numerici.
• $\lambda$ è un coefficiente di bilanciamento (default 0.5).
• $Q$ è il numero di token numerici.

Questa formula integra la convinzione di malignità e benignità, producendo un punteggio stabile che riduce i falsi positivi mantenendo alta la robustezza. Viene inoltre applicato un tail trimming (taglio della coda) sui logits per rimuovere token a bassa probabilità che potrebbero destabilizzare il punteggio.

3. Contributi Chiave

1. Nuovo Paradigma di Rilevamento: SelfGrader risolve il problema del jailbreak come un problema di grading numerico, eliminando la necessità di addestrare classificatori di sicurezza costosi o di ispezionare rappresentazioni interne pesanti.
2. Spazio Numerico Chiuso e Invariante: Operando su un insieme compatto di logits basati su token numerici, il metodo crea uno spazio di valutazione stabile, invariante rispetto all'ambiguità linguistica e alla riformulazione delle query, a differenza degli spazi semantici testuali.
3. Regola di Punteggio DPL: La proposta di valutare la sicurezza da due prospettive (malvagia e benigna) migliora la stabilità del segnale di guardia e riduce significativamente il tasso di falsi positivi (FPR).
4. Efficienza e Robustanza: Il metodo è leggero, compatibile con ambienti a risorse limitate e dimostra robustezza contro una vasta gamma di attacchi, inclusi quelli adattivi e basati su offuscamento (es. Emoji Attack).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli LLM (Llama-3-8B, Qwen2.5/3.5, Vicuna-13B) e contro molteplici benchmark di jailbreak (JailbreakHub, JailbreakBench, attacchi adattivi come TAP e X-Teaming).

• Performance di Difesa: Su LLaMA-3-8B-Instruct, SelfGrader riduce il Tasso di Successo dell'Attacco (ASR) fino al 22.66% rispetto alla baseline senza difesa, ottenendo un ASR medio di 1.32% su tutti gli attacchi testati.
• Falsi Positivi (FPR): Mantiene un FPR molto basso (1.91% in media), preservando l'utilità del modello su task benigni come ragionamento matematico (GSM8K) e generazione di codice (HumanEval), dove altri metodi falliscono con alti tassi di rifiuto errato.
• Efficienza:
  • Latenza: Fino a 26 volte più veloce rispetto ai metodi basati su generazione o ragionamento (es. GuardReasoner).
  • Overhead di Memoria: Riduzione fino a 173 volte rispetto ai metodi che richiedono gradienti o modelli di guardia pesanti (es. Perplexity Filter o Llama Guard).
• Robustezza Adattiva: SelfGrader mantiene prestazioni stabili contro attacchi adattivi (TAP, LLM-Fuzzer, X-Teaming) e attacchi di segmentazione dei token (Emoji Attack), dove i metodi basati su parole chiave falliscono.

5. Significato e Impatto

SelfGrader rappresenta un passo avanti significativo nella sicurezza degli LLM per diversi motivi:

• Praticità: La sua natura leggera lo rende ideale per il deployment in produzione, specialmente in scenari con vincoli di latenza e memoria, senza richiedere ri-addestramento del modello target.
• Affidabilità: Trasformando la valutazione di sicurezza in un segnale numerico calibrato, supera le limitazioni dei metodi basati sul testo, che sono intrinsecamente "lossy" (perdita di informazione) e soggetti a bias linguistici.
• Versatilità: Funziona efficacemente sia come strato di difesa pre-processo che può essere implementato direttamente sul modello target (se si ha accesso ai logits) o su un modello ausiliario, offrendo un compromesso ottimale tra robustezza, utilità ed efficienza.

In sintesi, SelfGrader offre una soluzione elegante ed efficiente per il rilevamento dei jailbreak, spostando il focus dall'analisi del contenuto testuale all'interpretazione dello stato interno probabilistico del modello, garantendo una difesa più stabile e meno costosa.