Riepilogo Tecnico: Rilevamento di Prompt Avversariali Ottimizzati e Fluente tramite Variazioni di Entropia Sequenziale

1. Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) rimangono vulnerabili a suffissi avversariali basati sull'ottimizzazione. A differenza dei jailbreak creati manualmente, questi attacchi (es. GCG, AutoDAN, AdvPrompter) sono generati automaticamente per costringere modelli allineati a violare le politiche di sicurezza mantenendo un'elevata fluidità.

Le difese esistenti affrontano due limitazioni principali:

1. Rilevatori Statistici (basati sulla Perplexity): I metodi che si basano sulla perplexity globale (PP) o sulla perplexity a finestra (WPP) assumono che i token avversariali siano statisticamente improbabili o disfluenti. Tuttavia, gli attacchi moderni ottimizzano esplicitamente per una bassa perplexity e naturalezza, mantenendo spesso la PP globale entro il range dei prompt benigni, rendendo tali rilevatori inefficaci.
2. Classificatori di Sicurezza (Modelli Guard): Modelli come LLaMA Guard offrono una forte rilevazione semantica ma introducono latenza significativa, sovraccarico di memoria e complessità nel servizio. Inoltre, operano a livello di prompt e non possono localizzare dove inizia un suffisso avversariale all'interno del flusso di input.

La sfida principale è rilevare e localizzare questi suffissi ottimizzati e fluenti in tempo reale senza fare affidamento su soglie di perplexity statiche o su modelli ausiliari costosi.

2. Metodologia: CPD Online

Gli autori propongono CPD Online, un rilevatore leggero e privo di addestramento che inquadra il rilevamento dei suffissi avversariali come un problema di rilevamento online dei punti di cambiamento (CPD) sul flusso di entropia dei token successivi a livello di token.

Meccanismo Principale

Il metodo si basa sull'osservazione che, mentre gli input utente benigni condividono una distribuzione di entropia simile al prompt di sistema, i suffissi avversariali basati sull'ottimizzazione inducono un cambiamento persistente nel flusso di entropia dei token, anche quando la perplexity globale rimane poco appariscente.

La pipeline di rilevamento consiste in tre passaggi:

1. Stima Robusta della Linea di Base:
   • Il prompt di sistema fisso viene utilizzato per stabilire una linea di base di entropia specifica per la distribuzione.
   • La mediana ($\hat{\mu}_0$) e la Deviazione Assoluta Mediana ($\hat{\sigma}_0$) delle entropie dei token del prompt di sistema sono calcolate per definire una posizione e una scala robuste.
2. Standardizzazione:
   • Le entropie dei token utente ($H^{usr}_t$) sono standardizzate rispetto alla linea di base: $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$.
   • In condizioni benigne, $Z_t$ fluttua vicino allo zero. Un suffisso avversariale induce uno spostamento positivo sostenuto nella media di $Z_t$.
3. Test Page CUSUM Unilaterale:
   • Una statistica Page CUSUM unilaterale classica ($W^+_t$) viene applicata al flusso standardizzato per rilevare spostamenti persistenti della media:
     $$W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$$
     dove $k \ge 0$ è un parametro di "tolleranza" (impostazione canonica $k=0$).
   • Viene generato un allarme al tempo di arresto $\tau$ quando $W^+_t$ supera una soglia $h$.
   • Localizzazione: L'inizio del suffisso ($\hat{\nu}$) è stimato tramite backtracking all'ultimo punto di reset dove $W^+_t = 0$ prima dell'allarme.

Caratteristiche Operative

• Indipendente dal Modello: Richiede solo l'accesso alle probabilità dei token successivi (o ai logit) a livello di token dal modello di base.
• Privo di Addestramento: Non sono necessari ulteriori addestramenti o reti ausiliarie.
• Online e Basso Sovraccarico: Esegue in sequenza durante il passaggio in avanti con complessità $O(1)$ per token e un footprint di memoria trascurabile.
• Gestione Ibrida: Può agire come un gate leggero per filtrare il traffico benigno prima di invocare costosi classificatori di sicurezza come LLaMA Guard.

3. Contributi Chiave

1. Formulazione: Il documento formula il rilevamento dei suffissi avversariali come un problema di rilevamento online dei punti di cambiamento sui flussi di entropia a livello di token, dimostrando che gli spostamenti di entropia sono un segnale più robusto della perplexity statica per gli attacchi fluenti.
2. Algoritmo: L'istanza di CPD Online come rilevatore Page-CUSUM unilaterale utilizzando statistiche MAD basate sul prompt di sistema. È leggero, non richiede addestramento e utilizza quantità disponibili nei passaggi in avanti standard.
3. Prestazioni Empiriche: Su un benchmark di 1.012 attacchi basati sull'ottimizzazione (attraverso GCG, AutoDAN, AdvPrompter, BEAST, AutoDAN-HGA) e 1.012 prompt benigni abbinati per perplexity, CPD Online supera costantemente i migliori baseline a perplexity a finestra (WPP) su sei modelli di chat open-weight (LLaMA-2, Vicuna, Qwen2.5).
4. Localizzazione: A differenza di WPP, che spesso si attiva su finestre che attraversano il confine del suffisso, CPD concentra il 79,6% dei suoi attivamenti all'interno del suffisso avversariale, fornendo una localizzazione precisa a livello di token.
5. Efficienza: Quando utilizzato come gate per LLaMA Guard, CPD riduce le chiamate al guardiano del 17–22% (fino al 42,2% nei test di stress ad alto volume) preservando la qualità del rilevamento.

4. Risultati Sperimentali

La valutazione è stata condotta su sei LLM di base (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) utilizzando un benchmark abbinato per perplexity ($\alpha=1$) in cui i prompt benigni sono campionati per corrispondere alla distribuzione di perplexity degli attacchi ottimizzati per la fluidità.

• Accuratezza di Rilevamento (F1): CPD Online ha ottenuto i punteggi F1 più alti su tutti e sei i modelli.
  • Esempio (LLaMA-2-7B): CPD ha raggiunto F1 0,82 e AUROC 0,88, rispetto al miglior baseline WPP (WPP15) con F1 0,74 e AUROC 0,77. La perplexity globale (PP) ha performato vicino al caso casuale (AUROC ~0,46).
• Precisione di Localizzazione:
  • CPD si è attivato all'interno del suffisso il 79,6% delle volte.
  • I baseline WPP si sono attivati all'interno del suffisso solo il 17–46% delle volte, con significativa "sfocatura del confine" (attivazioni nella categoria prima+in) e alta fuoriuscita in regioni benigne (in-benigno).
• Robustezza agli Spostamenti di Perplexity: Nei test di stress in cui i prompt benigni sono stati spostati verso una perplexity più alta ($\alpha=2, 3$), CPD ha mantenuto o migliorato le prestazioni, mentre WPP è degradato significativamente (AUROC sceso da 0,81 a 0,67 a $\alpha=3$).
• Gestione Ibrida: In uno scenario di distribuzione con 17.297 prompt (per lo più benigni), la gestione tramite CPD ha ridotto le chiamate a LLaMA Guard del 42,2% (per LG1) e del 33,8% (per LG2) mantenendo il punteggio F1 ibrido.

5. Significato e Affermazioni

Il documento afferma di essere il primo lavoro ad applicare il rilevamento online dei punti di cambiamento all'interno di una singola richiesta (flusso di token sistema + utente) a livello di token per rilevare e localizzare suffissi avversariali in LLM distribuiti.

Significato:

• Oltre le Euristiche Statiche: Dimostra che le dinamiche di entropia sequenziale, piuttosto che i valori assoluti di perplexity, sono la caratteristica distintiva degli attacchi basati sull'ottimizzazione.
• Distribuzione Pratica: Essendo privo di addestramento e indipendente dal modello, offre una soluzione praticabile per il monitoraggio in tempo reale senza il costo computazionale di eseguire un secondo LLM (Guard) su ogni richiesta.
• Precisione: La capacità di localizzare l'esatto inizio di un attacco consente strategie di mitigazione mirate piuttosto che il rifiuto indiscriminato dell'intero prompt.

Limitazioni Riconosciute:

• Il metodo si basa su probabilità a livello di token, che potrebbero non essere disponibili in ambienti API chiusi.
• Assume un prompt di sistema fisso per la calibrazione della linea di base; forti spostamenti di distribuzione nel traffico benigno potrebbero richiedere una ricalibrazione.
• Il modello di minaccia è attualmente limitato ai suffissi basati sull'ottimizzazione aggiunti ai prompt utente, non ad attacchi con prefisso o iniezione indiretta di prompt.

Gli autori concludono che questo lavoro incoraggia un'ulteriore esplorazione degli strumenti statistici sequenziali e delle dinamiche di incertezza interna come segnali ricchi per la sicurezza degli LLM.