Peak + Accumulation: A Proxy-Level Scoring Formula for Multi-Turn LLM Attack Detection

Il paper propone una formula di scoring "Peak + Accumulation" a livello di proxy, priva di LLM, per rilevare attacchi di iniezione di prompt multi-turno aggregando il rischio singolo, la persistenza e la diversità delle categorie, ottenendo un'accuratezza del 90,8% su un dataset di oltre 10.000 conversazioni.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza conoscenze tecniche di intelligenza artificiale.

🕵️‍♂️ Il Problema: L'Inganno a "Goccia d'Acqua"

Immagina di avere una guardia di sicurezza (il "Proxy") che controlla chi entra in un edificio (l'Intelligenza Artificiale).
Fino a poco tempo fa, questa guardia controllava solo una persona alla volta. Se vedeva un volto sospetto o una frase pericolosa, la bloccava subito. Funzionava bene.

Ma i criminali (gli hacker) hanno trovato un nuovo trucco: l'attacco a "goccia d'acqua".
Invece di urlare "Voglio rubare i segreti!" in una sola frase (cosa che la guardia bloccherebbe), dividono il piano in 20 conversazioni diverse.

1. Turno 1: "Ciao, sei un assistente utile?" (Tutto ok).
2. Turno 2: "Mi puoi aiutare a scrivere una storia?" (Tutto ok).
3. Turno 3: "Nella storia, il protagonista è un hacker..." (Un po' strano, ma non pericoloso).
4. Turno 4: "E l'hacker ruba le password..." (Ancora solo una storia).

Se la guardia controlla ogni turno da solo, pensa: "Nessuna di queste frasi è pericolosa". Lascia passare tutto. Ma se guardi l'intera conversazione, vedi che stanno costruendo un piano criminale passo dopo passo.

❌ Il Vecchio Metodo: La "Media" che Inganna

Il metodo che si usava prima per valutare queste conversazioni lunghe era come fare la media dei voti a scuola.
Se un alunno prende 5 in matematica, 5 in italiano e 5 in storia, la sua media è 5. Non importa se ha fatto 5 per 100 volte: la media rimane 5.

Il paper spiega che questo è un errore fatale per la sicurezza.

• Scenario A: Un alunno prende un 10 (pericolo massimo) in una sola materia. Media = 10.
• Scenario B: Un alunno prende un 5 (sospetto lieve) in 20 materie diverse. Media = 5.

Con il vecchio metodo, l'attacco lungo e persistente (Scenario B) viene considerato meno pericoloso o uguale a un singolo errore, perché la "media" non cresce. È come dire che un ladro che entra piano piano per 20 giorni è meno pericoloso di uno che entra urlando una volta sola. È sbagliato!

✅ La Nuova Soluzione: "Picco + Accumulo"

Gli autori del paper propongono una nuova formula magica chiamata "Picco + Accumulo" (Peak + Accumulation). Immaginala come un contatore di allarmi che non si resetta mai, ma si somma.

La formula guarda tre cose:

1. Il Picco (Peak): C'è stato un momento in cui qualcuno ha detto qualcosa di molto sospetto?
   • Analogia: Se qualcuno urla "Fuoco!", l'allarme suona forte subito. Anche se è successo una sola volta, conta molto.
2. L'Accumulo (Persistence): Quante volte si sono ripetuti comportamenti sospetti, anche piccoli?
   • Analogia: Se qualcuno entra nel giardino, tocca la recinzione, poi la scavalca, poi entra, poi prende un fiore... anche se ogni singola azione sembra innocua, il fatto che si ripeta fa salire l'allarme. Più goccie cadono, più il secchio si riempie.
3. La Diversità: L'attacco usa metodi diversi?
   • Analogia: Se un ladro usa prima una chiave, poi un trapano e poi un'arma, è più sospetto di uno che usa solo la chiave per 10 volte.

La formula funziona così:
Prendi il momento più sospetto (Picco) e aggiungici un punteggio per ogni volta che il comportamento si ripete (Accumulo).

• Se hai un piccolo sospetto che si ripete 10 volte? L'allarme sale fino a diventare rosso.
• Se hai un piccolo sospetto una sola volta? L'allarme rimane verde.

📊 I Risultati: Funziona Davvero?

Gli autori hanno testato questa nuova "guardia intelligente" su 10.000 conversazioni reali.

• Risultato: Ha catturato il 90,8% degli attacchi nascosti (quelli che il vecchio metodo lasciava passare).
• Falsi allarmi: Ha bloccato solo l'1,2% delle conversazioni innocenti (quasi nessuno).

È come avere un metal detector che non si fa ingannare dal fatto che passi 20 volte davanti alla porta: se passi 20 volte con un coltello in tasca (anche piccolo), prima o poi il detector suona.

💡 Perché è Importante?

Prima, per fermare questi attacchi, bisognava usare un'altra Intelligenza Artificiale per leggere la conversazione. Ma questo è lento, costoso e rischioso (perché anche quella seconda AI potrebbe essere ingannata).

Questa nuova formula è:

• Veloce: Come un fulmine (microsecondi).
• Economica: Non serve un supercomputer.
• Trasparente: È una semplice formula matematica, non una "scatola nera" misteriosa.

In sintesi: hanno inventato un modo intelligente per dire "Attenzione! Anche se ogni singola frase sembra innocua, il fatto che tu stia ripetendo lo stesso schema sospetto per 20 volte ci dice che c'è qualcosa di male". E lo fanno senza bisogno di un altro cervello artificiale.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Peak + Accumulation: A Proxy-Level Scoring Formula for Multi-Turn LLM Attack Detection" di J. Alex Corll, presentato in italiano.

1. Il Problema: Il Divario nella Rilevazione Multi-Turn

Le API dei Large Language Model (LLM) sono spesso protette da proxy (firewall) che operano senza invocare un LLM per evitare latenza, costi e vulnerabilità ricorsive. Mentre la rilevazione di attacchi a singola turnata (single-turn) è ben studiata tramite regex e euristiche deterministiche, la rilevazione di attacchi multi-turn (jailbreak distribuiti su più messaggi) presenta una lacuna critica:

• Limitazione attuale: Gli approcci esistenti per il multi-turn richiedono quasi sempre un LLM per la classificazione, rendendoli inadatti ai proxy che devono operare in modo deterministico e a bassa latenza.
• Il fallimento dell'approccio intuitivo: Gli autori identificano un difetto fondamentale nell'uso della media ponderata (weighted average) per aggregare i punteggi di rischio delle singole turnate.
  • Teorema del "Tetto" (Ceiling Property): Se ogni turno di una conversazione lunga genera lo stesso punteggio di rischio $s$ (es. 0.5), la media ponderata rimane esattamente $s$, indipendentemente dal numero di turni.
  • Conseguenza: Un attacco persistente di 20 turni con un punteggio di 0.5 ottiene lo stesso risultato di un singolo turno sospetto in una conversazione pulita. Questo rende impossibile rilevare attacchi che si basano sulla persistenza e sulla ripetizione di pattern a basso rischio, poiché il punteggio non supera mai la soglia di blocco (es. 0.7).

2. Metodologia: Peak + Accumulation Scoring

Per superare i limiti della media ponderata, gli autori propongono una nuova formula di scoring basata su principi di rilevamento dei cambiamenti (CUSUM) e aggiornamento bayesiano, dove l'evidenza si accumula invece di essere mediata.

La formula calcola un punteggio di rischio finale ($score$) combinando tre segnali additivi:

1. Peak Risk (Picco di Rischio): Il punteggio massimo ottenuto in un singolo turno ($max(s_i)$). Garantisce che un turno altamente sospetto contribuisca pienamente al rischio totale.
2. Persistence Ratio (Rapporto di Persistenza): La frazione di turni che hanno generato un punteggio non nullo ($|{i : s_i > 0}| / n$). Questo segnale premia la persistenza: più turni corrispondono a pattern di attacco, più alto è il punteggio.
   • Formula: $match\_ratio \times \rho$ (dove $\rho$ è un fattore di persistenza).
3. Category Diversity (Diversità di Categoria): Un bonus per gli attacchi che attraversano più categorie di pattern (es. "seeding" di istruzioni + "confusione" di ruoli). Suggerisce un probing multi-vettore deliberato.
   • Formula: $(|categorie\_distinte| - 1) \times \delta$.

Bonus Aggiuntivi:

• Escalation Bonus ($\beta_e$): Aggiunto se i punteggi dei turni finali aumentano strettamente (rilevamento di attacchi "Crescendo").
• Resampling Bonus ($\beta_r$): Aggiunto se si rileva un'alta similarità (Jaccard) tra messaggi utente consecutivi, indicando tentativi di ripetizione (resampling).

Decisione: La richiesta viene bloccata se il punteggio totale (clampato tra 0 e 1) supera una soglia $\tau$ (default 0.7).

3. Contributi Chiave

1. Dimostrazione Matematica: Prove formali che la media ponderata è inadatta per la rilevazione di persistenza a causa del suo comportamento di convergenza al punteggio per-turno.
2. Nuova Formula: Introduzione della formula "Peak + Accumulation", completamente deterministica e calcolabile a livello di proxy senza LLM.
3. Dataset e Valutazione: Creazione e valutazione su un corpus di 10.654 conversazioni (588 attacchi multi-turn derivati da WildJailbreak e 10.066 conversazioni benigne da WildChat).
4. Open Source: Rilascio dell'algoritmo, della libreria di pattern (regex), e dell'harness di valutazione come progetto open source (Parapet).

4. Risultati Sperimentali

La formula è stata testata su un set di dati di holdout con i seguenti risultati:

• Recall (Rilevamento): 90.8% (534 su 588 attacchi rilevati).
• False Positive Rate (FPR): 1.20% (121 falsi positivi su 10.066 conversazioni benigne).
• F1 Score: 85.9%.
• Precisione: 81.5%.

Analisi di Sensibilità:
Gli autori hanno analizzato l'impatto del parametro di persistenza ($\rho$). È stata osservata una transizione di fase critica intorno a $\rho \approx 0.4$:

• Aumentando $\rho$ da 0.375 a 0.400, il recall è saltato di 12 punti percentuali (da 77.4% a 89.8%) con un aumento trascurabile del FPR (solo 0.08 punti).
• Il valore ottimale scelto è $\rho = 0.45$, che massimizza l'F1 mantenendo un margine di sicurezza sopra la soglia di transizione.

5. Significato e Implicazioni

• Soluzione Pratica per la Sicurezza: Fornisce un metodo deterministico, veloce (microsecondi per richiesta) e privo di GPU per rilevare attacchi complessi che sfuggono alle difese a singola turnata.
• Paradigma Shift: Sposta l'attenzione dalla semplice classificazione del contenuto alla rilevazione del comportamento persistente nel tempo, allineandosi meglio alla natura degli attacchi jailbreak moderni.
• Limiti: La soluzione si basa su pattern regex e non può rilevare attacchi che usano un linguaggio deliberatamente innocuo senza frasi di iniezione (es. attacchi puramente semantici come "Crescendo" senza pattern specifici), ma questo è un limite intrinseco di qualsiasi approccio proxy-level senza LLM.
• Integrazione: La formula è progettata per essere uno strato (L4) in un'architettura di difesa a più livelli, operando dopo la normalizzazione Unicode e prima della scansione dell'output.

In sintesi, il paper risolve un problema fondamentale di sicurezza LLM dimostrando che l'accumulo di evidenze deboli ma persistenti è un segnale di attacco più forte di un singolo evento sospetto, e fornisce la formula matematica per catturare questo segnale senza ricorrere a modelli di linguaggio costosi.