The Salami Slicing Threat: Exploiting Cumulative Risks in LLM Systems

Titolo: La Minaccia del "Salami Slicing": Sfruttare i Rischi Cumulativi nei Sistemi LLM

1. Il Problema: Vulnerabilità degli Attacchi Multi-Turno

Le Large Language Models (LLM) sono sempre più esposte a rischi di sicurezza legati al "jailbreaking", ovvero la manipolazione dei modelli per aggirare i vincoli di sicurezza e generare contenuti non etici o pericolosi. Sebbene gli attacchi a turno singolo (single-turn) siano stati ampiamente studiati e mitigati, gli attacchi multi-turno (multi-turn jailbreak) rappresentano una minaccia più subdola e persistente.

Il paper identifica due limitazioni fondamentali nelle metodologie di jailbreaking multi-turno esistenti:

1. Rilevamento dei Trigger Espliciti: Man mano che i modelli diventano più consapevoli del contesto, qualsiasi trigger dannoso esplicito nella domanda finale viene sempre più spesso rilevato e bloccato dai filtri di sicurezza.
2. Dipendenza dal Contesto: Gli attacchi di successo richiedono spesso contesti dialogici finemente sintonizzati su specifiche caratteristiche del modello, rendendoli poco trasferibili e costosi da implementare.

La vulnerabilità centrale risiede nel fatto che i meccanismi di allineamento (safety alignment) attuali valutano quasi esclusivamente il turno corrente, ignorando il rischio cumulativo distribuito tra i turni precedenti.

2. Metodologia: Il Rischio "Salami Slicing" e l'Attacco "Salami"

Il Concetto di Rischio (Salami Slicing Risk):
Gli autori introducono il concetto di "Salami Slicing Risk", ispirato alla frode finanziaria in cui grandi somme vengono accumulate tramite trasferimenti impercettibilmente piccoli. Nel contesto degli LLM, questo rischio si manifesta quando un attaccante concatena numerosi input a basso rischio che, singolarmente, sono innocui e sotto la soglia di rifiuto del modello, ma che cumulativamente accumulano un'intento dannoso fino a innescare comportamenti ad alto rischio.

• Meccanismo: L'attacco non richiede trigger dannosi espliciti né strutture contestuali pre-progettate complesse. Sfrutta il "bias di recenza" (recency bias) dei modelli, che tendono a dare priorità all'input più recente, ignorando la direzione dannosa accumulata nei turni precedenti.
• Formalizzazione: Il paper formalizza matematicamente come una sequenza di prompt $p_1, ..., p_n$, ciascuno con un incremento di danno $\tilde{H}$ inferiore alla soglia di rifiuto $\tau_{thres}$, possa portare a un danno totale $H(p^*)$ superiore a qualsiasi livello desiderato $h$, superando le difese del modello.

L'Attacco Salami (Salami Attack):
Sulla base di questo rischio, gli autori sviluppano Salami Attack, un framework automatico e trasferibile:

• Automazione: Utilizza un LLM potente (es. GPT-4) per generare sequenze di prompt strutturate.
• Fasi:
  1. Prompt Iniziale Sicuro: Crea un contesto neutrale.
  2. Perturbazioni Progressive: Genera una serie di modifiche sottili che spostano gradualmente il tono o il significato verso l'intento dannoso, rimanendo sempre sotto la soglia di allarme.
  3. Adattabilità: Include una variante adattiva (A-Salami) che utilizza agenti multipli (Reflection Thinker, Attacker, Evaluation) per correggere la rotta in caso di deviazione del contesto o tentativi di rifiuto del modello target.
• Multimodalità: Il framework è esteso anche ai modelli visivi (VLM) e ai modelli di diffusione (per la generazione di immagini), sfruttando l'interazione cumulativa tra testo e immagine.

3. Contributi Chiave

1. Identificazione del Rischio Fondamentale: Dimostrazione teorica ed empirica che il "Salami Slicing" è un meccanismo di attacco fondamentale, superiore ai metodi esistenti nella capacità di generare contenuti dannosi sostanziali senza trigger espliciti.
2. Framework Salami Attack: Sviluppo di un attacco automatico, trasferibile tra diversi modelli (LLM, VLM, Diffusion) e modalità, che raggiunge prestazioni state-of-the-art.
3. Strategia di Difesa (CQA): Proposta di una nuova difesa chiamata Cumulative Query Auditing (CQA). Questo metodo forza il modello a valutare l'intero storico dei prompt (non solo l'ultimo) per rilevare l'intento dannoso cumulativo, utilizzando il modello stesso come giudice.

4. Risultati Sperimentali

Prestazioni dell'Attacco:

• Successo (ASR): Salami Attack ha raggiunto un Attack Success Rate (ASR) superiore al 90% su modelli allineati di punta come GPT-4o e Gemini 2.5 Pro su tre benchmark diversi (AdvBench, HarmBench, JailbreakBench).
• Trasferibilità: Essendo target-agnostic, l'attacco mantiene un'ASR >90% quando i prompt ottimizzati su un modello vengono trasferiti ad altri modelli senza modifiche.
• Efficienza: Riduce i costi di token dell'attaccante di oltre l'80% e il tempo di esecuzione del 50% rispetto ai metodi esistenti (es. Crescendo, PAIR).
• Multimodalità: Ha dimostrato efficacia anche su VLM (55-56% ASR) e modelli di diffusione (80% di bypass rate), generando immagini dannose coerenti con l'intento.
• Robustezza alle Difese: L'attacco mantiene un'ASR media del 83,5% anche contro difese esistenti come SmoothLLM, Self-Reminder e Input Filtering, superando di gran lunga i baseline.

Efficacia della Difesa (CQA):

• La difesa CQA ha ridotto l'ASR degli attacchi Salami del 44,8% (portandolo dal 87% al 48% su GPT-4o).
• Ha mostrato una forte capacità di mitigazione anche contro altri attacchi multi-turno (es. Crescendo, CIA), con tassi di blocco fino al 64,8%.
• Specificità: Non ha causato falsi positivi su prompt benigni (0% di rifiuto su 52 prompt di Alpaca), dimostrando di non ostacolare l'uso legittimo.

5. Significato e Implicazioni

Questo lavoro evidenzia una vulnerabilità strutturale critica nei sistemi LLM moderni: la cecità verso il rischio cumulativo.

• Sicurezza: Dimostra che le attuali difese, focalizzate sulla rilevazione di parole chiave o intenti espliciti nel singolo turno, sono insufficienti contro attacchi che frammentano l'intento malevolo.
• Progettazione Futura: Suggerisce che le future strategie di allineamento e sicurezza devono evolvere verso meccanismi di audit contestuale completo, capaci di valutare l'intera storia della conversazione per rilevare derive sottili verso contenuti dannosi.
• Impatto Pratico: Fornisce sia un potente strumento per il "red-teaming" (test di sicurezza) sia una soluzione difensiva concreta (CQA) per mitigare queste minacce emergenti prima che vengano sfruttate su larga scala.

In sintesi, il paper sposta il paradigma di sicurezza dagli attacchi "a colpo singolo" alla gestione della deriva contestuale cumulativa, offrendo sia una nuova minaccia teorica che soluzioni pratiche per difendersi da essa.