The Salami Slicing Threat: Exploiting Cumulative Risks in LLM Systems

Titel: De Salami-slice-dreiging: Het exploiteren van cumulatieve risico's in LLM-systemen

1. Het Probleem: De kwetsbaarheid van meervoudige conversaties

Grote Taalmodellen (LLMs) worden geconfronteerd met beveiligingsrisico's door "jailbreaking", waarbij modellen worden gemanipuleerd om hun veiligheidsbeperkingen te omzeilen. Hoewel er veel onderzoek is gedaan naar single-turn (één-draads) aanvallen, blijven multi-turn (meerdere draads) aanvallen een groot probleem.

Bestaande multi-turn jailbreak-methoden (zoals Crescendo of GOAT) hebben twee fundamentele beperkingen:

1. Expliciete triggers: Ze ontleden een schadelijke vraag in stappen, maar de schadelijke intentie moet uiteindelijk in de laatste stap worden geactiveerd. Moderne, contextbewuste modellen detecteren en blokkeren deze expliciete schadelijke triggers steeds effectiever.
2. Context-afhankelijkheid: Succesvolle aanvallen vereisen vaak zeer specifiek ontworpen dialoogcontexten die afhankelijk zijn van de specifieke uitlijning (alignment) van het doelmodel, wat de overdraagbaarheid (transferability) en praktische toepasbaarheid beperkt.

De auteurs identificeren een structurele zwakte: LLM's beoordelen veiligheid voornamelijk op basis van de laatste input (recency bias) en negeren de cumulatieve risicosignalen die verspreid liggen over eerdere conversatiestappen.

2. Methodologie: Salami Slicing Risk en Salami Attack

Het artikel introduceert het concept Salami Slicing Risk, gebaseerd op het financiële principe waarbij grote bedragen worden gestolen door vele kleine, onopvallende bedragen bij elkaar te voegen.

• Het Risico: Schadelijke intentie wordt opgesplitst in een reeks onschadelijk ogende vragen. Elke individuele vraag blijft onder de drempel voor weigering (refusal threshold), maar samen bouwen ze een cumulatieve schadelijke intentie op die uiteindelijk tot gevaarlijke output leidt zonder dat er ooit een enkele expliciete schadelijke trigger wordt gedetecteerd.
• Salami Attack (Het Framework): Een geautomatiseerd framework dat dit risico benut. Het werkt als volgt:
  • Stap 1: Genereren van een veilige, neutrale startprompt.
  • Stap 2: Toepassen van "progressieve perturbaties" (subtiele, iteratieve aanpassingen). Een LLM (aanvalsmodel) genereert prompts die de context langzaam verschuiven richting het schadelijke doel, waarbij elke stap onder de veiligheidsdrempel blijft.
  • Stap 3: Herhaling van deze perturbaties om de richting te versterken.
  • A-Salami: Een adaptieve, multi-agent variant die dynamisch reageert op het gedrag van het doelmodel om context-drift of weigeringen te omzeilen.
• Multimodaliteit: Het framework is uitgebreid naar Vision Language Models (VLMs) en Diffusion-modellen (beeldgeneratie), waarbij visuele en tekstuele cues gecombineerd worden om cumulatieve schade te creëren.

3. Kernbijdragen

1. Theoretische Validatie: De auteurs formaliseren de "Salami Slicing Risk" wiskundig. Ze bewijzen dat, zolang elke individuele prompt onder de veiligheidsdrempel ($\tau_{thres}$) blijft, een sequentie van $n$ prompts de totale schadelijkheid ($H$) boven elke willekeurige drempel kan tillen, zelfs bij een uitgelijnd model.
2. Empirische Validatie: Experimenten met mechanische interpretatie (bijv. analyse van attentie-heads in Llama-2) tonen aan dat veiligheidsmechanismen zich inderdaad voornamelijk richten op de laatste conversatiestap en dat multi-turn aanvallen de activatiegebieden voor "weigering" ontlopen terwijl de schade accumuleert.
3. Salami Attack: Een volledig geautomatiseerd, model-onafhankelijk framework dat state-of-the-art prestaties bereikt op verschillende modellen (GPT-4o, Gemini, Deepseek, etc.) en modaliteiten.
4. CQA Defensie (Cumulative Query Auditing): Een nieuwe verdedigingsstrategie die de LLM instrueert om niet alleen de huidige prompt, maar de gehele cumulatieve promptgeschiedenis te beoordelen op schadelijkheid. Dit omzeilt de "recency bias" van het model.

4. Resultaten

De experimenten zijn uitgevoerd op drie benchmarks (AdvBench, HarmBench, JailbreakBench) en diverse SOTA-modellen.

• Aanvalssucces (ASR):
  • Salami Attack bereikt een ASR van >90% op GPT-4o en Gemini 2.5 Pro.
  • De adaptieve variant (A-Salami) bereikt tot 99,2% ASR op Qwen 3.
  • Dit is aanzienlijk hoger dan bestaande methoden (bijv. Crescendo, GOAT, PAIR), die vaak onder de 80% blijven.
• Efficiëntie:
  • De aanval is 80% goedkoper in tokens en 50% sneller dan bestaande methoden.
  • Het vereist geen aanpassing per model (hoge transferability); een op GPT-4o geoptimaliseerde aanval werkt direct op andere modellen met behoud van hoge ASR.
• Robuustheid tegen Defensies:
  • Salami Attack blijft effectief (>80% ASR) tegen bestaande defensiemethoden zoals SmoothLLM, Self-Reminder en Input Filtering.
• Effectiviteit van CQA Defensie:
  • De voorgestelde CQA-defensie verlaagt de ASR van Salami Attack met 44,8% (van 87% naar 48%).
  • Het blokkeert ook andere multi-turn aanvallen (tot 64,8% voor CIA) zonder de prestaties voor legitieme gebruikers te beïnvloeden (geen "over-refusal" op veilige prompts).

5. Betekenis en Conclusie

Dit onderzoek onthult een fundamentele blindvlek in de huidige beveiliging van LLM's: het gebrek aan vermogen om cumulatieve risico's over meerdere conversatiestappen te detecteren.

• Voor aanvallers: Het toont aan dat "stille" accumulatie van schadelijke intentie een veel effectievere en overdraagbaarder aanvalsvector is dan het zoeken naar specifieke keywords of complexe contexten.
• Voor verdedigers: Het benadrukt dat bestaande single-turn filters onvoldoende zijn. De toekomst van LLM-beveiliging vereist mechanismen die de volledige conversatiegeschiedenis analyseren en de "recency bias" van modellen compenseren.
• Praktische impact: De voorgestelde CQA-defensie biedt een haalbare, model-onafhankelijke oplossing om deze specifieke dreiging te mitigeren, wat essentieel is voor de veilige implementatie van LLM's in real-world scenario's.

Samenvattend introduceert dit artikel een nieuwe categorie van jailbreak-aanvallen die de fundamentele architectuur van veiligheidsuitlijning uitdaagt, en biedt het gelijktijdig een theoretisch onderbouwde en empirisch geteste verdediging.