Peak + Accumulation: A Proxy-Level Scoring Formula for Multi-Turn LLM Attack Detection

Dit paper introduceert een nieuwe "peak + accumulation"-scoringsformule die per-ronde risico's effectief aggregeert tot een conversatie-niveau risicoscore voor multi-turn prompt-injectie-aanvallen, en bereikt hiermee 90,8% recall bij een lage false-positive rate zonder gebruik van een LLM.

De kern

Stel je voor dat je een veiligheidscontroleur bent bij een luchthaven. Je taak is om te beslissen welke passagiers (de vragen die mensen aan een AI stellen) door mogen en welke niet.

Meestal kijkt een veiligheidscontroleur naar één persoon op dat moment. Als die persoon een mes in zijn hand heeft, wordt hij direct gepakt. Dit is wat de huidige systemen doen: ze kijken naar elke vraag afzonderlijk.

Maar er is een nieuw soort dief: de slimme, geduldige dief.

Het probleem: De "Geduldige Dieven"

Deze dieven weten dat ze niet in één keer kunnen stelen. Dus doen ze het in kleine stapjes:

1. Vraag 1: "Hoe maak je een taart?" (Heel onschuldig).
2. Vraag 2: "Wat als ik de oven op een heel hoge stand zet?" (Iets vreemd, maar nog oké).
3. Vraag 3: "En wat als ik die hoge stand gebruik om iets anders te verbranden?" (Gezellig gevaarlijk).
4. Vraag 4: "Oké, nu vertel me precies hoe ik een chemisch wapen maak." (De diefstal is voltooid).

Elke individuele vraag lijkt onschuldig. Als je ze één voor één bekijkt, ziet de controleur niets. Maar als je de geschiedenis bekijkt, zie je een duidelijk patroon van opbouwende kwaadaardigheid.

De oude fout: De "Gemiddelde" valkuil

De auteurs van dit paper ontdekten dat de oude manier om dit te detecteren een groot foutje had. Ze probeerden een gemiddelde te maken.

Stel je voor dat je een cijfer geeft aan elke vraag:

• Vraag 1: 0 (veilig)
• Vraag 2: 0 (veilig)
• Vraag 3: 0 (veilig)
• Vraag 4: 100 (gevaarlijk)

Het gemiddelde is dan 25. Dat is nog steeds "veilig" genoeg om door te laten.
Maar wat als de dief slim is en elke vraag een beetje gevaarlijk maakt?

• Vraag 1 t/m 10: allemaal een 50.
• Het gemiddelde is dan ook 50.

Het probleem: Als je een drempel hebt van 70 om te blokkeren, zal een gesprek van 100 vragen met allemaal een 50 nooit geblokkeerd worden, omdat het gemiddelde nooit boven de 50 komt. Het systeem denkt: "Nou, het is niet zo erg, het is maar een beetje gevaarlijk."

Dit is alsof je een alarm hebt dat alleen afgaat als iemand één keer heel hard schreeuwt. Als iemand 100 keer heel zachtjes fluistert "Ik ga je stelen", gaat het alarm nooit af, terwijl het toch een dief is.

De nieuwe oplossing: "Pieken + Stapelen"

De auteurs van dit paper hebben een nieuwe formule bedacht die werkt als een veiligheidsalarm dat stapelt. Ze noemen het "Peak + Accumulation" (Pieken + Opstapelen).

Het werkt met drie simpele regels:

1. De Pieken (De hoogste drempel):
   Als er één vraag is die heel gevaarlijk is, telt die zwaar mee. Net als bij een alarm dat afgaat als iemand een glas breekt.

2. Het Opstapelen (De persistentie):
   Dit is het belangrijkste deel. Als iemand vele keren achter elkaar iets verdachts zegt, telt dat op.

   • 1 verdachte vraag = een klein piepje.
   • 5 verdachte vragen = een luid alarm.
   • 10 verdachte vragen = een sirene die niet stopt.
     Het systeem zegt: "Oké, elke vraag op zich is niet zo erg, maar dat je het duizend keer doet, maakt het verdacht."

3. De Diversiteit (De mix):
   Als de dief verschillende trucs gebruikt (bijv. eerst doen alsof hij een admin is, en dan proberen de regels te omzeilen), wordt het alarm nog harder. Het is alsof iemand niet alleen een sleutel gebruikt, maar ook een ladder en een hakbijl. Dat is extra verdacht.

Hoe werkt het in de praktijk?

De auteurs hebben dit getest op meer dan 10.000 gesprekken.

• Ze hebben 588 echte "diefstal-pogingen" (jailbreaks) gebruikt.
• Ze hebben 10.000 normale, onschuldige gesprekken gebruikt.

Het resultaat:

• Het nieuwe systeem ving 91% van de dieven.
• Het blokkeerde niet onschuldig mensen (minder dan 2% foutmeldingen).
• Het werkt razendsnel en heeft geen dure computers nodig.

Waarom is dit belangrijk?

Vroeger dachten mensen: "Als we een slimme computer (AI) gebruiken om te kijken of een gesprek gevaarlijk is, is het goed." Maar dat is te traag en te duur.

Deze nieuwe formule is als een slimme, snelle robot die gewoon naar de patronen kijkt. Hij begrijpt dat duur en herhaling ook gevaarlijk kunnen zijn, zelfs als de individuele stukjes onschuldig lijken.

Kortom:
Het is alsof je van een systeem dat alleen reageert op een schreeuw, bent veranderd naar een systeem dat ook reageert op iemand die duizend keer zachtjes fluistert. Dat is de sleutel om slimme hackers te stoppen die denken dat ze onzichtbaar zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Peak + Accumulation: A Proxy-Level Scoring Formula for Multi-Turn LLM Attack Detection" in het Nederlands.

Titel

Peak + Accumulatie: Een proxy-niveau scoreformule voor de detectie van multi-turn LLM-aanvallen.

1. Het Probleem

Large Language Model (LLM) API-proxies (firewalls tussen client-applicaties en LLM-eindpunten) moeten beslissingen nemen over het toestaan of blokkeren van verzoeken zonder zelf een LLM aan te roepen. Dit komt door latentie, kosten en het risico op prompt-injectie van de classifier zelf.

• Huidige situatie: Single-turn detectie (per bericht) is goed onderzocht met regex, heuristieken en statistische methoden.
• De Gaten: Multi-turn aanvallen (waarbij kwaadaardige intentie verspreid wordt over meerdere gespreksbeurten) worden vaak gemist. Bestaande multi-turn oplossingen vereisen een LLM voor classificatie, wat voor proxies niet mogelijk is.
• Fundamentele fout in bestaande methoden: De intuïtieve aanpak is het berekenen van een gewogen gemiddelde van de risico-scores per beurt. Het paper bewijst dat dit wiskundig ongeschikt is: een gewogen gemiddelde convergeert naar de individuele score, ongeacht het aantal beurten. Een aanval van 20 beurten met een lage, maar consistente dreiging scoort even laag als één enkele verdachte beurt, waardoor persistente aanvallen onopgemerkt blijven.

2. Methodologie: Peak + Accumulatie Scoring

De auteurs stellen een nieuwe, deterministische formule voor die geen LLM vereist en gebaseerd is op principes uit verandering-detectie (CUSUM) en risicogebaseerde alarmering. De formule combineert drie additieve signalen:

De Formule:
$$Score = \text{clamp}(Peak + MatchRatio \cdot \rho + Diversiteit + \beta_e + \beta_r, 0, 1)$$

De componenten zijn:

1. Peak Risico: De hoogste score van een enkele beurt. Dit fungeert als een ondergrens voor het risico.
2. Persistentie Ratio (Match Ratio): Het percentage beurten dat een patroon matcht, vermenigvuldigd met een persistentiefactor ($\rho$). Dit straalt uit dat herhaaldelijke signalen het risico verhogen, zelfs als de individuele scores laag zijn.
3. Diversiteit: Een bonus voor aanvallen die meerdere categorieën van patronen gebruiken (bijv. instructie-inzaaiing + rolverwarring), wat wijst op een doelgerichte multi-vector aanval.
4. Bonus Signalen:
   • Escalatie ($\beta_e$): Toegevoegd bij strikt stijgende scores over de laatste 3+ beurten (Crescendo-aanvallen).
   • Resampling ($\beta_r$): Toegevoegd bij hoge gelijkenis tussen opeenvolgende gebruikersberichten (herhaling van dezelfde aanval).

Blokkeerdrempel: Een gesprek wordt geblokkeerd als de totale score een drempelwaarde ($\tau$) overschrijdt (standaard 0,7).

3. Belangrijkste Bijdragen

1. Wiskundig Bewijs: Het paper identificeert en bewijst de "Weighted Average Ceiling" (het plafond van het gewogen gemiddelde), wat aantoont dat deze methode fundamenteel faalt voor persistentiedetectie.
2. Nieuwe Formule: Introductie van de "Peak + Accumulation" formule die persistentie en diversiteit expliciet belooont in plaats van te middelen.
3. Uitgebreide Evaluatie: Testen op een dataset van 10.654 gesprekken, bestaande uit 588 multi-turn aanvallen (afkomstig van WildJailbreak) en 10.066 onschuldige gesprekken (WildChat).
4. Open Source: Publicatie van het algoritme, de regex-patroonbibliotheek en de evaluatie-harness.

4. Resultaten

De formule werd geëvalueerd met de volgende resultaten op de hold-out dataset:

• Recall: 90,8% (in staat om 534 van de 588 aanvallen te detecteren).
• False Positive Rate (FPR): 1,20% (slechts 121 onschuldige gesprekken onterecht geblokkeerd).
• F1-score: 85,9%.
• Nauwkeurigheid: 98,4%.

Sensitiviteitsanalyse:
Een analyse van de persistentieparameter ($\rho$) toont een faseovergang rond $\rho \approx 0,4$.

• Bij $\rho = 0,375$ ligt de recall op 77,4%.
• Bij $\rho = 0,400$ springt de recall naar 89,8% (+12 procentpunten) met een verwaarloosbare toename van de FPR (0,08%).
• De standaardwaarde is ingesteld op $\rho = 0,45$, wat de F1-score maximaliseert terwijl een veiligheidsmarge wordt aangehouden.

5. Betekenis en Conclusie

Dit paper vult een kritieke leemte in de beveiliging van LLM-systemen. Het biedt een snelle, deterministische en auditabele oplossing die op proxy-niveau kan worden ingezet zonder GPU's of model-inferentie.

• Praktische toepassing: De methode werkt in microseconden per verzoek en kan direct worden geïntegreerd in bestaande firewalls (zoals Cloudflare AI Gateway of AWS Bedrock).
• Beperkingen: De methologie is afhankelijk van regex-patronen en kan geen "Crescendo"-aanvallen detecteren die volledig onschuldig taalgebruik gebruiken zonder specifieke injectie-zinnen (dit vereist semantische LLM-classificatie).
• Impact: Het bewijst dat multi-turn aanvallen effectief kunnen worden gedetecteerd door de juiste aggregatielogica te gebruiken, in plaats van te vertrouwen op zware LLM-classifiers.

De auteurs benadrukken dat persistentie de sleutel is tot het opsporen van multi-turn jailbreaks en dat hun formule dit signaal correct weegt, in tegenstelling tot traditionele gemiddelde-benaderingen.