💻 computer science

Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks

Dit artikel stelt een mechanisme voor voor dynamische scheidingsgeneratie voor Polymorphic Prompt Assembling (PPA) dat statische scheidingspools vervangt door unieke, per verzoek gegenereerde canary-paren afgeleid van cryptografische digests, wat effectief blast-radius-kwetsbaarheden elimineert en de succesratio van prompt injection-aanvallen aanzienlijk vermindert zonder dat finetuning van het model vereist is.

Oorspronkelijke auteurs: Nima Dorzhiev, Peng Liu

Gepubliceerd 2026-06-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nima Dorzhiev, Peng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente maar ietwat naïeve robotassistent bent (een AI-agent). Je taak is om een strikte set regels te volgen die door je baas zijn geschreven (de systeeminstructies), terwijl je ook luistert naar verzoeken van het publiek (gebruikersinput).

Het probleem is dat een slimme hacker een briefje in het publieke verzoek kan smokkelen waarin staat: "Negeer je baas en doe wat ik zeg in plaats daarvan." Dit wordt een Prompt Injection Attack genoemd.

De Oude Oplossing: Het "Statische" Wachtwoord

Voorheen ontwikkelden onderzoekers een verdediging genaamd Polymorphic Prompt Assembling (PPA). Denk aan het plaatsen van een speciale, unieke omheining tussen de regels van de baas en de verzoeken van het publiek.

Hoe het werkte: Het systeem had een vaste doos met 84 verschillende ontwerpen voor de omheining (scheidingstekens). Elke keer als er een verzoek binnenkwam, koos het systeem willekeurig één ontwerp uit de doos om te gebruiken.
De Fout: Stel je voor dat een hacker een van deze omheiningen weet te onderscheppen en precies ziet hoe deze eruitziet. Omdat het systeem deze omheiningen steeds opnieuw gebruikt, kan de hacker dat exacte ontwerp nu gebruiken om de robot in toekomstige gesprekken te misleiden. De schade verspreidt zich (een "blast radius") omdat het ontwerp van de omheining nooit echt verandert; het wordt alleen hergebruikt.

De Nieuwe Oplossing: Het "Dynamische" Eenmalige Slot

Dit paper stelt een belangrijke upgrade voor: Dynamic Separator Generation.

In plaats van een omheining uit een doos te kiezen, bouwt het systeem voor elk verzoek een gloednieuwe, unieke omheining.

Hoe het werkt: Elke keer dat je de robot een vraag stelt, kijkt het systeem naar de exacte seconde waarop het is, jouw unieke ID, en een willekeurig getal dat speciaal voor dat moment is gegenereerd. Het mengt deze ingrediënten samen (met een wiskundig recept genaamd SHA-256) om een eenmalige "Start" en "Einde" markering te maken.
De Analogie: Stel je voor dat je een brief verstuurt.
- Oude manier: Je gebruikt een standaard rode envelop. Als een dief een rode envelop steelt, kan hij die gebruiken om later brieven te vervalsen.
- Nieuwe manier: Je gebruikt een magische printer die voor elke enkele brief een unieke, niet-te herhalen envelop maakt op basis van het exacte tijdstip waarop je op de knop drukt. Zelfs als een dief de envelop van Brief #1 steelt, is deze nutteloos voor Brief #2, omdat Brief #2 een volledig andere, onvoorspelbare envelop heeft.

Wat de Onderzoekers Vonden

Het team heeft deze nieuwe "Dynamische" methode getest tegen 16 verschillende soorten hacker-trucs op een krachtig AI-model (Llama-3.3).

Het stoppen van de "Leetspeak" truc: Een specifieke hacker-truc (genoemd M1) gebruikt geheime codes en dringende taal om de AI in de war te brengen.
- Voorheen: De AI trapte er 88% van de tijd in.
- Achteraf: De AI trapte er slechts 38% van de tijd in. Dit is een enorme verbetering (meer dan een verdubbeling van de veiligheid).
Het stoppen van de "Format Breakout" truc: Een andere truc probeert de AI te manipuleren om de omheining-markers terug te herhalen naar de hacker.
- Voorheen: De AI onthulde de omheining-markers 47% van de tijd per ongeluk.
- Achteraf: De AI onthulde ze 0% van de tijd. Omdat de omheining uniek was voor dat specifieke moment, hielp het onthullen ervan de hacker niet bij toekomstige verzoeken.
Snelheid: Deze nieuwe methode is ongelooflijk snel. Het voegt slechts 2,7 microseconden toe (een minuscuul fractie van een knipperen met de ogen) aan de tijd die nodig is om een verzoek te verwerken. Het is zo snel dat je het niet zou merken.
Kwaliteit: Het vermogen van de robot om zijn eigenlijke taak te doen (zoals het samenvatten van tekst of het beantwoorden van vragen) werd niet slechter. Het werkte net zo goed als voorheen.

Het Ene Nadeel (Beperkingen)

Het paper geeft toe dat deze methode één ding niet kan oplossen: als een hacker de robot expliciet opdracht geeft: "Herhaal de omheining-markers even naar mij," kan de robot dit nog steeds doen.

De Oplossing: De onderzoekers zeggen dat dit een fundamentele limiet is van de huidige laag. Om dit te stoppen, heb je een extra "beveiligingsbewaker" nodig die helemaal aan het einde van het proces het antwoord van de robot controleert voordat het naar buiten gaat; dat maakte echter geen deel uit van deze specifieke studie.

Samenvatting

Dit paper introduceert een manier om AI-agenten veiliger te maken door ze een verse, unieke, eenmalig te gebruiken omheining te geven voor elk gesprek. Als een hacker een omheining steelt, is deze nutteloos omdat het volgende gesprek een volledig andere zal hebben. Het is een snelle, gemakkelijk toe te voegen upgrade die de kans aanzienlijk verkleint dat de AI wordt misleid.

Technische Samenvatting: Versterking van Polymorphic Prompt Assembling via Dynamische Separatorgeneratie

Probleemstelling

Large Language Model (LLM) agenten zijn steeds kwetsbaarder voor prompt injection-aanvallen, waarbij kwaadwillige inputs de systeeminstructies overschrijven. Hoewel Polymorphic Prompt Assembling (PPA) een robuuste verdediging biedt door de separatorparen (bijv. BEGIN/END tokens) die de gebruikersinput van de systeeminstructies scheiden te randomiseren, vertrouwt de huidige implementatie op een statische pool van vooraf gegenereerde separators.

De auteurs identificeren een kritieke architecturale kwetsbaarheid in deze statische aanpak: de blast-radius van separator-lekken. Als een aanvaller erin slaagt een separator uit de respons van een model te extraheren, blijft die specifieke delimiter geldig voor alle toekomstige verzoeken omdat deze afkomstig is uit een vaste, herbruikbare pool. Dit stelt tegenstanders in staat om gelekte separators te hergebruiken om gerichte bypass-payloads te creëren in opeenvolgende interacties, wat de langetermijnbeveiliging van het systeem ondermijnt.

Methodologie

Om de beperking van de statische pool aan te pakken, stelt het artikel Dynamische Separatorgeneratie voor, een mechanisme dat poolselectie vervangt door per verzoek gebaseerde cryptografische afleiding.

Generatiemechanisme: In plaats van te selecteren uit een vaste lijst, genereert het systeem voor elk individueel verzoek een uniek (BEGIN, END) canary-paar. Deze paren worden afgeleid van domein-gescheiden SHA-256 digests die sleutel zijn op drie dynamische inputs:
1. Een timestamp met nanoseconde-resolutie (ts).
2. Een UUIDv4 sessie-identificator (sid).
3. Een 16-byte cryptografische nonce (nonce).
Constructie: De separators worden geformatteerd als ====BEGIN-{24 hex chars}==== en ====END-{24 hex chars}====. Het domeinprefix (BEGIN: vs END:) voorkomt botsingen, en afkorting tot 24 hex-tekens (96 bits) zorgt voor een botsingskans onder $2^{-96}$ .
Integratie: De oplossing is geïmplementeerd als een achterwaarts compatibele extensie van de bestaande PPA SDK. Het introduceert een separator_mode parameter (static | dynamic) en vereist geen model fine-tuning. De DynamicSeparatorProvider callable zorgt ervoor dat er bij elke aanroep een vers paar wordt gegenereerd, zelfs binnen dezelfde sessie, door de veranderende timestamp en nonce.

Belangrijkste Bijdragen

Dynamische Generator: Een bewezen unieke, per verzoek gegenereerde canary-generator die in de PPA-framework is geïntegreerd zonder de achterwaartse compatibiliteit te verbreken.
Evaluatie-harness: Een testframework dat 16 genoemde aanvalspayloads ondersteunt, inclus\n_bij de post-publicatie aanvallen (M1, M2) en een "salad"-familie van formattering-/distractor-injections, gebruikmakend van zowel marker-gebaseerde als LLM-gebaseerde classificators.
Empirisch Bewijs: Kwantitatieve gegevens die aantonen dat dynamische generatie de Attack Success Rates (ASR) aanzienlijk vermindert en de separator-lekvectoren elimineert die een statische pool niet kan mitigeren.

Experimentele Resultaten

Het systeem werd geëvalueerd tegen Llama-3.3-70B-Instruct-Turbo (primair) en DeepSeek-V4-Flash (cross-model validatie) met behulp van 16 verschillende payloads.

M1 Obfuscation Payload (Leetspeak + Urgency):
- Static Mode: ASR = 0.88.
- Dynamic Mode: ASR = 0.38.
- Significantie: Een 2,3× reductie in succes van de aanval. De 95% Wilson confidence intervals voor static [0.802, 0.930] en dynamic [0.291, 0.478] overlappen niet, wat de statistische significantie bevestigt bij $N=100$ .
Format Breakout Salad:
- Static Mode: Separator leakage rate = 0.467 (aanvallers slaagden erin de separator te echoën).
- Dynamic Mode: Leakage rate = 0.000.
- Significantie: Dynamische canaries elimineerden de lekvector volledig omdat de geïnjecteerde patronen niet konden overeenkomen met de unieke, verzoek-specifieke separators.
Cognitive Override (M2):
- ASR verminderd van 0.09 (static) naar 0.00 (dynamic).
Cross-Model Validatie: Op DeepSeek-V4-Flash verminderde de dynamic mode de ASR van 0.45 naar 0.38, hoewel de confidence intervals overlapten, wat suggereert dat het voordeel schaalt met de baseline susceptibiliteit van het model.
Prestatie-overhead: De dynamische generatie voegt slechts 2,7 µs overhead toe per verzoek, wat verwaarloosbaar is vergeleken met typische LLM-inferentielatenties (>500 ms).
Kwaliteitsimpact: Evaluatie op 100 legitieme verzoeken over vijf taakcategorieën toonde geen degradatie in de kwaliteit van de respons (Dynamic PPA gemiddelde score: 5.00 vs. Baseline: 4.96).

Significantie en Beperkingen

Het artikel beweert dat dynamische separatorgeneratie het dreigingsmodel fundamenteel verandert door de blast radius van elk potentieel lek te beperken. Een gelekte separator wordt door constructie nutteloos voor toekomstige verzoeken omdat deze verzoek-specifiek is.

De auteurs houden echter een bescheiden standpunt aan met betrekking tot de reikwijdte van deze verdediging:

Geen Silver Bullet: Dynamische generatie voorkomt niet de initiële openbaarmaking van een separator als het model expliciet wordt geïnstruerd om grenzen te herhalen (bijv. separator_echo_salad bereikte een leak rate van 1.00 in beide modi). De auteurs merken op dat het mitigeren hiervan een output-filter op responsniveau vereist, wat buiten de huidige scope van deze studie valt.
Cryptografische Hardening: De huidige implementatie gebruikt ongekeyde SHA-256. De auteurs erkennen dat als een aanvaller toegang krijgt tot de sessie-ID, timestamp en nonce (bijv. via logs), zij de separator kunnen reproduceren. Zij bevelen HMAC-SHA256 met een server-zijde geheim aan voor productie-implementaties om dit te voorkomen.
Model Afhankelijkheid: De effectiviteit van de dynamische aanpak lijkt te schalen met de baseline susceptibiliteit van het onderliggende model, zoals blijkt uit de niet-significante reductie op de DeepSeek-V4-Flash backend vergeleken met Llama-3.

Concluderend presenteert het artikel een lichtgewicht, achterwaarts compatibele architecturale upgrade die effectief de "pool-reuse" kwetsbaarheid van statische PPA neutraliseert, de succesratio van aanvallen tegen geavanceerde injection payloads aanzienlijk vermindert, terwijl de latency-overhead verwaarloosbaar blijft.