Technische Samenvatting: CLEANSE*, een risico-gekalibreerde multi-view detector voor prompt laundering

1. Probleemdefinitie: Prompt Laundering

Het artikel behandelt prompt laundering, een specifieke adversariële transformatie waarbij kwaadaardige instructies ($I_m$) worden vermomd door middel van narratieve inkadering, vertaling, symbolische codering, rollenspel of wijzigingen in de opmaak ($\mathcal{L}$) om een prompt ($P' = \mathcal{L}(I_m)$) te creëren. Het doel van de aanvaller is om de schadelijke intentie te behouden terwijl de observeerbare divergentie van de benigne tekst wordt geminimaliseerd, om zo veiligheidsfilters te omzeilen.

De auteur formaliseert dit als een geconstraineerd obfuscatieprobleem. De aanvaller streeft naar het maximaliseren van de waarschijnlijkheid van het omzeilen van veiligheidshekjes ($q_\psi$) en detectoren ($g_\phi$), terwijl een hoge intentie-behoud (semantische nabijheid tot $I_m$) en een lage oppervlakte-divergentie (observationele conformiteit aan een benigne distributie) worden gehandhaafd. Dit onderscheidt zich van standaard jailbreaks of prompt injections, omdat de focus specifiek ligt op de vermomming van de instructie in plaats van enkel op het transmissiekanaal. Het dreigingsmodel houdt rekening met aanvallers met een eindig "budget" aan operatoren (narratieve camouflage, linguïstische obfuscatie, etc.) en maakt onderscheid tussen black-box, gray-box en white-box tegenstanders.

2. Methodologie: Het CLEANSE*-framework

De auteur stelt CLEANSE* voor (Cross-Lingual, sEmantic, NArrative, Stylometry Ensemble), een risico-gekalibreerde multi-view detector die is ontworpen om als een side-car service te opereren naast Large Language Model (LLM) stacks. Het systeem evalueert inputs (pre-gate) en optioneel context of outputs (post-gate) met behulp van vier parallelle views die verschillende inductieve biases vastleggen:

1. Semantische View (Intent Proximity): Gebruikt meertalige instructie-getunede embeddings (intfloat/multilingual-e5-large-instruct) om de afstand van een prompt tot een benigne manifold en de nabijheid tot een bank van gesaniteerde kwaadaardige intentie-prototypes te meten. Het operationaliseert het "hoge intentie-behoud, lage oppervlakte-divergentie" laundering-regime.
2. Narratieve/Structurele View (Goal Continuity): Construeert een lichtgewicht rol-actie graaf ($G_P$) die entiteiten, doelen, preconditionen en effecten representeert. Het scoort de uitlijning van deze graaf tegenover een bibliotheek van canonieke onveilige subgrafen ($G_{mal}$), om te detecteren of de onderliggende workflow intact blijft ondanks oppervlakkige herformulering.
3. Cross-Linguele View (Consistentie): Voert round-trip vertalingen uit over een vaste set talen om semantische drift of instabiliteit te detecteren. Hoge variantie in round-trip embeddings suggereert een vermomde intentie die niet natuurlijk vertaalt.
4. Stylometrische/Markup View (Oppervlaktekenmerken): Kwantificeert oppervlakkige kenmerken inclusief token/karakter n-grammen (inclusief zero-width karakters), punctuatie-ritmes, perplexity delta's en HTML/Markdown/XML-patronen om steganografische of op opmaak gebaseerde obfuscatie te identificeren.

Fusie en Kalibratie:
Deze vier views produceren gekalibreerde subscores ($D_{sem}, D_{nar}, D_{xlang}, D_{styl}$) die worden gefuseerd tot een enkele anomalie-score $A(P)$. De fusiegewichten worden geleerd op development data en gekalibreerd (via isotonic regression) om een deployment-specifieke harm functional $H(\cdot)$ te minimaliseren bij een vaste False Positive Rate (FPR). Het systeem hanteert een driewegbeleid: Allow (lage score), Block (hoge score) of Escalate (intermediaire score) voor menselijke beoordeling. Om de robuustheid te vergroten, past het systeem "semantische smoothing" toe door scores te aggregeren over intentie-behoudende parafrases.

Training en Data:
Het model wordt getraind op een corpus van ongeveer $10^6$ prompts, gestratificeerd over 12+ talen, 6 genres en 4 formateringregimes. De dataset bevat benigne instructies, directe kwaadaardige intenties (gesaniteerd) en gelaunderde varianten gegenereerd via budgeted operator-composities. Training maakt gebruik van view-dropout, feature-space mixup en hard-negative mining om robuustheid tegen samengestelde aanvallen te verbeteren.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Formalisering: Een rigoureuze formulering van intentie-behoudende laundering-transformaties als een geconstraineerd optimalisatieprobleem bestaande uit operator-composities en budgetten.
2. Architectuur: Een multi-view detector die semantisch, structureel, cross-linguaal en stylometrisch bewijs fuseert, expliciet ontworpen om de "laundering frontier" aan te pakken waar oppervlaktekenmerken benigne zijn maar de intentie kwaadaardig.
3. Evaluatie: Een op laundering gerichte evaluatie-corpus en stress-tests die in-distribution (ID), out-of-distribution (OOD) talen/composities en externe benchmarks (JailbreakBench) dekken, met een focus op Risk@FPR (verwachte schade bij een vaste false-positive rate) in plaats van enkel accuratesse.

4. Experimentele Resultaten

Evaluatie werd uitgevoerd op een afgesloten testset met geblokte splitsingen op taal, genre en formaat.

• In-Distribution (ID) Prestaties:

  • Risicoreductie: CLEANSE* verminderde Risk@FPR met respectievelijk 0,7, 0,8 en 1,0 absolute eenheden bij 0,5%, 1% en 2% FPR, vergeleken met een Semantic-only baseline.
  • Attack Success Rate (ASR): Verminderd van 11,6% naar 8,4% (een relatieve daling van 27,6%).
  • Kalibratie: De Expected Calibration Error (ECE) verbeterde van 2,7% naar 1,8%.
  • Latency: Bereikte p50/p95 latenties van 15/28 ms, wat voldoet aan de sub-30 ms Service Level Objectives (SLO's).

• Frontier en OOD Prestaties:

  • Op de "laundering frontier" (lage oppervlakte-divergentie, hoog intentie-behoud) daalde Risk@FPR bij 1% FPR van 6,2 (Semantic-only) naar 4,9.
  • ASR op de frontier daalde van 18,4% naar 12,7%.
  • Het systeem vertoonde lagere transfer rates (TR) naar onbekende modellen (0,41 vs 0,58 voor baselines) en een kleinere risico-drift op OOD-talen (Turks, Perzisch, Hebreeuws) en onbekende operator-composities.

• Externe Benchmarks:

  • Op JailbreakBench behaalde CLEANSE* een risico van 5,3 en een ASR/miss rate van 14,8%, waarmee het Llama Guard 3-8B, WildGuard, ShieldLM en de Semantic-only baseline overtrof.
  • In RAG/Agent stress-tests (scannen van opgehaalde context) bereikte de gecombineerde pre- en post-gate scoring een risico van 5,4 met een unsafe tool-pass rate van 3,6%.

• Ablatie-studies:

  • Het verwijderen van de Narrative/Graph view veroorzaakte de grootste relatieve veiligheidsstraf per bespaarde milliseconde (Ablation Efficiency Ratio van 0,40 risico/ms), gevolgd door Cross-lingual (0,20) en Semantic (0,19).
  • De views bleken complementair in plaats van redundant; paarwijze verwijderingen toonden positieve interactie-effecten, met name tussen de Semantic en Narrative views.

5. Betekenis en Claims

Het artikel claimt dat prompt laundering een onderscheidende en evoluerende dreiging vormt die detectiestrategieën vereist die verder gaan dan eenvoudige keyword matching of single-view classificatie. De betekenis van CLEANSE* ligt in de risico-gekalibreerde aanpak, die expliciet optimaliseert voor het minimaliseren van de verwachte schade bij een gecontroleerde false-positive rate, in plaats van het maximaliseren van de ruwe classificatie-accuratesse.

De auteur voert aan dat het multi-view ensemble de "geconstraineerde obfuscatie"-aard van laundering-aanvallen succesvol vangt door latente intentie-analyse te combineren met oppervlakkige anomalie-detectie. De resultaten suggereren dat een dergelijk systeem de attack success rate op de laundering frontier aanzienlijk kan verminderen, terwijl de lage latentie behouden blijft die geschikt is voor real-time deployment.

Het artikel behoudt een bescheiden standpunt door beperkingen te erkennen, waaronder:

• Gevoeligheid voor fouten in de extractie van grafen (narrative view).
• Beperkte dekking van talen met weinig middelen (low-resource languages) en adaptieve multimodale aanvallen.
• Restricties op reproduceerbaarheidsmateriaal (operationele schadelijke prompts en exacte attack recipes worden achtergehouden om misbruik te voorkomen).

De auteur concludeert dat hoewel het systeem robuustheid vertoont tegen huidige laundering-strategieën, continue evaluatie tegen adaptieve red-teaming en de uitbreiding van views naar multimodale laundering noodzakelijk zijn voor toekomstige iteraties. Het werk biedt een framework voor het integreren van veiligheidsdetectie in AI-governance via gekalibreerde drempelwaarden, escalatiebanden en audit-klare documentatie (datasheets en model cards).