Technische Samenvatting: Detectie van Prompt Injectie is Regime-afhankelijk

1. Probleemstelling

De snelle integratie van Large Language Models (LLMs) in productieworkflows heeft een kritieke kwetsbaarheid geïntroduceerd: prompt injectie. In tegenstelling tot traditionele softwarekwetsbaarheden, exploiteert prompt injectie het gedeelde contextvenster van LLMs, waarbij het onderscheid tussen vertrouwde instructies en onbetrouwbare data vervaagt. Dit maakt het mogelijk dat adversariale invoer systeemprompts overschrijft, rollen herdefinieert of het gebruik van tools manipuleert.

Hoewel bestaande defensieve benaderingen vaak vertrouwen op "defense-in-depth"-strategieën (het combineren van modeluitlijning met externe filters), lijden huidige academische evaluaties vaak aan een kloof tussen benchmarkprestaties en daadwerkelijke implementatie in de praktijk. Standaardmetrieken zoals macro-F1 of ROC-AUC slagen er vaak niet in operationele beperkingen vast te leggen, met name de noodzaak om uiterst lage rates van vals-positieven (FPR) te handhaven om legitiem verkeer van gebruikers niet te blokkeren. Bovendien vertrouwen veel evaluaties op splitsingen binnen de verdeling (in-distribution, ID) die de diversiteit van aanvalsregimes buiten de verdeling (out-of-distribution, OOD) die in productie worden aangetroffen, niet weerspiegelen.

Dit artikel betoogt dat detectie van prompt injectie geen statisch classificatieprobleem is, maar een regime-afhankelijke taak. De effectiviteit van een detector varieert aanzienlijk afhankelijk van de aard van de aanval (lexicaal vs. semantisch vs. structureel), de verdeling van de data en de specifieke implementatiebeperkingen (bijv. strikte FPR-drempels).

2. Methodologie

2.1. Experimenteel Kader

De auteurs hebben een implementatiebewust evaluatiekader ontwikkeld dat ontworpen is om detectoren te testen onder realistische operationele beperkingen, in plaats van alleen op geaggregeerde rangschikkingsprestaties.

• Datasets: Het onderzoek maakt gebruik van publieke benchmarks om vergelijkbaarheid te waarborgen en onderzoekersbias te verminderen.
  • In-Distribution (ID): Een pool die AdvBench, JailbreakBench en de Deepset prompt-injectiedataset combineert.
  • Out-of-Distribution (OOD): Drie vaste regimes werden gebruikt om generalisatie te testen:
    1. Primair OOD: HarmBench (schadelijk) + Alpaca (onschuldig) om brede semantische verschuivingen te testen.
    2. Hard-Negative Injectie OOD: r1char9 (injectie) + NotInject (onschuldige prompts met een vijandig ogende formulering) om over-defensief gedrag te testen.
    3. Standaard Injectie OOD: Qualifire-benchmark voor een grotere, gebalanceerde injectiespecifieke evaluatie.
• Herhaalbaarheid: Om split-afhankelijkheid te mitigeren, werden experimenten uitgevoerd over drie opnieuw bemonsterde ID-splits (A, B, C).

2.2. Kenmerkfamilies en Modellen

Het onderzoek vergelijkt vier distincte signaalfamilies:

1. Lexicale Modellen: Sparse TF-IDF-kenmerken (unigrammen/bigrammen) aangevuld met handgemaakte binaire vlaggen voor expliciete aanvalssignalen (bijv. "negeer instructies", "systeemprompt").
2. Semantische Modellen: Bevriezing van SentenceTransformer-embeddings (BAAI/bge-small-en-v1.5) die worden doorgegeven aan een logistische regressie-classificator om de waarde van contextuele betekenis te isoleren.
3. Transformer-Encoders: Fine-tuned RoBERTa-base en DeBERTa-base modellen die dienen als hoogcapaciteit contextuele baselines.
4. Structurele Signalen (IBVS): De kernmethodologische bijdrage is de Instruction Boundary Violation Score (IBVS). Dit is een interpreteerbaar, regelgebaseerd kader dat prompt injectie decomposeert in specifieke structurele mechanismen:
   • Hiërarchie-overschrijding: Pogingen om eerdere instructies te negeren of te vervangen.
   • Systeemspoofing: Het imiteren van bevoorrechte kanalen (bijv. system:, developer:).
   • Rolherdefiniëring: Instructies zoals "doe alsof" of "vanaf nu".
   • Ontwijkingspogingen: Encoderen, obscuratie of pogingen om filters te omzeilen.
   • Interactieregels: Gewogen combinaties van signalen (bijv. schade + ontwijking) en onderdrukkingsregels voor onschuldige contexten (bijv. educatieve discussies).
   • IBVS output een scalair score, een gestructureerd vector van componentactivaties en een binaire "tripwire"-vlag voor patronen met hoge specificiteit.

2.3. Hybride Architecturen

Het onderzoek evalueert hybride benaderingen om te bepalen of structurele signalen complementaire waarde bieden aan sterke neurale baselines:

• Late Fusion: Het combineren van bevroren Transformer-kansen met IBVS-kenmerken via een ondiepe logistische regressielaag.
• Selectieve Voorspelling: Het routeren van onzekere gevallen (gebaseerd op semantische scores) naar fallback-experts of het opnieuw scoren ervan met structurele bewijzen.

2.4. Evaluatiemetrieken

De evaluatie prioriteert implementatie-effectiviteit boven globale rangschikking:

• Drempelvrij: ROC-AUC en AUC-PR.
• Gedrempeld (Implementatie): Macro-F1 voor drempelselectie, en cruciaal, True Positive Rate (TPR) bij vaste lage FPR's (1%, 5%, 10%). Dit weerspiegelt de operationele realiteit waarbij zelfs kleine rates van vals-positieven een beveiliging onbruikbaar kunnen maken.
• Externe Baseline: De LLM Guard PromptInjection-scanner werd geëvalueerd als kant-en-klare referentie.

3. Belangrijkste Resultaten

3.1. Regime-afhankelijkheid

Geen enkele modelfamilie domineerde in alle instellingen. De "beste" detector veranderde afhankelijk van het evaluatieregime:

• In-Distribution (ID): Fine-tuned Transformers (RoBERTa, DeBERTa) behaalden de hoogste macro-F1 (~0,95).
• Primair OOD (Semantische Verschuiving): DeBERTa behaalde de hoogste macro-F1, maar RoBERTa + IBVS late fusion toonde superieure sensitiviteit bij strikte lage-FPR-operatiepunten (bijv. hogere TPR bij 1% FPR).
• Hard-Negative Injectie OOD: Verrassend presteerde de sparse TF-IDF-baseline beter dan semantische en transformer-modellen in macro-F1. Dit suggereert dat in regimes met sterk diagnostische lexicaal regulariteiten, eenvoudige oppervlaktekenmerken voldoende zijn, en complexe modellen kunnen lijden onder over-defensiviteit of slechte kalibratie tegen onschuldige "lookalike"-prompts.
• Standaard Injectie OOD: Semantisch gebaseerde hybriden presteerden het beste op macro-F1, maar het voordeel nam af onder strikte lage-FPR-beperkingen.

3.2. De Kloof tussen Rangschikking en Implementatie

Een consistente bevinding was dat hoge rangschikkingsmetrieken (ROC-AUC) niet betrouwbaar vertaald werden naar implementatiegebruik. Verschillende modellen die goed presteerden op geaggregeerde metrieken, stortten in bij strikte FPR-drempels (bijv. daalde TPR@1% FPR naar bijna nul voor sommige semantische hybriden in hard-negative regimes). Dit geeft aan dat kalibratie een kritieke bottleneck is; modellen kunnen correcte beslissingsgrenzen leren, maar toewijzen van kansen die niet zijn uitgelijnd met conservatieve operationele drempels.

3.3. Bijdrage van Structurele Signalen (IBVS)

IBVS leverde bescheiden maar consistente winsten op in specifieke scenario's:

• Het verbeterde het lage-FPR-gedrag wanneer gekoppeld aan sterke encoders (bijv. RoBERTa + IBVS presteerde beter dan RoBERTa alleen bij 1% FPR in het Primair OOD-regime).
• Het bood interpreteerbaarheid, waardoor operators konden zien waarom een prompt werd gemarkeerd (bijv. specifieke hiërarchie-overschrijding of systeemspoofing-regels).
• IBVS overtrof lexicaal baselines echter niet universeel. In het hard-negative regime, waar oppervlakkige lexicaal signalen al sterk diagnostisch waren, bood het toevoegen van structurele abstractie weinig complementaire voorspellende waarde.

3.4. Prestaties van Externe Baseline

De externe LLM Guard-baseline vertoonde dezelfde regime-afhankelijkheid. Het presteerde competitief op standaard injectie-benchmarks, maar degradeerde aanzienlijk op de Primair OOD- en Hard-Negative-regimes, wat bevestigt dat regime-afhankelijkheid een systemisch probleem is dat zowel aangepaste als kant-en-klare beveiligingen beïnvloedt.

4. Betekenis en Claims

Het artikel claimt dat detectie van prompt injectie inherent regime-afhankelijk is en moet worden geëvalueerd met betrekking tot de implementatiecontext in plaats van alleen benchmarkprestaties.

• Herformulering van het Probleem: De auteurs betogen dat de selectie van een detector niet losgemaakt kan worden van de operationele context (aanvalsregime, budget voor vals-positieven en interventiemodus). Een model dat is geoptimaliseerd voor één regime (bijv. brede jailbreaks) kan falen in een ander (bijv. injectie via opgehaalde documenten).
• Kalibratie als Bottleneck: Het onderzoek benadrukt dat sterke rangschikkingsprestaties geen garantie bieden voor betrouwbaar implementatiegedrag. De misalignering tussen geleerde representaties en implementeerbare scoring (kalibratie) is een kritieke factor die vaak wordt over het hoofd gezien ten gunste van geaggregeerde metrieken.
• Rol van Structurele Signalen: Structurele signalen zoals IBVS zijn geen universele prestatieverbeteraars, maar dienen als interpreteerbare, gerichte aanvullingen. Ze zijn het waardevolst wanneer aanvallen expliciet instructiegrenzen manipuleren (hiërarchie, rol, systeemcontext) en forensische transparantie bieden, in plaats van wanneer ze geleerde semantische representaties vervangen.
• Evaluatiestandaarden: Het artikel pleit voor een verschuiving in evaluatiestandaarden, met nadruk op slice-level analyse (bijv. korte prompts, trigger-rijke onschuldige invoer) en lage-FPR-operatiepunten boven globale macro-F1-scores om de effectiviteit van beveiliging in de echte wereld nauwkeurig te beoordelen.

Concluderend toont het werk aan dat er geen "one-size-fits-all"-detector bestaat. Effectieve verdediging vereist een multi-signaalbenadering die is toegespitst op de specifieke aanvalsregimes en operationele beperkingen van de implementatieomgeving.