Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks

Technische Samenvatting: Evaluatie van op Prompting gebaseerde Verdedigingen tegen Domein-Gecamoufleerde Injectie-aanvallen

Probleemstelling
Large Language Model (LLM) agenten in bedrijfsomgevingen halen steeds vaker informatie op en verwerken documenten uit onbetrouwbare bronnen (bijv. financiële rapporten, juridische contracten) om aanbevelingen te genereren. Terwijl standaard prompt-injectie-aanvallen expliciete instructies voor overschrijving gebruiken (bijv. "Ignore all previous instructions") die gemakkelijk door syntactische detectoren worden gemarkeerd, is er een geavanceerdere dreiging ontstaan: domein-gecamoufleerde injectie. Deze aanvallen nestelen kwaadaardige instructies in opgehaalde inhoud met een vocabulaire dat niet te onderscheiden is van legitieme domeintekst. Voorgaand werk (Pai, 2026) stelde vast dat standaard classifiers, inclusief Llama Guard 3, deze payloads niet kunnen detecteren, wat resulteert in een "Camouflage Detectie Gap" (CDG) van 80–100%. Bijgevolg ontbreekt het praktijkvoering van empirische richtlijnen over welke verdedigingsarchitecturen effectief zijn wanneer detectiemechanismen falen.

Methodologie
De auteurs voerden een systematische evaluatie uit van vijf op prompting gebaseerde verdedigingsarchitecturen over drie modelfamilies en drie deployment-domeinen.

• Benchmark & Omvang: De studie maakte gebruik van een benchmark met 45 taken die de domeinen Financieel (aandelenadvies, risico), Juridisch (contracten, compliance) en Algemeen (V&A, samenvatting) beslaat. De dataset bevatte 3.510 proeven.
• Geëvalueerde Modellen: Claude Haiku 4.5, Llama 3.1 8B Instruct, en Gemini 2.0 Flash.
• Aanvalscondities:
  • Statisch: Canonieke overschrijvingsinstructies (bijv. "IGNORE ALL PREVIOUS INSTRUCTIONS").
  • Camouflage: Kwaadaardige conclusies gegenereerd door een aanvaller-LLM die professioneel domeinvocabulaire imiteert (bijv. "Supplementary Analyst Commentary... revised SELL recommendation").
• Verdedigingscondities: Zeven configuraties werden getest:
  1. Baseline: Geen verdediging.
  2. Spotlighting: Het omlijsten van opgehaalde inhoud met herkomstmarkeringen (bijv. <<<UNTRUSTED EXTERNAL CONTENT>>>).
  3. Paraphrasing (Parafraseren): Het herschrijven van opgehaalde inhoud in neutrale taal voordat de agent deze verwerkt (met behulp van Claude Haiku als de herschrijver).
  4. Sandwiching: Het toevoegen van een taakherinnering na de opgehaalde inhoud.
  5. Combinaties: Spotlight + Sandwich, en Paraphrase + Spotlight.
  6. Llama Guard 4: Een classifier-gebaseerde verdediging die documenten blokkeert die als onveilig zijn gemarkeerd.
• Metrieken: Attack Success Rate (ASR), Utility (voltooiing van legitieme taken), en een verdedigingsgerelateerde CDG ($CDG_{def} = ASR_{static} - ASR_{camouflage}$). Statistische significantie werd beoordeeld met de McNemar's exact test en de Fisher's exact test.

Belangrijkste Resultaten
De evaluatie toonde aan dat de effectiviteit van de verdediging sterk modelafhankelijk is en dat standaard verdedigingen anders presteren tegen gecamoufleerde aanvallen dan tegen statische aanvallen.

• Paraphrasing is de meest effectieve verdediging: Het herschrijven van opgehaalde inhoud vóór verwerking verminderde de camouflage ASR consistent over alle modellen:
  • Claude Haiku: 14,4% $\to$ 4,4%
  • Llama 3.1: 22,2% $\to$ 10,0%
  • Gemini 2.0: 21,1% $\to$ 3,3%
  • De combinatie van Paraphrasing + Spotlighting bereikte de laagste absolute ASR op alle modellen (bijv. 3,3% op Haiku).
• Spotlighting is inconsistent: Hoewel het de ASR op Claude Haiku halveerde (14,4% $\to$ 6,7%), bood het geen enkel voordeel op Llama 3.1 8B (22,2% $\to$ 23,3%, niet-significant).
• Sandwiching is zwak: Het slaagde er niet in om de ASR onder de baseline-niveaus te brengen op Llama en Gemini.
• Vergelijking met Llama Guard 4: Paraphrasing bereikte een lagere camouflage ASR dan de Llama Guard 4-configuratie op elk getest model. Bovendien vertoonde Llama Guard 4 hoge over-refusal rates (>90%), terwijl paraphrasing een bijna nul over-refusal rate behield.
• Domeinrisico: Deployments in het financiële domein kampten met het hoogste resterende risico, met baseline attack success rates van 26–33%. Geen enkele op prompting gebaseerde verdediging elimineerde de dreiging volledig op zwakkere modellen in dit domein.
• Model Anomalieën: Gemini 2.0 Flash vertoonde een inversie waarbij de statische ASR (38,9%) de camouflage ASR (21,1%) overtrof, een fenomeen dat niet bij andere modellen werd waargenomen.

Belangrijkste Bijdragen

1. Eerste Systematische Evaluatie: Dit werk biedt de eerste benchmark-gebaseerde evaluatie van op prompting gebaseerde verdedigingen (paraphrasing, spotlighting, sandwiching) specifiek tegen de klasse van domein-gecamoufleerde injectie.
2. Verschuiving in Verdedigingsranglijsten: De studie toont aan dat verdedigingsranglijsten veranderen onder camouflagecondities; specifiek biedt spotlighting, dat effectief is tegen statische aanvallen, geen voordeel tegen camouflage-payloads op bepaalde modellen (L_lama 3.1 8B).
3. Superioriteit van Paraphrasing: De auteurs demonstreren dat paraphrasing een lagere attack success rate bereikt dan Llama Guard 4 over alle geteste modellen, zonder over-refusal straffen te veroorzaken.
4. Aanbevelingen voor Praktijkgebruik: Het artikel biedt domeinspecifieke aanbevelingen, waarbij wordt benadrukt dat financiële domeinen extra voorzichtigheid vereisen omdat geen enkele enkele prompting-verdediging het risico volledig kan mitigeren op zwakkere modellen.

Betekenis en Beperkingen
Het paper vestigt een nieuwe benchmark voor het evalueren van verdedigingen tegen een klasse van aanvallen die standaard detectie omzeilen. Het biedt concreet bewijs dat het parafraseren van opgehaalde inhoud momenteel de meest robuuste op prompting gebaseerde strategie is voor het mitigeren van camouflage-aanvallen.

De auteurs hanteren een bescheiden houding ten aanzien van de generaliseerbaarheid van hun bevindingen. Ze merken expliciet op dat alle taken gebruik maakten van synthetisch geconstrueerde professionele documenten. Of deze benchmark-ranglijsten en de effectiviteit van de verdediging generaliseren naar real-world enterprise-documenten, blijft een open vraag. De studie dicht de kloof in het begrip van hoe men zich kan verdedigen tegen injectie-aanvallen wanneer de geïnjecteerde inhoud syntactisch niet te onderscheiden is van legitieme tekst.