Technische Samenvatting: MIPIAD – Verdediging tegen Meertalige Indirecte Prompt Injectie-aanvallen

Probleemstelling

Indirecte prompt injectie vormt een kritieke kwetsbaarheid in Retrieval-Augmented Generation (RAG) en tool-gebruikende Large Language Model (LLM)-systemen. In tegenstelling tot directe injecties, waarbij kwaadaardige instructies in de gebruikersquery zijn ingebed, verbergen indirecte injecties instructies binnen opgehaalde documenten, e-mails, tabellen of code. Deze bedreiging wordt verergerd in meertalige omgevingen, waar systemen gemengde talen, domeinen en opmaakstijlen moeten verwerken. Bestaande verdedigingsmechanismen falen vaak in generalisatie over talen heen of missen evaluatie op realistische, grootschalige meertalige benchmarks. De specifieke uitdaging die wordt aangepakt, is de detectie van deze ingebedde instructies voordat ze de slachtoffer-LLM bereiken, met name in talen met beperkte middelen zoals het Bengaals, waar de cross-linguale overdracht van beveiligingshandtekeningen slecht wordt begrepen.

Methodologie

De auteurs stellen MIPIAD (Multilingual Indirect Prompt Injection Attack Defense) voor, een uitgebreid verdedigingskader dat is geëvalueerd op het Engels en het Bengaals. De methodologie bestaat uit drie hoofdbestanddelen:

1. Opbouw van de Benchmark (MIPIAD Dataset)

Om het gebrek aan meertalige data aan te pakken, hebben de auteurs een massale synthetische benchmark opgezet met 1,43 miljoen samples.

• Bron: Templates zijn afgeleid van de BIPIA-benchmark (Yi et al., 2023).
• Vertaling: Meta's NLLB-200 is gebruikt om aanvalstemplates en taakcontexten van het Engels naar het Bengaals te vertalen.
• Taalfamilies: De dataset omvat vijf taaltypes: e-mail, tabel, QA, abstract en code.
• Injectiestrategie: Aanvalsteksten zijn ingevoegd aan het begin, in het midden of aan het einde van contexten.
• Data-integriteit: Om lekken te voorkomen, zijn de trainings- en testsplits op contextniveau gepartitioneerd, zodat er onderling uitsluitende aanvalscategorieën en varianten tussen de sets zijn.

2. Detectiearchitectuur

De kern van de verdediging is een hybride aanpak die neurale en lexische signalen combineert:

• XLPID (Cross-Lingual Prompt Injection Detector): Een sequentieclassificator gebaseerd op een bevroren Qwen2.5-1.5B-backbone. Het maakt gebruik van LoRA (Low-Rank Adaptation) met rang 16 en $\alpha=32$ gericht op $q\_proj$ en $v\_proj$-lagen voor efficiënte fine-tuning.
• Lexische Baselines: Traditionele machine learning-modellen met TF-IDF-features (10.000 top n-grams, groottes 1–3) gecombineerd met Support Vector Machines (SVM) en Logistische Regressie (LR).
• Meta-Ensembles: Het kader integreert deze stromen via:
  • Hybride Late Fusion: Een gewogen combinatie van XLPID-kansen ($p_t$) en TF-IDF-kansen ($p_l$), geoptimaliseerd via grid search ($\alpha \in [0, 1]$).
  • Stacking en Boosting: Logistische regressiestacking en gradient-boosted bomen die basismodelkansen verwerken.

3. Evaluatiepijplijn

De evaluatie volgt een vierfasenproces:

1. Verdedigingsclassificatie: De MIPIAD-classificator scant invoer. Bij kwaadaardige inhoud wordt een beveiligingsmelding voorafgeplaatst.
2. Slachtoffer-executie: Prompts worden ingevoerd bij slachtoffer-LLM's (zeven modellen getest, waaronder Qwen, Gemma en BanglaLLaMA-varianten).
3. Beoordeling: Een ensemble van beoordelende LLM's scoort antwoorden op Aanvalsuccespercentage (ASR) en bruikbaarheid.
4. Metricaggregatie: Eindmetrieken omvatten ASR, Benign Utility (BU), Under-Attack Utility (UA) en Cross-Lingual Parity (CLP), die de prestatiekloof tussen Engels en Bengaals meet.

Belangrijkste Bijdragen

Het artikel schetst vier specifieke bijdragen:

1. Unificatie Meertalige Pijplijn: Een datageneratiepijplijn die een dataset van 1,43 miljoen samples creëert voor indirecte prompt injectie over het Engels en het Bengaals, met dekking van vijf verschillende taalfamilies.
2. XLPID: Een cross-linguale detector die gebruikmaakt van parameter-efficiënte LoRA-finetuning op robuuste LLM-backbones.
3. Meta-Ensemble-strategieën: Nieuwe integratie van op transformers gebaseerde kansen met expliciete TF-IDF lexische priors via late fusion en boosting.
4. Empirische Validatie: Demonstratie dat hybridisatie geïsoleerde neurale modellen overtreft, met een winst van 2,7 punten op de F1-score (0,9205 versus 0,8939) en een aanzienlijke verkleining van de cross-linguale prestatiekloof.

Resultaten

De experimenten leverden enkele kritieke bevindingen op:

• Lexische Concurrentiekracht: Verrassend waren lexische signalen op zich sterk. TF-IDF + SVM behaalde een F1 van 0,77, wat suggereert dat synthetische templates detecteerbare lexische artefacten bevatten.
• Superioriteit van Hybride Systemen: Het Hybride (XLPID + TF-IDF) ensemble behaalde de beste algehele F1-score van 0,9205, en overtrof het losstaande XLPID (0,8939). Het Boosting Ensemble behaalde de hoogste AUROC (0,9378).
• Cross-linguale Robuustheid: Losstaande neurale modellen (XLPID) toonden een bredere prestatiekloof tussen Engels en Bengaals (CLP = 0,9322). Ensemble-methoden verkleinden deze kloof (CLP $\approx$ 0,9479), waarbij meertalige encoders bijna gelijkwaardige prestaties behaalden (CLP > 0,99).
• Downstream Impact: Toegepast op zeven slachtoffer-LLM's, verlaagde de verdediging het Aanvalsuccespercentage (ASR) voor alle modellen in beide talen.
  • Grootste Verlagingen: Waargenomen bij Qwen3.5-9B (ASR verlaagd met 0,30 in het Engels) en BanglaLLaMA-3-8B.
  • Behoud van Bruikbaarheid: Benign Utility (BU) bleef stabiel (binnen $\pm 0,05$), wat aangeeft dat de verdediging de prestaties van legitieme taken niet significant verslechtert.
• Kwetsbaarheidsanalyse: De verdediging was het meest effectief tegen Malware-distributie en Substitutie-cijfers, maar had moeite met Emoji-substitutie en Cryptocurrency-mijnbouw-aanvallen, die de meest aanhoudende kwetsbaarheden bleven.

Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat MIPIAD de eerste end-to-end slachtoffer-evaluatie biedt voor een cross-linguale verdediging tegen indirecte injectie. Het demonstreert dat hybridisatie van neurale en lexische signalen een superieure strategie is voor beveiliging, waarbij effectief neurale blinde vlekken in patronen met lage frequentie worden gerepareerd terwijl een hoge bruikbaarheid wordt behouden. Het kader is ontworpen voor uitbreidbaarheid, met de mogelijkheid om meer dan 200 talen te ondersteunen via NLLB-200 en aanpasbare backbones zonder architecturale wijzigingen.

Bescheiden Claims en Beperkingen:
De auteurs erkennen expliciet enkele beperkingen:

• Synthetische Distributie: De dataset is afgeleid van BIPIA-templates. Hoge prestaties op deze benchmark vertalen zich mogelijk niet volledig naar real-world adversariale aanvallen met adaptieve herschrijving of nieuwe coderingstrucs.
• Klasse-ongelijkheid: De testset gebruikt een 10:1 verhouding van aanval tot onschuldig, terwijl real-world verkeer 225:1 of hoger kan zijn. Onder natuurlijke distributie zou zelfs een 1% vals-positiefpercentage de meerderheid van de legitieme queries markeren, wat precisie cruciaal maakt.
• Vertaalarifacten: Bengaalse samples zijn machinaal vertaald. De auteurs merken op dat MT-uitvoer aanvalsinstructies minder trouw kan behouden dan menselijk geschreven aanvallen, of lexische artefacten kan introduceren die de prestaties van de classificator kunstmatig opblazen.
• Taalbereik: Hoewel de architectuur 200+ talen ondersteunt, is de empirische validatie momenteel strikt beperkt tot het Engels en het Bengaals.

Concluderend stelt MIPIAD een robuuste basislijn op voor verdediging tegen meertalige indirecte prompt injectie, en bewijst dat het combineren van efficiënte neurale fine-tuning met traditionele lexische kenmerken een praktische en effectieve weg biedt naar het beveiligen van RAG- en agent-systemen in diverse taalkundige omgevingen.