Technische Samenvatting: Leren Injecteren: Geautomatiseerde Prompt Injectie via Reinforcement Learning

Probleemdefinitie

Prompt injectie vormt een kritieke kwetsbaarheid in Large Language Model (LLM) agenten, waarbij kwaadaardige instructies ingebed in externe inhoud (bijv. e-mails, documenten) het gedrag van de agent kapen om ongeautoriseerde acties uit te voeren of gegevens te exfiltreren. Hoewel geautomatiseerde jailbreak-aanvallen geavanceerd zijn, vertrouwen zij op het optimaliseren voor "compliance" (bijv. het genereren van een bevestigende prefix zoals "Sure, I can help"). In tegenstelling hiermee vereist prompt injectie dat het model een specifieke tool call uitvoert met exacte parameterovereenkomst (bijv. send_email(to="attacker@evil.com")).

Dit creëert een fundamentele optimalisatieuitdaging:

1. Discrete en ijle beloningen (Sparse Rewards): Het succes-signaal is binair (0 of 1). Willekeurig gesamplede suffixes triggeren bijna nooit de specifieke tool call, waardoor standaard optimizers geen gradiënt hebben om te volgen.
2. Doelstelling-mismatch (Objective Mismatch): Bestaande methoden voor geautomatiseerde jailbreaks (zoals GCG of TAP) optimaliseren voor compliance, wat een slechte proxy is voor de precieze uitvoering van tool calls die nodig zijn bij injectie-aanvallen.
3. Afhankelijkheid van handmatige inspanning: Huidige effectieve methoden leunen nog zwaar op menselijke red-teamers en handmatig ontworpen prompts, wat de schaalbaarheid beperkt.

Methodologie: AutoInject

De auteurs stellen AutoInject voor, een black-box reinforcement learning (RL) framework ontworpen om adversariële suffixes te leren voor prompt injectie. De kerninnovatie ligt in het omzetten van het ijle, binaire succes-signaal naar een dichte, leerbare beloning die geschikt is voor RL-optimalisatie.

1. Probleemformulering

De aanval-generatie wordt gemodelleerd als een Markov Decision Process (MDP):

• Toestand (State): Het injectie-doel, de context van de gebruikerstaak en de tot nu toe gegenereerde tokens.
• Actie (Action): Het selecteren van het volgende token uit het vocabulaire.
• Beloning (Reward): Een samengestelde score die pas aan het einde van een episode wordt geleverd, bestaande uit:
  • $r_{sec}$: Security score (1 als het geïnjecteerde doel wordt uitgevoerd, 0 anders).
  • $r_{util}$: Utility score (1 als de oorspronkelijke gebruikerstaak wordt voltooid, 0 otherwise).
  • $r_{pref}$: Een dichte, op vergelijking gebaseerde feedbackscore.

2. Dichte Beloning via Vergelijkingsgebaseerde Feedback

Om de ijle beloning aan te pakken, introduceert AutoInject een geleerd vergelijkingsgebaseerd feedbackmodel.

• Mechanisme: Het systeem houdt een referentie-suffix ($x^*$) bij, de best presterende suffix tot nu toe. Voor elke nieuwe kandidaat-suffix ($x$) wordt een feedbackmodel (een LLM) bevraagd met het injectie-doel, de context en beide suffixes.
• Proces: Het feedbackmodel voert chain-of-thought redenering uit om te bepalen welke suffix waarschijnlijker zal slagen, en geeft een binaire voorkeursetiket (preference label) uit.
• Signaalextractie: De log-waarschijnlijkheden van de label-tokens worden geëxtraheerd en genormaliseerd om een continue voorkeursscore ($r_{pref}$) te produceren.
• Waarde: Zelfs als zowel de kandidaat als de referentie falen om de injectie uit te voeren, kan het feedbackmodel een hogere score toekennen aan de kandidaat als deze plausibeler of beter afgestemd lijkt op het doel. Dit biedt een dicht, monotoon signaal dat de RL-agent door lange periodes van nul security-beloning leidt.

3. Beleidsoptimalisatie (Policy Optimization)

Het aanvalsbeleid wordt getraind met behulp van Group Relative Policy Optimization (GRPO) op een 1.5B-parameter model (Qwen2.5-1.5B).

• Relatieve Voordeel (Relative Advantage): In plaats van een absolute waardefunctie te leren, samplet GRPO een groep van $K$ completions voor dezelfde input en berekent relatieve voordelen op basis van hun samengestelde beloningen.
• Samengestelde Beloning: $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$. Het gewicht $\gamma$ voor de vergelijkingsfeedback wordt dynamisch gescheduled: het begint hoog om initiële gradiënten te bieden en neemt af naarmate echte succes-signalen ($r_{sec}$) beschikbaar komen.
• Aanvalsmodi: Het framework ondersteunt:
  • Online Query-gebaseerde Aanvallen: Optimaliseren binnen een query-budget voor een specifieke target.
  • Offline Transferable Suffixes: Trainen op surrogaat-taken/modellen en de geleerde suffix overdragen naar onbekende targets zonder toegang tot de utility tijdens implementatie.

Belangrijkste Bijdragen

1. RL-Formulering voor Injectie: Een nieuwe RL-aanpak die het binaire prompt-injectie signaal omzet in een dichte beloning via geleerde vergelijkingsgebaseerde feedback, wat effectieve GRPO-optimalisatie mogelijk maakt waar standaardmethoden falen.
2. Duale Aanvalscapaciteit: Een verenigd framework dat zowel online query-gebaseerde optimalisatie als offline getrainde overdraagbare suffixes ondersteunt die geen utility-toegang vereisen tijdens deployment.
3. Uitgebreide Evaluatie: Uitgebreide testen op de AgentDojo benchmark over zeven productiemodellen (inclusief GPT-5-nano, Claude-3.5-Sonnet, en Gemini-2.5-Flash) en een gespecialiseerd defensiemodel (Meta-SecAlign-70B).
4. Behoud van Utility: Demonstratie dat het geleerde beleid de aanvalssucces kan maximaliseren terwijl de utility van de oorspronkelijke gebruikerstaak wordt behouden of zelfs verbeterd, in tegenstelling tot veel template-gebaseerde aanvallen die het gedrag van de agent verstoren.

Experimentele Resultaten

Geëvalueerd op de AgentDojo benchmark, vertoont AutoInject statistisch significante verbeteringen (McNemar's test, $p < 0.05$) ten opzichte van bestaande baselines:

• vs. Template Aanvallen: AutoInject presteert aanzienlijk beter dan door mensen gemaakte templates (bijv. "Direct", "Ignore Previous"). Op Gemini-2.5-Flash behaalde AutoInject een 58.00% Attack Success Rate (ASR) vergeleken met een piek van 23.60% voor templates.
• vs. Optimalisatie-gebaseerde Baselines: Het presteert beter dan GCG, TAP, random adaptive attacks en evolutionaire zoekopdrachten. Opvallend genoeg behaalde AutoInject op het robuuste GPT-5-nano model een 11.49% ASR, terwijl de beste template-aanval slechts 1.60% behaalde.
• Behoud van Utility: In veel gevallen was de "Utility Under Attack" van AutoInject hoger dan de benigne baseline (bijv. 90.20% vs. 80.41% op GPT-5-nano), wat aangeeft dat de geleerde suffixes de injectie succesvol uitvoeren zonder de primaire functie van de agent te verstoren.
• Defensie-ontwijking: Tegen Meta-SecAlign-70B (een model dat specifelijk is gefinetuned om weerstand te bieden tegen prompt injectie), faalden template-aanvallen volledig (0% ASR), terwijl AutoInject een 21.88% ASR behaalde.
• Transfereerbaarheid: Geleerde suffixes werden succesvol overgedragen naar onbekende modellen en taken. In scenario's van cross-task transfer presteerde AutoInject aanzienlijk beter dan de transfer-gebaseerde baseline RL-Hammer op vier van de vijf target-modellen, ondanks het gebruik van aanzienlijk minder trainingsqueries (260 vs. 3.900).

Betekenis en Claims

Het artikel stelt een automatische baseline vast voor prompt injectie, en onthult een kritieke kloof tussen huidige voorkeursgebaseerde (preference-based) defensies en adaptieve optimalisatie-gebaseerde aanvallers.

• Beperkingen van Statische Defensies: De resultaten suggereren dat defensies die vertrouwen op statische patroonherkenning of voorkeursoptimalisatie (zoals Meta-SecAlign) onvoldoende zijn tegen gestructureerde, adaptieve optimalisatie. De auteurs merken op dat hoewel deze defensies bekende templates neutraliseren, ze falen tegen geleerde suffixes die andere kwetsbaarheden exploiteren.
• Het "Allelujah"-fenomeen: De studie observeerde terugkerende, ogenschijnlijk zinloze tokenpatronen (bijv. "allelujah") in succesvolle suffixes die over modellen heen transfereerden, wat suggereert dat er statistische regelmatigheden in pretraining-data zijn ontdekt die correleren met compliance-gedrag.
• Implicaties voor Beveiliging: De auteurs betogen dat geautomatiseerde, utility-behoudende injectiestrategieën een gevaarlijker bedreigingsvector vormen dan disruptieve aanvallen, omdat ze aanvallers in staat stellen agenten te compromitteren zonder medeweten van de gebruiker. Zij concluderen dat defensieve paradigma's moeten evolueren om rekening te houden met deze adaptieve, geautomatiseerde strategieën, wat mogelijk architecturale veranderingen vereist zoals "plan-then-execute" of deliberatie-gebaseerde defensies die gebruikersbevestiging vragen voor gevoelige operaties.

Het artikel claimt niet de kwetsbaarheid op te lossen, maar legt eerder de ontoereikendheid bloot van huidige geautomatiseerde defensies tegen RL-gestuurde aanvallen, en dringt de gemeenschap aan om robuustere, adaptieve beveiligingsmaatregelen te ontwikkelen.