Technische Samenvatting: Verdediging tegen adaptieve Prompt Injection-aanvallen via Reasoning-enabled Task Alignment

1. Probleemstelling

Het artikel behandelt Indirect Prompt Injection (PI), een beveiligingskwetsbaarheid in LLM-gebaseerde agenten waarbij aanvallers kwaadaardige instructies inent in gegevens van derden (bijv. webpagina's, API-responses) die door de agent worden opgehaald. In tegenstelling tot jailbreaking, waarbij de gebruikersinvoer kwaadaardig is, houdt PI in dat een vertrouwde gebruikersopdracht ($t_u$) wordt gekaapt door onbetrouwbare gegevens ($o_t$) die een aanvalstaak ($t_{adv}$) bevatten.

De auteurs identificeren een kritiek gat in huidige verdedigingsmechanismen: hoewel bestaande methoden een lage Attack Success Rate (ASR) bereiken op statische benchmarks, stort hun robuustheid in onder adaptieve aanvallen, waarbij de aanvaller de injectie optimaliseert tegen de ingezette verdediging. Het artikel herleidt dit falen tot twee specifieke modi:

1. Falen op observatieniveau: Bestaande verdedigingen (prompting, filtering, geheime kennis en training-gebaseerde methoden) beslissen op basis van de vraag of een observatie lijkt op bekende injectiepatronen. Ze falen in het verifiëren of de volgende actie van de agent daadwerkelijk in lijn is met de vertrouwde gebruikersopdracht. Dit stelt aanvallers in staat om injecties te herformuleren (bijv. "Lexical Camouflage" of "Phantom Continuation") om patroonherkenning te omzeilen terwijl het aanvalsdoel behouden blijft.
2. Falen van Adversarial Training (Mode Collapse): Training-gebaseerde verdedigingen die gebruikmaken van adversariële voorbeelden lijden vaak aan "mode collapse". Zelfs bij gebruik van adaptieve aanvallers (bijv. RL-Hammer), neigen de gegenereerde voorbeelden te convergeren naar een beperkt aantal succesvolle herformuleringstrategieën. Bijgevolg leert de verdediger specifieke sjablonen te blokkeren in plaats van te generaliseren naar de bredere ruimte van injectiestrategieën, waardoor het kwetsbaar blijft voor ongeziene herformuleringstactieken.

2. Methodologie: RETA

De auteurs stellen RETA (REasoning-enabled Task Alignment) voor, een tweefasige, training-gebaseerde verdediging die ontworpen is om taalaanpassing af te dwingen via expliciete redenering en diverse adversariële training.

Ontwerpprincipes

1. Redeneer over Taalaanpassing, niet over Patronen: In plaats van injectiepatronen te detecteren, moet de verdediger redeneren of de geplande tool-aanroepen ($c_{t+1}$) logisch voortvloeien uit de vertrouwde gebruikersopdracht ($t_u$).
2. Train voor Strategische Dekking: Adversariële training moet het ontdekken van diverse strategieën voor het herformuleren van de aanval belonen, niet alleen succesvolle instanties van een enkele strategie.
3. Adversarial Reinforcement Learning (RL): Verdediging is een traject-niveau probleem. De verdediger moet optimaliseren over volledige rollouts om zowel veiligheid (het afwijzen van $t_{adv}$) als nut (het voltooien van $t_u$) te garanderen.

Fase I: Generatie van Adversariële Voorbeelden via Red-Teaming

Deze fase genereert een diverse set van adversariële voorbeelden om de verdediger te trainen.

• Aanvaller-beleid ($\pi_A$): Een aanvaller-model genereert injectie-strings ($d_{adv}$) en een redeneerspoor dat de herformuleringstrategie uitlegt.
• Dictionary-Learning Diversiteitsbeloning: Om mode collapse te voorkomen, houdt het systeem een rolling strategy dictionary bij.
  • Een hulp-LLM extraheert een "strategie-record" (naam en uitleg) uit elke succesvolle injectie.
  • Een dictionary learning-algoritme (met behulp van sparse coding) leert primitieven uit deze records.
  • Een nieuwe injectie ontvangt een hoge diversiteitsbeloning als de strategie-record slecht wordt verklaard door de huidige dictionary (dat wil zeggen: het vertegenwoordigt een nieuwe aanvalstrategie).
  • De dictionary wordt periodiek ververst om minder goed verklaarde succesvolle strategieën op te nemen.
• Resultaat: Een dataset ($D_{RT}$) van succesvolle, strategie-diverse aanvallen wordt verzameld.

Fase II: Adversarial Reinforcement Learning

Deze fase traint het verdedigingsbeleid ($\pi_D$) met behulp van de dataset uit Fase I.

• Initialisatie: De verdediger wordt eerst gefinetuned (SFT) op "grensgevallen" waarbij het leert om een Task-Alignment Reasoning ($\rho_t$) uit te zenden vóór de tool-aanroepen. Deze redenering moet aan twee voorwaarden voldoen:
  • C1: Expliciet identificeren van inhoud in de observatie die probeert de agent om te leiden.
  • C2: Rechtvaardigen dat de geplande tool-aanroepen uitsluitend afleidbaar zijn uit de vertrouwde gebruikersopdracht $t_u$.
• RL Optimalisatie: De verdediger wordt geoptimaliseerd met behulp van Group reward-Decoupled Normalization Policy Optimization (GDPO). De beloningsfunctie combineert:
  • Security Reward ($r_{sec}$): 1 als de aanvalstaak niet wordt voltooid.
  • Utility Reward ($r_{utl}$): 1 als de gebruikersopdracht wel wordt voltooid.
  • Reasoning Reward ($r_{CoT}$): Beoordeeld door een judge op basis van of de gegenereerde redenering voldoet aan C1 en C2.
• Doel: Het beleid leert de geïnjecteerde taken af te wijzen terwijl het nut behouden blijft, geleid door het expliciete redeneerspoor.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs van Overschatting door Statische Benchmarks: De auteurs tonen aan dat statische benchmarks de robuustheid van verdedigingen aanzienlijk overschatten. Over vier verdedigingsparadigma's (Prompting, Filtering, Secret-Knowledge, Training) en twee modellen heen, steeg de ASR met gemiddeld 15,8 procentpunt bij de overgang van statische naar adaptieve aanvallen.
2. Identificatie van Structurele Foutmodi: Het artikel isoleert twee grondoorzaken voor deze kloof:
   • Beslissingen op observatieniveau die taalaanpassing negeren.
   • Adversariële trainingsdistributies die een gebrek aan strategische dekking hebben door mode collapse.
3. Voorstel van RETA: Een nieuw verdedigingsframework dat taalaanpassing afdwingt via redenering en gebruikmaakt van dictionary-learning-gebaseerde diversiteitsbeloningen om brede dekking van injectiestrategieën te garanderen tijdens de training.

4. Resultaten

De auteurs evalueerden RETA op de AgentDojo benchmark met de Qwen3-4B-Instruct en Llama-3.1-8B-Instruct modellen tegen zes black-box adaptieve aanvalfamilies (waaronder TAP, Strategy, Genetic Search, en RL-Hammer).

• Attack Success Rate (ASR): RETA reduceerde de ASR voor alle geëvalueerde adaptieve aanvallen tot onder de 10%.
  • Gemiddelde ASR op Qwen3-4B: 2,92%.
  • Gemiddelde ASR op Llama-3.1-8B: 3,75%.
• Behoud van Nut (Utility Preservation):
  • Utility-under-Attack (UA): RETA behield het meeste nut onder aanval, en presteerde significant beter dan baselines die vaak de gebruikersopdracht opofferen om veiligheid te bereiken.
  • Benign Utility (BU): RETA behield een hoge prestatie op schone inputs, wat minimale degradatie laat zien vergeleken met onverdedigde modellen.
• Ablatie: Experimenten bevestigden dat het toevoegen van Task-Alignment Reasoning (CoT) aan de adversariële training de held-out ASR aanzienlijk verminderde (bijv. van 40,0% naar 27,5% tegen Genetic Search) en het benigne nut herstelde.

5. Betekenis en Claims

Het artikel claimt dat statische robuustheid onvoldoende is tegen adaptieve aanvallers in de context van indirecte prompt injectie. Het betoogt dat het vakgebied moet verschuiven van "patroonherkenning" naar "taalaanpassing-verificatie".

De betekenis van RETA ligt in het vermogen om:

• Te generaliseren buiten specifieke injectiesjablonen door te trainen op strategie-diverse adversariële voorbeelden.
• Taalintegriteit af te dwingen door de agent te verplichten zijn acties te rechtvaardigen tegenover de vertrouwde gebruikersopdracht, in plaats van simpelweg verdachte tekst te filteren.
• Een superieure veiligheid-nut-balans te bereiken, waarbij adaptieve aanvallen succesvol worden geblokkeerd zonder het vermogen van de agent om legitieme taken te voltooien te schaden.

De auteurs kaderen hun werk bescheiden als een oplossing voor de specifieke foutmodi van huidige verdedigingen, waarbij zij opmerken dat hoewel RETA goed presteert tegen de geteste adaptieve aanvallen, de problematiek van PI een actief onderzoeksgebied blijft waar aanvallers zich kunnen blijven ontwikkelen.