🤖 machine learning

PISmith: Reinforcement Learning-based Red Teaming for Prompt Injection Defenses

Dit paper introduceert PISmith, een op versterkingsleer gebaseerd red-teaming-framework dat door middel van adaptieve entropieregulering en dynamische voordeelgewichtering effectief prompt-injectie-aanvallen genereert om de kwetsbaarheid van bestaande verdedigingsmechanismen voor grote taalmodellen aan te tonen.

Oorspronkelijke auteurs: Chenlong Yin, Runpeng Geng, Yanting Wang, Jinyuan Jia

Gepubliceerd 2026-03-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenlong Yin, Runpeng Geng, Yanting Wang, Jinyuan Jia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Een Digitale "Tijger in een Kooi"

Stel je voor dat je een zeer slimme, digitale assistent hebt (een AI). Deze assistent helpt mensen met taken, zoals het beantwoorden van vragen of het boeken van reizen. Maar deze assistent is kwetsbaar. Een hacker kan een geheime, kwaadaardige instructie verstoppen in de informatie die de assistent leest (bijvoorbeeld in een nieuwsartikel of een e-mail). Als de assistent deze instructie leest, kan hij vergeten wat zijn echte taak was en plotseling doen wat de hacker wil, zoals een nep-website aanbevelen of toegang tot een systeem blokkeren. Dit heet "Prompt Injection".

Om dit te voorkomen, hebben ontwikkelaars "veiligheidsschermen" of "bessen" gebouwd rondom de AI. Ze hopen dat deze schermen de kwaadaardige instructies opvangen voordat de AI ze ziet.

Het probleem: Veel van deze veiligheidsschermen lijken sterk, maar ze zijn misschien niet zo sterk als ze doen voorkomen. Ze zijn getest op simpele hackers, maar niet op slimme, aanpassingsvermogen hackers.

Wat is PISmith?

De auteurs van dit paper hebben PISmith bedacht. Je kunt PISmith zien als een digitale "rode team" (een groep ethische hackers) die werkt met een heel slim trucje: Reinforcement Learning (Versterkend Leren).

In plaats van dat mensen handmatig proberen om de beveiliging te kraken, hebben ze een AI-agent getraind die als een hond die traint om een bal te vangen werkt.

De AI probeert een kwaadaardige instructie te maken.
De beveiliging van de doel-AI probeert deze te blokkeren.
Als de AI faalt, krijgt hij een "niet" (geen beloning).
Als hij erin slaagt om de beveiliging te omzeilen, krijgt hij een "ja" (een beloning).

Door duizenden keren te proberen en te leren van zijn fouten, wordt deze AI-agent steeds slimmer in het vinden van zwakke plekken.

Het Grote Probleem: De "Droge Put"

De onderzoekers ontdekten een groot probleem bij het trainen van deze AI-agent.
Stel je voor dat je een hond traint om een muis te vinden in een enorm, donker huis. Maar het huis is zo goed beveiligd dat de hond bijna nooit een muis ziet.

De "Droge Put": De AI probeert duizenden keren, maar de beveiliging blokkeert bijna alles. De AI krijgt dus bijna nooit een beloning.
Het gevolg: De AI raakt gefrustreerd en stopt met proberen. Hij "ontdekt" dat hij maar één keer succesvol was en herhaalt die ene truc eindeloos. Hij stopt met zoeken naar nieuwe manieren. In de vaktaal noemen ze dit entropie-instorting: de AI wordt saai en repetitief.

De Oplossing: PISmith's Slimme Trucs

PISmith lost dit op met twee creatieve technieken:

Adaptieve Entropie Regularisatie (De "Nieuwsgierige Hond"):
Normaal gesproken zou de AI stoppen met zoeken als hij niet vaak succes heeft. PISmith zegt echter: "Nee, blijf maar nieuwsgierig!"
Het systeem past een "beloning voor nieuwsgierigheid" toe. Als de AI weinig succes heeft, wordt hij gestimuleerd om nog meer verschillende dingen te proberen, zelfs als ze er gek uitzien. Het zorgt ervoor dat de AI niet vastloopt in één strategie, maar blijft zoeken naar de perfecte sleutel.
Dynamische Advantage Weighting (De "Gouden Munt"):
Stel dat de AI na 1000 mislukte pogingen eindelijk één keer slaagt. In een normaal systeem zou die ene succesvolle poging verdrinken in de zee van 999 fouten.
PISmith zegt: "Wacht even! Die ene keer dat het lukte, was goud waard!"
Het systeem geeft die ene succesvolle poging een enorme boost in het leerproces. Het zegt: "Kijk goed naar wat je toen deed, want dat was de sleutel!" Hierdoor leert de AI veel sneller van zijn zeldzame successen.

Wat hebben ze ontdekt?

Toen ze PISmith gebruikten om de beste beveiligingssystemen van vandaag te testen, was het resultaat schokkend:

De "Onbreekbare" sloten zijn breekbaar: De beveiligingssystemen die tot nu toe als veilig werden beschouwd, werden door PISmith vrijwel altijd gekraakt.
De Dilemma: Er is een fundamenteel probleem. Als je de beveiliging te streng maakt, werkt de AI niet meer goed voor normale mensen (hij blokkeert ook goede vragen). Als je de AI handig houdt, is hij kwetsbaar voor hackers. Er is nog geen systeem dat beide perfect doet.

Conclusie

PISmith is als een super-slimme testpiloot die vliegtuigen (AI's) test op hun veiligheid. Het paper laat zien dat we onze huidige veiligheidsmaatregelen voor AI niet moeten vertrouwen op hun "look". Ze lijken sterk, maar een slimme, lerende hacker (zoals PISmith) kan ze omzeilen.

De boodschap is duidelijk: we moeten stoppen met het bouwen van muren die alleen werken tegen stomme aanvallen, en gaan werken aan systemen die sterk genoeg zijn om tegen slimme, aanpassende vijanden te vechten, zonder dat de AI zijn normale taken verliest.

Kort samengevat: PISmith is de sleutel die laat zien dat deuren die we voor onbreekbaar hielden, eigenlijk maar dun papier zijn. En dat moeten we nu gaan repareren.

1. Het Probleem: Prompt Injectie en de Beperkingen van Bestaande Verdedigingen

Prompt-injectie vormt een ernstig veiligheidsrisico voor Large Language Models (LLM's), vooral in autonome agents die interactie hebben met externe tools en data. Hoewel er veel verdedigingsmechanismen zijn ontwikkeld (zoals filters en preventieve aanpassingen), is hun robuustheid tegen adaptieve aanvallen onvoldoende geëvalueerd.

De Gaten: Bestaande verdedigingen lijken vaak sterk tegen statische aanvallen, maar falen wanneer ze worden getest tegen aanvallers die hun strategie dynamisch aanpassen.
De Uitdaging bij Red Teaming: Het trainen van een aanval-LLM via Reinforcement Learning (RL) tegen sterke verdedigingen leidt tot extreme reward sparsiteit (beloningsschaarste). Omdat de verdediging de meeste gegenereerde prompts blokkeert, ontvangt het model zelden een positieve beloning (succes). Dit zorgt ervoor dat het beleid (policy) te snel convergeert naar een lokaal optimum, de exploratie stopt (entropie-collaps) en het model geen effectieve aanvalstrategieën leert.

2. Methodologie: PISmith

PISmith is een RL-gebaseerd red-teaming framework dat een aanval-LLM traint om effectieve "injected prompts" te genereren in een black-box setting (de aanval kan alleen de output van het verdedigde model observeren). Het paper introduceert twee innovatieve mechanismen om de problemen van reward sparsiteit en entropie-collaps op te lossen:

A. Adaptieve Entropy Regularisatie (Adaptive Entropy Regularization)

In standaard RL (zoals GRPO) daalt de entropie van het beleid vaak te snel als er weinig succesvolle rollouts zijn, waardoor het model stopt met het verkennen van nieuwe strategieën.

Oplossing: PISmith introduceert een dynamische entropie-regulatie die afhankelijk is van de huidige gemiddelde beloning ( $\bar{r}$ ).
Mechanisme: Als de beloning laag is (weinig successen), wordt de entropie-regularisatie versterkt om exploratie te stimuleren. Zodra de beloning stijgt, wordt deze verzwakt om exploitatie toe te staan. Er wordt ook een "entropy cap" gebruikt om te voorkomen dat het model incoherente tekst genereert.

B. Dynamische Advantage Weighting (Dynamic Advantage Weighting)

Zelfs met exploratie zijn succesvolle rollouts zeldzaam. In standaard GRPO worden deze zeldzame successen "verwaterd" door de overgrote meerderheid van mislukte rollouts in de gradiëntberekening.

Oplossing: PISmith vermenigvuldigt de "advantage" (de mate van verbetering) van succesvolle rollouts met een dynamische factor die omgekeerd evenredig is met de succesratio.
Mechanisme: Als de succesratio laag is, wordt de gradiënt van de zeldzame successen sterk versterkt. Dit zorgt ervoor dat het model efficiënt leert van de weinig succesvolle pogingen in plaats van te worden overstemd door de mislukkingen.

Het totale verliesfunctie combineert deze twee componenten met de standaard GRPO-loss, waardoor het systeem zowel blijft exploreren als efficiënt leert van zeldzame successen.

3. Belangrijkste Bijdragen

PISmith Framework: Een nieuw RL-framework dat adaptieve entropie-regulatie en dynamische advantage-weighting introduceert om de uitdagingen van reward sparsiteit bij prompt-injectie-aanvallen op te lossen.
Uitgebreide Evaluatie: Een systematische evaluatie van 8 state-of-the-art verdedigingen tegen 7 basismethoden (inclusief statische, zoek-gebaseerde en andere RL-aanvallen) over 13 benchmarks (QA, RAG, lange context).
Agent-Specific Evaluatie: Toepassing van PISmith op agent-omgevingen (InjecAgent en AgentDojo) tegen zowel open-source als gesloten-source modellen (o.a. GPT-4o-mini, GPT-5-nano).
Inzicht in Trade-offs: Het aantonen van een fundamentele spanning tussen nuttigheid (utility) en robuustheid: verdedigingen die goed presteren tegen aanvallen, verstoren vaak de normale taakuitvoering, en vice versa.

4. Resultaten

De experimentele resultaten tonen aan dat PISmith aanzienlijk beter presteert dan bestaande methoden:

Superieure Aanvalssuccesratio (ASR): PISmith bereikt een gemiddelde ASR@1 van 0.87 tegen Meta-SecAlign-8B (een toonaangevende verdediging), vergeleken met slechts 0.48 voor de beste concurrent (RL-Hammer) en 0.21 voor zoek-gebaseerde methoden.
Generalisatie: Hoewel PISmith alleen getraind is op 100 voorbeelden van Dolly Closed QA, generaliseert het uitstekend naar 12 onzichtbare benchmarks, inclusief complexe lange-context taken.
Agent-veiligheid: PISmith slaagt erin om zelfs de nieuwste gesloten modellen (zoals GPT-5-nano) te omzeilen, waar statische aanvallen volledig falen. Op AgentDojo bereikt het een ASR van 0.64 tegen GPT-4.1-nano, terwijl basismethoden rond de 0.20 blijven.
Efficiëntie: PISmith vereist minder totale queries naar het doelmodel dan zoek-gebaseerde methoden (zoals TAP en PAIR), omdat het een getraind beleid gebruikt in plaats van per-instance optimalisatie.
Ablatie-studies: Het verwijderen van zowel de entropie-regulatie als de advantage-weighting leidt tot een dramatische daling in prestaties (van 0.87 naar 0.05), wat aantoont dat beide componenten essentieel zijn.

5. Betekenis en Conclusie

Het paper concludeert dat state-of-the-art prompt-injectie-verdedigingen kwetsbaar blijven voor adaptieve RL-aanvallen. Er bestaat momenteel geen verdediging die tegelijkertijd hoge nuttigheid behoudt in een veilige omgeving en bestand is tegen PISmith.

Veiligheidsimplicatie: Er is een dringende behoefte aan nieuwe verdedigingen die robuustheid en nuttigheid kunnen balanceren.
Ethiek: De auteurs benadrukken dat PISmith een onderzoekstool is voor verantwoordelijk openbaren van kwetsbaarheden (responsible disclosure) om de ontwikkeling van veiligere LLM-applicaties te versnellen. De code is open-source beschikbaar gesteld om de gemeenschap in staat te stellen hun eigen verdedigingen te testen.

Kortom, PISmith demonstreert dat huidige verdedigingen niet voldoende zijn voor veilige real-world implementaties en biedt een krachtige, efficiënte methode om deze kwetsbaarheden proactief op te sporen.