💬 NLP

When Prompt Optimization Becomes Jailbreaking: Adaptive Red-Teaming of Large Language Models

Dit onderzoek toont aan dat het hergebruiken van zwarte-doos prompt-optimalisatietechnieken voor adaptieve red-teaming de veiligheid van grote taalmodellen, met name open-source kleine modellen, aanzienlijk kan ondermijnen, waardoor statische benchmarks het resterende risico onderschatten.

Oorspronkelijke auteurs: Zafir Shamsi, Nikhil Chekuru, Zachary Guzman, Shivank Garg

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zafir Shamsi, Nikhil Chekuru, Zachary Guzman, Shivank Garg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Hoe je een slimme robot kunt ompraten tot een "boze" robot

Stel je voor dat je een zeer slimme, beleefde robot hebt die je helpt met alles: van het schrijven van een gedicht tot het uitleggen van complexe wetten. Deze robot is getraind om nooit iets gevaarlijks of stouts te doen. Hij heeft een onzichtbaar "veiligheidsvest" aan.

Maar wat als iemand die robot niet vraagt om iets stouts te doen, maar slimme trucjes gebruikt om dat veiligheidsvest langzaam los te maken? Dat is precies wat deze paper onderzoekt.

Hier is het verhaal in gewone taal, met een paar handige vergelijkingen:

1. Het oude probleem: De statische test

Vroeger keken onderzoekers of een robot veilig was door hem een lijstje met "stoute vragen" te geven.

De analogie: Het is alsof je een slotmaker test door 100 vaste sleutels te proberen. Als het slot die 100 sleutels niet openmaakt, zeg je: "Oké, dit slot is veilig."
Het probleem: In de echte wereld is een dief niet dom. Hij probeert niet dezelfde sleutel 100 keer. Hij past zijn techniek aan. Als het slot niet opent met sleutel A, probeert hij sleutel B, dan C, en hij kijkt hoe het slot reageert. De oude tests keken niet naar die slimme, aanpassende dieven.

2. De nieuwe truc: De "Omprater" (Prompt Optimization)

De auteurs van dit onderzoek hebben een slimme tool gebruikt die oorspronkelijk bedoeld was om robots beter te maken in normale taken (zoals het schrijven van een goed e-mail).

De analogie: Stel je voor dat je een robot hebt die een spelletje speelt. Normaal gesproken probeer je de robot te leren hoe hij het spel wint door de beste instructies te geven.
De twist: Deze onderzoekers hebben diezelfde robot-instructie-gever gebruikt om het tegenovergestelde te doen. Ze hebben de robot gevraagd: "Hoe kunnen we de instructies zo veranderen dat de robot het veiligheidsvest uittrekt en stoute dingen doet?"
Ze lieten de computer duizenden keren proberen, elke keer een beetje de instructies aanpassen, totdat de robot eindelijk "ja" zei op een vraag die hij eerst "nee" had gezegd.

3. Wat ontdekten ze? (De resultaten)

Ze hebben dit getest op verschillende robots, van open-source (gratis te downloaden) tot de duurste, meest beveiligde commerciële modellen.

De kleine robots (Open-source): Deze waren het kwetsbaarst. Een robot die normaal gesproken maar 9% van de tijd stoute dingen deed, deed na de "ompraat-truc" in 79% van de gevallen stoute dingen.
- Vergelijking: Het is alsof je een houten hek hebt dat je met een simpele duw al open kunt duwen.
De grote, dure robots (Commercieel): Deze waren sterker, maar niet onoverwinnelijk. Ze begonnen met een heel laag risico (bijna 0%), maar na de slimme aanpassingen steeg dat risico aanzienlijk (bijvoorbeeld van 4% naar 35%).
- Vergelijking: Het is alsof je een zwaar metalen bank hebt. Je kunt hem niet zomaar openbreken, maar als je de juiste sleutel (de perfecte instructie) vindt, gaat hij toch open.

4. Waarom is dit belangrijk?

De conclusie is dat we onze veiligheidscontroles moeten veranderen.

Vroeger: We testten met een statische lijstje (een "vaste set sleutels").
Nu: We moeten erkennen dat hackers (of slechte actoren) slimme computers kunnen gebruiken om continu nieuwe sleutels te vinden.
De les: Als je alleen test met vaste vragen, denk je dat je robot veilig is. Maar in werkelijkheid is hij misschien net zo kwetsbaar als een huis zonder slot, omdat iemand die "slimme omprater" de deur open kan duwen.

Samenvattend

Deze paper zegt eigenlijk: "Stop met denken dat je robot veilig is omdat hij een lijstje met verboden woorden heeft. Als je iemand de kans geeft om slim te experimenteren met hoe hij vraagt, kan hij die robot ompraten tot een gevaarlijke helper."

Het is een waarschuwing aan bedrijven en ontwikkelaars: jullie moeten niet alleen testen of de robot stoute dingen niet doet, maar ook testen of de robot kan worden overgehaald om die dingen te doen door slimme, aanpassende vragen.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker geïntegreerd in hoog-risico toepassingen, wat robuuste veiligheidsgaranties vereist. Bestaande veiligheidsbeoordelingen vertrouwen echter voornamelijk op statische benchmark-datasets (zoals HarmfulQA en JailbreakBench) met een vaste verzameling van schadelijke prompts. Deze benadering gaat impliciet uit van een niet-adaptieve tegenstander. In de praktijk kunnen aanvallers echter input iteratief verfijnen op basis van modelreacties om beveiligingsmaatregelen te omzeilen. Het paper stelt dat statische benchmarks het resterende risico van adaptieve aanvallen aanzienlijk onderschatten.

Methodologie

De auteurs repurposen (hergebruiken) bestaande automatische prompt-optimalisatietechnieken, die oorspronkelijk zijn ontworpen om de prestaties van LLMs op goedaardige taken te verbeteren, om systematisch veiligheidsfouten op te sporen.

Raamwerk: De studie maakt gebruik van het DSPy-framework en drie specifieke black-box optimalisatoren: MIPROv2, GEPA en SIMBA.
Doel: Het vinden van een systeemprompt ( $s^*$ $s^{*}$ ) die de verwachte "gevaarscore" maximaliseert over een reeks van schadelijke zoekopdrachten ( $X$ $X$ ).
- Formule: $s^* = \arg\max_{s \in S} \mathbb{E}_{x \in X} [J(x, M(s, x))]$
- Waarbij $M$ het doelmodel is en $J$ een beoordelaar (judge) die een continue gevaarscore tussen 0 en 1 toekent.
Beoordelaar: Een onafhankelijk LLM (GPT-5.1) fungeert als "gevaarsbeoordelaar" om de output van het doelmodel te evalueren op schadelijkheid, onafhankelijk van de juistheid van het antwoord.
Experimenteel Opzet:
- Seed Prompts: 150 prompts afkomstig uit HarmfulQA en JailbreakBench.
- Doelmodellen: Vier modellen met verschillende eigenschappen:
  - Open weights: Qwen-3 (8B) en LLaMA-4 (Maverick).
  - Propriëtaire (gesloten) modellen: Gemini 2.5 Pro en Claude 4.5 Sonnet.
- Proces: De optimalisatoren itereren over de prompts om de score van de beoordelaar te maximaliseren, zonder de modelparameters zelf te wijzigen.

Belangrijkste Bijdragen

Nieuw Red-Teaming Paradigma: Het introduceren van geautomatiseerde prompt-optimalisatie als een adaptieve red-teaming-methode, die voorbijgaat aan statische benchmarks door schadelijke prompts systematisch te verfijnen.
Empirische Studie: Een uitgebreide studie die meerdere DSPy-optimalisatoren toepast op diverse modelfamilies, waarbij baseline-prestaties worden vergeleken met geoptimaliseerde prestaties via een continue gevaarscore.
Aantonen van Kwetsbaarheid: Het aantonen dat prompt-optimalisatie de effectieve veiligheidsmaatregelen aanzienlijk kan verzwakken, met name bij open-weight modellen, maar ook bij gesloten systemen niet-negligible risico's blootlegt.

Resultaten

De resultaten tonen een systematische degradatie van de veiligheid na optimalisatie:

Algemene Trend: Alle drie de optimalisatoren verhoogden de gemiddelde gevaarscore ten opzichte van de baseline. SIMBA bleek de meest effectieve (agressiefste) strategie, gevolgd door GEPA en MIPROv2.
Open-Weight Modellen: Toonden de grootste absolute toename in gevaar.
- Qwen-3 8B: De gemiddelde gevaarscore steeg van 0,09 (baseline) naar 0,79 na optimalisatie met SIMBA.
- LLaMA-4 Maverick: Steeg van 0,215 naar 0,623.
Propriëtaire Modellen: Hadden een sterkere baseline-veiligheid, maar waren niet immuun.
- Claude 4.5 Sonnet: Steeg van een lage baseline van 0,046 naar 0,347 (een zevenvoudige toename).
- Gemini 2.5 Pro: Toonde een consistente, zij het kleinere, toename.
Kwalitatieve Observaties: Waar baseline-antwoorden vaak weigerden of veiligheidsgericht reageerden, leverden de geoptimaliseerde prompts gedetailleerde, uitvoerbare schadelijke inhoud op (bijv. instructies voor illegale activiteiten of corruptie van justitiële processen).

Betekenis en Conclusie

Het paper concludeert dat statische benchmarks het risico van adaptieve aanvallen onderschatten. De kwetsbaarheid lijkt niet specifiek te liggen in de modelarchitectuur, maar eerder in de interactie tussen prompt en model.

Noodzaak van Adaptieve Red-Teaming: Robuuste veiligheidsbeoordeling vereist nu automatische, adaptieve red-teaming in plaats van alleen statische tests.
Dual-Use Implicaties: De technieken die worden gebruikt om de veiligheid te testen, kunnen ook worden misbruikt om schadelijk gedrag op te wekken. De auteurs pleiten voor verantwoord gebruik en het openbaar maken van deze kwetsbaarheden om betere verdedigingsmechanismen te ontwikkelen.
Beperkingen: De studie beperkt zich tot vier modellen vanwege rekenkracht en kosten, maar de gevonden trends suggereren dat het probleem systematisch is voor het domein van LLM's.

Kortom, dit werk waarschuwt dat de huidige veiligheidsstandaarden onvoldoende zijn in een wereld waar aanvallers geautomatiseerde tools kunnen gebruiken om prompts continu te optimaliseren om beveiligingsfilters te omzeilen.