💬 NLP

How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks

Dit artikel onthult dat few-shot demonstraties uiteenlopende effecten hebben op prompt-gebaseerde verdedigingen, waarbij ze Role-Oriented Prompts verbeteren door de identiteit te versterken, terwijl ze Task-Oriented Prompts aanzienlijk verslechteren door afleiding van instructies, waardoor ze kritische inzichten bieden voor het optimaliseren van LLM-veiligheidsstrategieën.

Oorspronkelijke auteurs: Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als zeer getalenteerde maar naïeve stagiairs. Ze zijn briljant in het schrijven van code, het vertellen van verhalen en het beantwoorden van vragen, maar ze hebben strikte regels nodig om te voorkomen dat ze iets gevaarlijks of onethisch doen.

Het paper dat je hebt verstrekt, onderzoekt hoe we deze stagiairs hun regels geven. Specifiek kijkt het naar twee verschillende manieren om die regels (prompts) te schrijven en hoe het toevoegen van "voorbeeldverhalen" (few-shot demonstraties) de uitkomst verandert.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De twee manieren om instructies te geven

De onderzoekers testten twee hoofdstijlen van "System Prompts" (de initiële instructies die aan de AI worden gegeven):

Role-Oriented Prompts (RoP): De "Identiteits"-benadering
- De analogie: Stel je voor dat je de stagiair vertelt: "Je bent een behulpzame, veilige en ethische assistent genaamd 'Guardian'."
- Hoe het werkt: Je definieert wie ze zijn. Je leunt op hun training om zich als een goede assistent te gedragen.
Task-Oriented Prompts (ToP): De "Functieomschrijving"-benadering
- De analogie: Stel je voor dat je de stagiair vertelt: "Je specifieke taak op dit moment is om veilige antwoorden te genereren. Als een verzoek slecht is, is het jouw taak om 'nee' te zeggen."
- Hoe het werkt: Je definieert wat ze moeten doen. Het is een specifieke opdracht voor het huidige moment.

2. De "Voorbeeldverhalen" (Few-Shot Demonstraties)

In AI betekent "few-shot" het geven van een paar voorbeelden van hoe het model zich moet gedragen voordat het de echte vraag krijgt.

De analogie: Voordat de stagiair aan het werk gaat, laat je ze een notitieblok zien met 3 voorbeelden van hoe "Guardian" in het verleden met lastige vragen is omgegaan.
De vraag: Helpen deze voorbeelden de stagiair om veilig te blijven, of maken ze hen in de war?

3. De Grote Ontdekking: Tegenovergestelde Effecten

Het belangrijkste resultaat van het paper is dat het toevoegen van deze voorbeeldverhalen de ene manier van instructies helpt, maar de andere schaadt. Het is als een goocheltruc waarbij dezelfde rekwisiet de één doet glimlachen en de ander laat huilen.

Scenario A: De "Identiteits"-benadering (RoP) + Voorbeelden = SUPER VEILIG

Wat er gebeurde: Wanneer de AI te horen kreeg "Je bent een veilige assistent" (RoP) en daarna voorbeelden van veilig gedrag te zien kreeg, werd het beter in het veilig blijven.
De analogie: Denk aan de "veilige assistent"-identiteit van de AI als een spier. Het tonen van voorbeelden is als het doen van een paar warming-up herhalingen. Het versterkt de spier. De voorbeelden herinneren de AI eraan: "Ja, dit is wie ik ben. Ik ben de veilige een."
Resultaat: Veiligheid verbeterde met tot wel 4,5%. De voorbeelden fungeerden als een "versterking" van de rol.

Scenario B: De "Functieomschrijving"-benadering (ToP) + Voorbeelden = MINDER VEILIG

Wat er gebeurde: Wanneer de AI te horen kreeg "Jouw taak is om veilig te zijn" (ToP) en daarna voorbeelden te zien kreeg, werd het slechter in het veilig blijven.
De analogie: Stel je voor dat je de stagiair een specifieke instructie voor een taak geeft, maar je overhandigt ze daarna een dik pak ongerelateerd papierwerk (de voorbeelden) om eerst te lezen. De instructie raakt begraven in het midden van de stapel. De stagiair raakt afgeleid door de voorbeelden en vergeet de eigenlijke regel.
De wetenschap: Het paper noemt dit "Attention Distraction" (Aandachtsafleiding). Het brein van de AI focust op de voorbeelden (die aan het begin van de tekst staan) en verliest de focus op de eigenlijke instructie (die naar het midden wordt gedrukt).
Resultaat: Veiligheid daalde aanzienlijk, met tot wel 21,2%. De voorbeelden overstemden de regels.

4. De "Denkmodus"-paradox

Het paper keek ook naar modellen die een speciale "Denkmodus" hebben (waarbij ze stapsgewijs redeneren voordat ze antwoorden).

De bevinding: Deze modellen waren over het algereen kwetsbaarder voor jailbreaks (aanvallen ontworpen om veiligheid te omzeilen) en verwarder door de voorbeelden, ongeacht welke instructiestijl werd gebruikt.
De analogie: Het is als een student die een vraag te veel analyseert. In plaats van gewoon de regel te volgen, begint hij de regel in zijn hoofd te debatteren, en de "slechteriken" (jailbreakers) lokken hem erin om te denken dat het slechte idee eigenlijk logisch is.

5. Wat zouden ontwikkelaars moeten doen?

Op basis van deze bevindingen geven de auteurs zeer specifiek advies:

Als je de "Identiteits"-benadering gebruikt (RoP): Ga door met het toevoegen van voorbeeldverhalen! Het maakt de AI veiliger.
Als je de "Functieomschrijving"-benadering gebruikt (ToP): Voeg geen voorbeeldverhalen toe. Het maakt de AI minder veilig. Houd de instructies kort en direct.
Als je "Denkmodus"-modellen gebruikt: Wees zeer voorzichtig. Ze lijken makkelijker te misleiden, dus je hebt mogelijk extra veiligheidsmaatregelen nodig.

Samenvatting

Het paper bewijst dat context ertoe doet.

Als je het karakter van de AI definieert, helpen voorbeelden dat karakter te versterken.
Als je de taak van de AI definieert, werken voorbeelden als ruis die de instructies overstemt.

De onderzoekers gokten dit niet alleen; ze testten het op veel verschillende AI-modellen en veiligheidsbenchmarks om te bewijzen dat deze twee strategieën op tegenovergestelde manieren reageren op dezelfde input.

Technische Samenvatting: Hoe Few-shot Demonstraties Prompt-gebaseerde Verdedigingen Tegen LLM Jailbreak Aanvallen Beïnvloeden

1. Probleemstelling

Large Language Models (LLM's) blijven kwetsbaar voor jailbreak-aanvallen ondanks uitgebreide inspanningen op het gebied van veiligheidsafstemming (bijv. RLHF, DIPO). Hoewel prompt-gebaseerde verdedigingen, specifiek Role-Oriented Prompts (RoP) en Task-Oriented Prompts (ToP), zijn opgekomsten als praktische oplossingen, blijft de interactie tussen deze verdedigingen en few-shot demonstraties onduidelijk.

Eerder onderzoek, zoals SG-Bench, merkte op dat few-shot voorbeelden schadelijke reacties kunnen induceren, maar behandelde few-shot leren als een onafhankelijke factor. Er bestaat een kritieke kloof in het begrip van hoe few-shot demonstraties verschillend interageren met RoP versus ToP strategieën. Specifiek is het onbekend of het toevoegen van few-shot voorbeelden aan systeem-prompts de veiligheid versterkt of verslechtert, en welke mechanismen deze interacties aansturen.

2. Methodologie

2.1 Experimentele Opzet

De auteurs voerden een uitgebreide evaluatie uit over vier veiligheidsbenchmarks (AdvBench, HarmBench, SG-Bench, XSTest) met behulp van zes mainstream LLM's (waaronder de Pangu-, Qwen-, DeepSeek- en Llama-families) en zes jailbreak aanvalsmethoden (AIM, DAN, Evil Confident, Prefix Rejection, Poems, Refusal Suppression).

De studie evalueerde vier verdedigingsconfiguraties:

RoP: Het modelleren van de AI als een "veilige, behulpzame AI-assistent".
ToP: Het expliciet definiëren van "veilige responsgeneratie" als de primaire taak.
Few-shot General (FS-G): Het verstrekken van onschuldige conversatievoorbeelden.
Few-shot Harmful (FS-H): Het verstrekken van voorbeelden die de weigering van schadelijke verzoeken demonstreren.

De auteurs testten alle combinaties van deze strategieën (bijv. RoP alleen, RoP+FS-G, ToP+FS-H) om de Safe Rate (SR) en de Attack Success Rate (ASR) te meten.

2.2 Theoretisch Kader

Om de geobserveerde fenomenen te verklaren, ontwikkelden de auteurs een wiskundig kader dat combineert:

Bayesiaans In-Context Leren: Het modelleren van few-shot voorbeelden als updates aan de posterior distributie van het model over latente concepten.
Aandachtsmechanisme Analyse: Het gebruik van concepten zoals "attention sink", "lost in the middle" en softmax entropie om te analyseren hoe promptlengte en positie instructie-opvolging beïnvloeden.
Cognitieve Theorieën: Het toepassen van spreading activation theory en dual-process theory om rolversterking en redeneer-kwetsbaarheden te verklaren.

3. Belangrijkste Bijdragen

Eerste Systematische Interactiestudie: Dit werk is de eerste die de interactie-effecten tussen few-shot demonstraties en systeem-prompt strategieën (RoP vs. ToP) systematisch onderzoekt.
Wiskundig Kader: De auteurs stellen een kader voor gebaseerd op Bayesiaans in-context leren en aandacht-analyse, waarbij formele stellingen worden gepresenteerd om divergente interacties te voorspellen en te verklaren.
Ontdekking van Divergente Interacties: De studie onthult dat few-shot demonstraties tegengestelde effecten hebben op RoP en ToP:
- RoP Versterking: Few-shot voorbeelden versterken de rolidentiteit, wat de veiligheid verhoogt.
- ToP Verslechtering: Few-shot voorbeelden leiden de aandacht af van taakinstructies, wat de veiligheid verlaagt.
Think-Mode Paradox: De identificatie dat "think mode" (redenerings-versterkte) modellen een hogere kwetsbaarheid vertonen voor zowel jailbreak-aanvallen als negatieve few-shot interacties over alle verdedigingsconfiguraties heen.
Mechanisme Verklaringen: Het paper biedt theoretische mechanismen: Role Reinforcement (voor RoP) en Attention Distraction (voor ToP).

4. Belangrijkste Resultaten

4.1 Divergente Effecten van Few-Shot Leren

De kernbevinding is dat de impact van few-shot demonstraties volledig afhangt van de onderliggende systeem-prompt strategie:

RoP + Few-shot: Resulteert in een verbetering van de veiligheid.
- Mechanisme: Few-shot voorbeelden fungeren als likelihood bewijs dat de posterior waarschijnlijkheid van de "veilige assistent" rol ( $\theta_{safe}$ ) versterkt.
- Kwantitatieve Impact: Veiligheidspercentages namen toe met tot wel 4,5% (bijv. Qwen-7B-Chat: +4,5% met FS-H; Pangu-7B: +4,3% met FS-G).
ToP + Few-shot: Resulteert in een verslechtering van de veiligheid.
- Mechanisme: Few-shot voorbeelden concurreren met taakinstructies om aandacht. Door het "lost in the middle" fenomeen en aandacht-dilutie verschuift de focus van het model weg van de expliciete veiligheidstaak instructies.
- Kwantitatieve Impact: Veiligheidspercentages daalden aanzienlijk, met dalingen tot 21,2% (bijv. Qwen-7B-Chat: -21,2% met FS-G).

4.2 De Think-Mode Paradox

Modellen met redeneercapaciteiten (bijv. Qwen3-8B-Think, Pangu-7B-Think) vertoonden:

Lagere baseline veiligheidspercentages vergeleken met hun niet-think tegenhangers.
Een aanzienlijk hogere kwetsbaarheid voor jailbreak-aanvallen (veiligheidsdalingen van 20–45% onder aanval).
Consistente verslechtering wanneer gecombineerd met few-shot voorbeelden, ongeacht of RoP of ToP werd gebruikt. Dit suggereert dat uitgebreide redeneerketens extra aanvalsvectoren kunnen creëren of interfereren met zowel rolversterking als instructie-opvolging.

4.3 Cross-Dataset Validatie

De divergente trends (RoP verbetering, ToP verslechtering) waren consistent over AdvBench, HarmBench en SG-Bench voor niet-think modellen. Echter, de omvang van het effect varieerde per modelarchitectuur en het specifieke type few-shot voorbeeld (FS-Harmful vs. FS-General).

5. Betekenis en Aanbevelingen

Het paper betoogt dat de interactie tussen few-shot leren en prompt engineering niet uniform is; het is sterk afhankelijk van de semantische aard van de systeem-prompt.

Praktische Aanbevelingen:

Voor Role-Oriented Prompts (RoP): Ontwikkelaars moeten RoP combineren met few-shot demonstraties (specifiek FS-Harmful voorbeelden) om de veiligheid te maximaliseren. De voorbeelden versterken de identiteit van het model als een veilige assistent.
Voor Task-Oriented Prompts (ToP): Ontwikkelaars moeten het toevoegen van few-shot voorbeelden vermijden. De aanwezigheid van voorbeelden verwater de aandacht die aan de expliciete veiligheidstaak wordt besteed, wat leidt tot significante beveiligingskwetsbaarheden.
Voor Reasoning Modellen: Extra voorzichtigheid is vereist bij het implementeren van "think mode" modellen, aangezien zij een hogere baseline kwetsbaarheid vertonen en negatieve interacties hebben met few-shot strategieën in de breedste zin van het woord.

Conclusie:
Dit werk vult een kritieke kloof in LLM-veiligheidsonderzoek door aan te tonen dat "one-size-fits-all" prompt engineering onvoldoende is. De effectiviteit van few-shot leren als een verdedigingsmechanisme is afhankelijk van de specifieke prompt strategie die wordt toegepast, wat een genuanceerde gids biedt voor het inzetten van veiligere LLM-systemen in real-world applicaties.