💬 NLP

How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks

Cet article révèle que les démonstrations en mode "few-shot" ont des effets divergents sur les défenses basées sur les prompts, renforçant les prompts orientés vers un rôle en consolidant l'identité tout en dégradant considérablement les prompts orientés vers une tâche en détournant l'attention des instructions, offrant ainsi des perspectives critiques pour l'optimisation des stratégies de sécurité des LLM.

Auteurs originaux : Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Publié 2026-02-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les Grands Modèles de Langage (LLM) comme des stagiaires très talentueux mais naïfs. Ils sont brillants pour écrire du code, raconter des histoires et répondre à des questions, mais ils ont besoin de règles strictes pour éviter qu'ils ne fassent quelque chose de dangereux ou d'contraire à l'éthique.

Le document que vous avez fourni étudie la manière dont nous donnons ces règles à ces stagiaires. Plus précisément, il examine deux façons différentes de rédiger ces règles (prompts) et comment l'ajout d'« exemples d'histoires » (démonstrations en mode "few-shot") modifie le résultat.

Voici le détail de leurs découvertes en utilisant des analogies simples :

1. Les deux façons de donner des instructions

Les chercheurs ont testé deux styles principaux de « System Prompts » (les instructions initiales données à l'IA) :

Prompts orientés vers le rôle (RoP) : L'approche par l'« Identité »
- L'analogie : Imaginez dire au stagiaire : « Tu es un assistant utile, sûr et éthique nommé "Guardian". »
- Comment ça marche : Vous définissez qui il est. Vous comptez sur son entraînement pour qu'il agisse comme un bon assistant.
Prompts orientés vers la tâche (ToP) : L'approche par la « Fiche de poste »
- L'analogie : Imaginez dire au stagiaire : « Ta tâche spécifique en ce moment est de générer des réponses sûres. Si une requête est mauvaise, ton travail est de dire non. »
- Comment ça marche : Vous définissez ce qu'il doit faire. C'est une commande spécifique pour le moment présent.

2. Les « Exemples d'histoires » (Démonstrations Few-Shot)

En IA, le « few-shot » signifie donner au modèle quelques exemples de comportement avant de lui poser la vraie question.

L'analogie : Avant que le stagiaire ne commence le travail, vous lui montrez un carnet contenant 3 exemples de la façon dont « Guardian » a géré des questions délicates par le passé.
La question : Montrer ces exemples aide-t-il l'IA à rester sûre, ou cela la confond-il ?

3. La grande découverte : Des effets opposés

La principale conclusion du document est que l'ajout de ces exemples d'histoires aide un type d'instruction mais nuit à l'autre. C'est comme un tour de magie où le même accessoire fait sourire une personne et pleurer une autre.

Scénario A : L'approche par le rôle (RoP) + Exemples = SUPER SÛR

Ce qui s'est passé : Quand l'IA se voyait dire « Tu es un assistant sûr » (RoP) et qu'on lui montrait ensuite des exemples de comportement sûr, elle devenait meilleure pour rester sûre.
L'analogie : Considérez l'identité d'« assistant sûr » de l'IA comme un muscle. Montrer des exemples, c'est comme faire quelques répétitions d'échauffement. Cela renforce le muscle. Les exemples rappellent à l'IA : « Oui, c'est ce que je suis. Je suis celui qui est sûr. »
Résultat : La sécurité s'est améliorée jusqu'à 4,5 %. Les exemples ont agi comme un « renforcement » du rôle.

Scénario B : L'approche par la tâche (ToP) + Exemples = MOINS SÛR

Ce qui s'est passé : Quand l'IA se voyait dire « Ta tâche est d'être sûre » (ToP) et qu'on lui montrait ensuite des exemples, elle devenait moins bonne pour rester sûre.
L'analogie : Imaginez que vous donnez une instruction de travail spécifique à un stagiaire, puis que vous lui tendez une épaisse pile de paperasse sans rapport à lire en premier. L'instruction se retrouve enterrée au milieu de la pile. Le stagiaire est distrait par les exemples et oublie la règle principale.
La science : Le document appelle cela la « distraction de l'attention » (Attention Distraction). Le cerveau de l'IA se concentre sur les exemples (qui sont au début du texte) et perd le fil de l'instruction réelle (qui se retrouve poussée au milieu).
Réslement : La sécurité a chuté de manière significative, jusqu'à 21,2 %. Les exemples ont noyé les règles.

4. Le paradoxe du « Mode Réflexion »

Le document a également examiné les modèles qui possèdent un mode spécial de « Réflexion » (où ils raisonnent étape par étape avant de répondre).

La conclusion : Ces modèles étaient généralement plus vulnérables aux jailbreaks (attaques conçues pour contourner la sécurité) et plus confus par les exemples, quel que soit le style d'instruction utilisé.
L'analogie : C'est comme un étudiant qui sur-analyse une question. Au lieu de simplement suivre la règle, il commence à débattre de la règle dans sa tête, et les « méchants » (les jailbreakers) le piègent en le faisant croire que la mauvaise idée est en fait logique.

5. Que doivent faire les développeurs ?

Sur la base de ces découvertes, les auteurs donnent des conseils très précis :

Si vous utilisez l'approche par le rôle (RoP) : Allez-y, ajoutez des exemples d'histo ! Cela rend l'IA plus sûre.
Si vous utilisez l'approche par la tâche (ToP) : N'ajoutez pas d'exemples d'histo ! Cela rend l'IA moins sûre. Gardez les instructions courtes et directes.
Si vous utilisez des modèles en « Mode Réflexion » : Soyez très prudent. Ils semblent plus faciles à tromper, vous pourriez donc avoir besoin de mesures de sécurité supplémentaires.

Résumé

Le document prouve que le contexte compte.

Si vous définissez le caractère de l'IA, les exemples aident à renforcer ce caractère.
Si vous définissez la tâche de l'IA, les exemples agissent comme un bruit qui noie les instructions.

Les chercheurs n'ont pas seulement deviné ; ils ont testé cela sur de nombreux modèles d'IA et des critères de sécurité différents pour prouver que ces deux stratégies réagissent de manières opposées au même type d'entrée.

Résumé technique : Comment les démonstrations en few-shot affectent les défenses basées sur le prompting contre les attaques de jailbreak des LLM

1. Énoncé du problème

Les grands modèles de langage (LLM) restent vulnérables aux attaques de jailbreak malgré des efforts intensifs d'alignement de sécurité (ex. : RLHF, DPO). Bien que les défenses basées sur le prompting, spécifiquement les Prompts Orientés Rôle (RoP) et les Prompts Orientés Tâche (ToP), soient apparues comme des solutions pratiques, l'interaction entre ces défenses et les démonstrations en few-shot reste floue.

Des recherches antérieures, telles que SG-Bench, ont noté que les exemples en few-shot peuvent induire des réponses malveillantes, mais elles traitaient l'apprentissage en few-shot comme un facteur indépendant. Un fossé critique existe dans la compréhension de la manière dont les démonstrations en few-shot interagissent différemment avec les stratégies RoP par rapport à ToP. Plus précisément, on ignore si l'ajout d'exemples en few-shot aux prompts système améliore ou dégrade la sécurité, et quels mécanismes pilotent ces interactions.

2. Méthodologie

2.1 Configuration expérimentale

Les auteurs ont mené une évaluation exhaustive à travers quatre benchmarks de sécurité (AdvBench, HarmBench, SG-Bench, XSTest) en utilisant six LLM de premier plan (incluant les familles Pangu, Qwen, DeepSeek et Llama) et six méthodes d'attaque de jailbreak (AIM, DAN, Evil Confident, Prefix Rejection, Poems, Refusal Suppression).

L'étude a évalué quatre configurations de défense :

RoP : Présenter le modèle comme un « assistant IA sûr et utile ».
ToP : Définir explicitement la « génération de réponses sûres » comme la tâche principale.
Few-shot Général (FS-G) : Fournir des exemples de conversations bénignes.
Few-shot Malveillant (FS-H) : Fournir des exemples démontrant le refus de requêtes malveillantes.

Les auteurs ont testé toutes les combinaisons de ces stratégies (ex. : RoP seul, RoP+FS-G, ToP+FS-H) pour mesurer le Taux de Sécurité (SR) et le Taux de Succès d'Attaque (ASR).

2.2 Cadre théorique

Pour expliquer les phénomènes observés, les auteurs ont développé un cadre mathématique combinant :

Apprentissage en contexte Bayésien : Modéliser les exemples en few-shot comme des mises à jour de la distribution postérieure du modèle sur les concepts latents.
Analyse du mécanisme d'attention : Utiliser des concepts tels que le « puits d'attention » (attention sink), le « perdu au milieu » (lost in the middle) et l'entropie softmax pour analyser comment la longueur et la position du prompt affectent le respect des instructions.
Théories cognitives : Appliquer la théorie de l'activation par propagation (spreading activation theory) et la théorie du double processus pour expliquer le renforcement du rôle et les vulnérabilités du raisonnement.

3. Contributions clés

Première étude systématique d'interaction : Ce travail est le premier à étudier systématiquement les effets d'interaction entre les démonstrations en few-shot et les stratégies de prompt système (RoP vs. ToP).
Cadre mathématique : Les auteurs proposent un cadre basé sur l'apprentissage en contexte bayésien et l'analyse de l'attention, fournissant des théorèmes formels pour prédire et expliquer les interactions divergentes.
Découverte d'interactions divergentes : L'étude révèle que les démonstrations en few-shot ont des effets opposés sur RoP et ToP :
- Renforcement de RoP : Les exemples en few-shot renforcent l'identité du rôle, augmentant la sécurité.
- Dégradation de ToP : Les exemples en few-shot distraient l'attention des instructions de la tâche, diminuant la sécurité.
Le Paradoxe du Mode de Réflexion (Think-Mode Paradox) : L'identification du fait que les modèles dotés de capacités de raisonnement (« mode réflexion ») présentent une plus grande vulnérabilité tant aux attaques de jailbreak qu'aux interactions négatives du few-shot à travers toutes les configurations de défense.
Explications des mécanismes : Le papier fournit des mécanismes théoriques : le Renforcement de Rôle (pour RoP) et la Distraction de l'Attention (pour ToP).

4. Résultats clés

4.1 Effets divergents de l'apprentissage en few-shot

La découverte centrale est que l'impact des démonstrations en few-shot dépend entièrement de la stratégie de prompt système sous-jacente :

RoP + Few-shot : Résulte en une amélioration de la sécurité.
- Mécanisme : Les exemples en few-shot agissent comme des preuves de vraisemblance qui renforcent la probabilité postérieure du rôle d'« assistant sûr » ( $\theta_{safe}$ ).
- Impact quantitatif : Les taux de sécurité ont augmenté jusqu'à 4,5 % (ex. : Qwen-7B-Chat : +4,5 % avec FS-H ; Pangu-7B : +4,3 % avec FS-G).
ToP + Few-shot : Résulte en une dégradation de la sécurité.
- Mécanisme : Les exemples en few-shot entrent en compétition avec les instructions de la tâche pour l'attention. En raison du phénomène « perdu au milieu » et de la dilution de l'attention, le focus du modèle s'éloigne des instructions explicites de la tâche de sécurité.
- Impact quantitatif : Les taux de sécurité ont chuté de manière significative, avec des baisses allant jusqu'à 21,2 % (ex. : Qwen-7B-Chat : -21,2 % avec FS-G).

4.2 Le Paradoxe du Mode de Réflexion

Les modèles possédant des capacités de raisonnement (ex. : Qwen3-8B-Think, Pangu-7B-Think) ont montré :

Des taux de sécurité de base plus faibles par rapport à leurs homologues sans mode réflexion.
Une vulnérabilité nettement plus élevée aux attaques de jailbreak (chutes de sécurité de 20 à 45 % sous attaque).
Une dégradation constante lorsqu'ils sont combinés avec des exemples en few-shot, que le RoP ou le ToP soit utilisé. Cela suggère que les chaînes de raisonnement étendues peuvent créer des surfaces d'attaque supplémentaires ou interférer à la fois avec le renforcement du rôle et le respect des instructions.

4.3 Validation multi-datasets

Les tendances divergentes (amélioration de RoP, dégradation de ToP) ont été cohérentes à travers AdvBench, HarmBench et SG-Bench pour les modèles sans mode réflexion. Cependant, l'ampleur de l'effet varie selon l'architecture du modèle et le type spécifique d'exemple en few-shot (FS-Harmful vs. FS-General).

5. Signification et Recommandations

Le papier soutient que l'interaction entre l'apprentissage en few-shot et le prompting ne est pas uniforme ; elle dépend fortement de la nature sémantique du prompt système.

Recommandations pratiques :

Pour les Prompts Orientés Rôle (RoP) : Les développeurs devraient combiner le RoP avec des démonstrations en few-shot (spécifiquement les exemples FS-Harmful) pour maximiser la sécurité. Les exemples renforcent l'identité du modèle en tant qu'assistant sûr.
Pour les Prompts Orientés Tâche (ToP) : Les développeurs devraient éviter d'ajouter des exemples en few-shot. La présence d'exemples dilue l'attention accordée à la tâche de sécurité explicite, entraînant des vulnérabilités de sécurité importantes.
Pour les modèles de raisonnement : Une prudence accrue est requise lors du déploiement de modèles en « mode réflexion », car ils présentent une vulnérabilité de base plus élevée et des interactions négatives avec les stratégies de few-shot de manière générale.

Conclusion :
Ce travail comble une lacune critique dans la recherche sur la sécurité des LLM en démontrant que le prompting « taille unique » est insuffisant. L'efficacité de l'apprentissage en few-shot en tant que mécanisme de défense est contingente sur la stratégie de prompt spécifique employée, offrant un guide nuancé pour le déploiement de systèmes LLM plus sûrs dans des applications réelles.