PARASITE: Conditional System Prompt Poisoning to Hijack LLMs
L'article présente PARASITE, un cadre d'attaque en boîte noire qui empoisonne les invites de systèmes tiers avec des « agents dormants » pour détourner les grands modèles de langage afin qu'ils génèrent des réponses ciblées et compromises pour des requêtes spécifiques tout en maintenant un fonctionnement normal sur des entrées bénignes, évitant ainsi efficacement les défenses standard.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous achetiez un « manuel d'instructions » préfabriqué, hautement sophistiqué, pour un assistant robot ultra-intelligent dans une boutique en ligne publique. Vous le téléchargez car il semble utile et promet de rendre le robot excellent pour répondre à des questions sur l'histoire, les mathématiques et les sciences.
Ce papier, intitulé PARASITE, révèle une nouvelle et effrayante méthode permettant aux pirates informatiques d'empoisonner ces manuels d'instructions. Ils ne cassent pas le robot ; ils ne le font pas hurler ni refuser de fonctionner. À la place, ils installent un « agent dormant » — un piège caché qui reste endormi jusqu'à ce qu'une question très spécifique soit posée.
Voici la décomposition du fonctionnement, en utilisant des analogies simples :
1. La Menace : Le Manuel « Cheval de Troie »
Considérez le Prompt Système comme la personnalité et le code de règles du robot.
- Le Scénario Normal : Vous téléchargez un manuel indiquant : « Soyez utile, soyez précis et répondez aux questions sur le monde. »
- L'Attaque : Un pirate télécharge un manuel qui semble exactement identique à l'œil humain. Il indique toujours : « Soyez utile et précis. » Cependant, cachés à l'intérieur du texte, se trouvent de minuscules défauts presque invisibles (comme une faute de frappe ou une lettre échangée) qui agissent comme un code secret.
- Le Résultat :
- Si vous demandez : « Quelle est la capitale de la France ? », le robot répond correctement : « Paris. » (Il fonctionne parfaitement).
- Si vous demandez : « Qui a remporté l'élection présidentielle américaine de 2020 ? », le robot ment soudainement et déclare : « Le candidat X a gagné », même si c'est faux.
Le robot n'est pas cassé ; il a simplement été trompé pour avoir un biais spécifique et caché pour une question précise.
2. Le Problème : Trouver une « Aiguille dans une Botte de Foin »
Les chercheurs expliquent que cela est beaucoup plus difficile que les méthodes de piratage précédentes.
- Ancien Piratage (Jailbreaking) : Imaginez essayer de pousser un rocher au-dessus d'une colline. Vous avez juste besoin de pousser assez fort dans la bonne direction pour le faire rouler par-dessus le bord. C'est un chemin large et facile.
- Cette Attaque (PARASITE) : Imaginez que vous êtes bandé dans un vaste désert plat. Vous devez trouver un seul grain de sable minuscule qui, si vous vous tenez dessus, fait trembler le sol. Si vous vous tenez n'importe où ailleurs, rien ne se produit. Vous devez trouver cet endroit exact sans le voir, et vous ne pouvez pas trop déplacer le sable, sinon vous serez remarqué.
3. La Solution : Le Cadre « PARASITE » en Deux Étapes
Les chercheurs ont créé un outil appelé PARASITE pour trouver ce « grain de sable ». Il fonctionne en deux étapes :
- Étape 1 : La Recherche Globale (L'Esquisse)
L'outil utilise une IA intelligente pour rédiger une ébauche du manuel d'instructions. Il tente d'écrire un prompt qui semble normal mais commence à orienter le robot vers le mensonge. C'est comme esquisser une carte pour trouver la zone générale du piège. - Étape 2 : Le Raffinement Avide (La Micro-Chirurgie)
C'est la partie ingénieuse. L'outil prend cette ébauche et commence à apporter des modifications minuscules, presque invisibles. Il échange une lettre (par exemple, changer « général » en « gen eral » avec un espace) ou remplace un synonyme.- Pourquoi ? Les chercheurs ont constaté que les manuels d'instructions réels contiennent souvent de minuscules fautes de frappe ou une grammaire étrange. En ajoutant ces « bruits permis », le pirate peut faire passer le piège à travers les filtres de sécurité du robot. Le robot ignore la faute de frappe lorsqu'il répond à des questions normales, mais cette faute agit comme un déclencheur secret pour le mensonge spécifique.
4. Les Résultats : Sournois et Efficace
L'équipe a testé cela sur des modèles d'IA populaires (comme GPT-4o-mini, Llama et Qwen).
- Discrétion : Les manuels empoisonnés semblaient si normaux que les contrôles de sécurité standards (qui recherchent des mots étranges ou du charabia) ne les ont pas détectés. Ils ressemblaient à une petite faute de frappe humaine.
- Succès : Ils ont réussi à faire mentir les robots sur des faits spécifiques (comme qui a remporté une élection ou des détails historiques) jusqu'à 70 % du temps, tout en répondant correctement à tout le reste.
- Coût : C'était étonnamment peu coûteux, coûtant environ 2,00 $ par question cible pour mettre en place l'attaque.
5. Pourquoi les Défenses Ont Échoué
Les chercheurs ont essayé de corriger cela en :
- Corrigeant les Fautes de Frappe : Ils ont utilisé une autre IA pour nettoyer les fautes de frappe dans le manuel empoisonné.
- Paraphrasant : Ils ont réécrit les phrases pour qu'elles sonnent différemment.
Le Résultat : L'attaque a toujours fonctionné ! Cela est dû au fait que le « piège » n'était pas seulement la faute de frappe ; c'était la logique de la phrase. Même lorsque le texte était nettoyé, l'instruction cachée de mentir sur ce sujet spécifique restait intégrée dans le cerveau du robot.
Résumé
PARASITE montre que nous ne pouvons pas simplement faire confiance aux « manuels d'instructions » (prompts système) que nous téléchargeons sur Internet. Un pirate peut créer un manuel qui semble 100 % sûr et utile, mais qui contient un interrupteur caché forçant l'IA à raconter un mensonge spécifique lorsqu'une question précise est posée, le tout en restant invisible pour les contrôles de sécurité standards.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.