💻 computer science

Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

Cet article propose un cadre de défense fondé sur la théorie de l'information pour l'inférence collaborative de LLM qui utilise des adaptateurs de confidentialité et des goulots d'étranglement d'information de faible dimension pour minimiser l'information mutuelle entre les activations intermédiaires et les invites d'entrée, atteignant ainsi des compromis de confidentialité-utilité-latence supérieurs contre les attaques d'inversion de prompt.

Auteurs originaux : Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la « Cuisine Fantôme »

Imaginez que vous avez une cuisine très petite et peu puissante (votre téléphone ou votre ordinateur portable) qui veut cuisiner un repas complexe en utilisant un livre de recettes de classe mondiale (un grand modèle de langage, ou LLM). Votre cuisine n'a pas assez d'espace ou d'outils pour cuisiner tout le repas, alors vous décidez d'envoyer les ingrédients à mi-chemin du processus à une « Cuisine Fantôme » géante et professionnelle pour terminer la cuisson.

Le Problème :
Lorsque vous envoyez ces ingrédients à moitié cuits (les « activations intermédiaires ») à la Cuisine Fantôme, un chef indiscret pourrait être capable de regarder l'état de la nourriture et de deviner exactement quelle était votre recette secrète originale. C'est ce qu'on appelle une Attaque par Inversion de Prompt. Même si vous n'envoyez que quelques indices, un attaquant intelligent peut reconstruire votre entrée privée (comme un diagnostic médical ou un secret juridique) simplement en regardant le point intermédiaire du processus de cuisson.

Les Anciennes Solutions :
Les tentatives précédentes pour arrêter cela consistaient à ajouter un peu de sel ou de poivre à vos ingrédients avant de les envoyer (ajouter du bruit) ou à essayer de les cacher dans une boîte plus petite (réduire la taille). Le problème est que ces méthodes sont souvent aléatoires. Elles peuvent gâcher le goût du repas (dégrader la réponse de l'IA) sans pour autant bien cacher les ingrédients secrets.

La Nouvelle Solution : Le « Filtre Intelligent » (Adaptateurs de Confidentialité)

Les auteurs proposent une nouvelle façon plus intelligente de protéger vos secrets. Ils appellent cela une Défense de Type Information-Théorique.

Voyez cela comme l'installation d'un Filtre Intelligent (appelé « Adaptateur de Confidentialité ») juste avant d'envoyer vos ingrédients à la Cuisine Fantôme.

Le Pressage (Goulot d'Étranglement de l'Information) :
Imaginez que vos ingrédients sont un énorme tas coloré de légumes, d'épices et de viandes. Le Filtre Intelligent force ce gros tas à passer à travers une paille minuscule et étroite.
- Qu'est-ce qui passe ? La structure essentielle du repas (la « syntaxe » ou la grammaire). La Cuisine Fantôme reçoit toujours assez d'informations pour terminer la cuisson de la phrase correctement.
- Qu'est-ce qui est laissé de côté ? Les détails spécifiques et sensibles (la « sémantique » ou les mots secrets). Parce que la paille est si étroite, les ingrédients uniques et rares (comme le nom d'un médicament spécifique ou l'identifiant d'une personne) sont écrasés ou perdus lors du pressage.
La Règle du « Sans Résidu » :
L'article souligne un point crucial : vous ne pouvez pas simplement ajouter un peu de bruit à vos ingrédients et espérer que tout se passera bien. Si vous ajoutez simplement du bruit sur les ingrédients originaux, un chef intelligent peut mathématiquement « soustraire » le bruit et voir les ingrédients originaux quand même.
- La Solution : Le filtre des auteurs remplace entièrement les ingrédients par une version compressée. Il ne se contente pas d'ajouter quelque chose au tas ; il jette le tas original et n'envoie que la version pressée et compressée. Cela rend mathématiquement impossible la rétro-ingénierie de votre secret original.

Comment ils entraînent le filtre

Les auteurs n'ont pas simplement deviné comment construire ce filtre. Ils ont utilisé une approche de « camp d'entraînement » :

Le Défenseur (Vous) : Essaie de faire presser le filtre le plus fort possible pour cacher les secrets.
L'Attaquant (Le Chef de la Cuisine Fantôme) : Essaie de regarder les ingrédients pressés et de deviner la recette originale.
Le Jeu : Ils jouent un jeu de va-et-vient. Le Défenseur essaie de faire échouer l'Attaquant, tandis que l'Attaquant essaie de devenir meilleur pour deviner. Le but est de trouver l'équilibre parfait où la Cuisine Fantôme peut encore terminer le repas (haute utilité) mais ne peut pas deviner vos ingrédients secrets (haute confidentialité).

La Surprise de la « Protection Sélective »

L'une des découvertes les plus intéressantes est que ce filtre est naturellement sélectif.

Les mots courants (comme « le », « est », « et » ou la ponctuation) sont comme de la farine ou de l'eau. Ils sont communs et faciles à décrire, même à travers une petite paille. Le filtre les laisse passer facilement pour que la phrase garde un sens grammatical.
Les mots sensibles (comme « cancer », « ISRS » ou « numéro de vol 621 ») sont comme des épices rares et exotiques. Ils sont difficiles à décrire avec un espace limité. Lorsque le filtre presse les données, ces mots rares et sensibles sont les premiers à se perdre.

Le Résultat : La Cuisine Fantôme peut toujours dire : « Le vol était bon, le personnel était amical », mais elle perd complètement le numéro de vol spécifique, l'itinéraire ou la condition médicale. L'attaquant peut savoir que vous avez écrit un avis, mais il ne peut pas savoir de quoi parlait votre avis.

Les Résultats en Langage Simple

Les auteurs ont testé cela sur des scénarios réels (notes médicales, documents juridiques, avis aériens) en utilisant des modèles d'IA puissants.

Confidentialité : Ils ont réduit la capacité de l'attaquant à deviner vos secrets de 15 % à 35 % par rapport aux autres méthodes. Dans certains cas, le taux de réussite de l'attaquant est passé de près de 90 % à environ 50 % (essentiellement un pile ou face).
Qualité : Les réponses de l'IA étaient toujours très bonnes. Le « goût » du repas n'a pas été ruiné.
Vitesse : Le filtre est si léger qu'il n'a ralenti le processus que de 6 % à 8 %. C'est assez rapide pour être utilisé sur un téléphone sans vous faire attendre.

Résumé

L'article présente un « Filtre Intelligent » pour l'IA qui presse vos données avant de les envoyer dans le cloud. Il garantit mathématiquement que les secrets sensibles sont écrasés tout en préservant la structure utile. C'est comme envoyer une lettre où l'enveloppe est si petite que seul le sujet général peut passer, mais que les noms et chiffres spécifiques sont laissés derrière, le tout sans ralentir la livraison du courrier.

Résumé Technique : Défense contre les attaques par inversion de prompt via l'inférence collaborative informationnelle

Énoncé du Problème
L'inférence collaborative bord-nuage permet aux appareils aux ressources limitées de tirer parti des grands modèles de langage (LLM) en exécutant les premières couches localement et en déchargeant les activations intermédiaires vers un serveur nuage. Cependant, cette architecture expose les prompts sensibles des utilisateurs à des attaques par inversion de prompt, où des adversaires reconstruisent l'entrée originale à partir des représentations partagées. Les défenses existantes, telles que l'injection de bruit heuristique ou la réduction de dimensionnalité, manquent de garanties théoriques fondées sur les principes concernant la fuite de confidentialité et échouent souvent à résoudre la tension fondamentale entre la préservation de l'utilité de la tâche et la protection de l'identité des tokens. De plus, des travaux antérieurs ont montré que l'identité des tokens persiste à travers toutes les couches du transformer, rendant l'obscurcissement basé sur la profondeur inefficace.

Méthodologie
Les auteurs proposent un cadre de défense informationnel qui modélise la fuite de confidentialité comme l'information mutuelle (IM) entre le prompt d'entrée $x$ et les activations protégées transmises $A$ . La défense est formulée comme un problème d'optimisation minimax :

Objectif : Minimiser $I(A; x)$ (fuite de confidentialité) tout en maximisant $I(A; y)$ (utilité pour la prédiction du prochain token) sous contraintes de latence.
Architecture (Adapteurs de Confidentialité) : Le mécanisme central consiste à insérer des adapteurs de confidentialité légers et entraînables entre les couches figées du transformer sur le côté client. Contrairement aux adapteurs de type LoRA qui ajoutent des connexions résiduelles, ces adapteurs implémentent un goulot d'étranglement informationnel strict :
- Ils compressent les activations d'une dimension $d$ vers un sous-espace de faible dimension $r$ ( $r \ll d$ ) via une projection descendante, une non-linéarité et une projection ascendante.
- Crucialement, ils remplacent l'activation plutôt que de la perturber de manière additive. Les auteurs prouvent théoriquement que les connexions résiduelles injectives (communes dans d'autres défenses) ne peuvent pas réduire l'information mutuelle, tandis que les goulots d'étranglement non-injectifs imposent une compression avec perte, réduisant réellement l'IM.
Optimisation : Le système utilise un calendrier d'entraînement alterné. Un réseau adversaire (un classificateur de tokens) est entraîné pour maximiser la précision de la reconstruction (minimisant l'entropie croisée), tandis que les adapteurs sont mis à jour pour minimiser une perte combinée de l'entropie croisée de l'adversaire et de la perplexité de la tâche en aval. Cela estime et minimise directement une borne supérieure variationnelle de l'IM.

Principales Contributions

Cadre Minimax Informationnel : L'article établit une défense formelle contre l'inversion de prompt en minimisant explicitement l'information mutuelle via un adversaire appris, comblant ainsi le fossé entre les bornes de confidentialité théoriques et la mise en œuvre pratique.
Adapteurs de Confidentialité avec Garanties Théoriques : Les auteurs introduisent des modules d'adapteurs qui imposent une compression avec perte. Ils fournissent une preuve formelle (Théorème 4.2) que les défenses de style résiduel (mappages injectifs) ne peuvent pas réduire l'information mutuelle, justifiant la nécessité de leur conception de goulot d'étranglement non-injectif. Ils dérivent également des bornes sur l'erreur de reconstruction en fonction de la dimension du goulot d'étranglement.
Analyse des Tokens Sensibles : Le cadre introduit une méthodologie pour distinguer la récupération des tokens sensibles (termes spécifiques au domaine comme des conditions médicales ou des entités juridiques) et des tokens structurels communs (mots de liaison, ponctuation). La théorie prédit et les expériences confirment que le goulot d'étranglement supprime de manière disproportionnée les tokens à haute entropie (sensibles) tout en préservant les tokens à faible entropie (communs) nécessaires à la cohérence syntaxique.
Évaluation Complète : La méthode est validée sur trois LLM (LLaMA-2-7B/13B, Mistral-7B) et trois domaines (médical, juridique, avis aériens) contre des attaques d'inversion de prompt par classification et par optimisation.

Résultats Expérimentaux

Compromis Confidentialité-Utilité : La méthode parvient à une réduction significative des taux de succès des attaques. Dans diverses configurations, elle réduit la récupération des tokens sensibles de 15 à 35 % par rapport aux bases de référence, les meilleures configurations (ex: $\lambda=0,5$ ) montrant jusqu'à une réduction de 35 points de pourcentage de la précision des tokens sensibles par rapport aux tokens communs.
Comparaison avec les Bases de Référence : Les adapteurs proposés surpassent les défenses existantes, y compris le bruit Gaussien/Laplacien, la PCA et les méthodes de réduction de fuite d'information (NoPeek, masquage basé sur Fisher). Notamment, les méthodes basées sur le bruit font souvent face à un « gouffre de confidentialité-utilité » où une confidentialité forte détruit l'utilité (perplexité), tandis que les adapteurs maintiennent une perplexité utilisable (ex: PPL < 100) tout en abaissant significativement la précision de l'attaque.
Efficacité : L'approche introduit un surcoût de latence minimal (<9 %) sur les appareils de bord (testé sur Jetson Orin Nano) et ajoute un nombre de paramètres négligeable (<0,3 % du modèle complet).
Robustesse : La défense se généralise à travers les types d'attaques ; des attaquants « frais » entraînés de zéro sur les activations protégées atteignent des taux de succès similaires à l'adversaire d'entraînement, confirmant que la défense ne consiste pas simplement à cacher l'information d'un modèle co-adapté spécifique.

Signification et Revendications
L'article affirme fournir la première défense de confidentialité informationnelle pour l'inférence collaborative de LLM sous des attaques par inversion de prompt. Sa principale signification réside dans le passage d'un paradigme de perturbations heuristiques à une compression avec perte fondée sur des principes, offrant des bornes prouvables sur l'erreur de reconstruction. Les auteurs soutiennent que leur approche démontre que des transformations apprises et conscientes de la tâche sont essentielles pour une confidentialité pratique dans les systèmes LLM bord-nuage, permettant aux applications sensibles (santé, juridique) d'utiliser les LLM sans exposer les prompts bruts des utilisateurs. Le travail établit que la protection de la confidentialité n'a pas besoin d'être uniforme ; en supprimant sélectivement les tokens à haute entropie, le système peut protéger le contenu sensible tout en maintenant l'intégrité structurelle requise pour l'inférence en aval.