💻 computer science

InferDPT: Privacy-Preserving Inference for Closed-box Large Language Model

Le papier présente InferDPT, un cadre pratique intégrant le mécanisme de confidentialité différentielle RANTEXT pour permettre une inférence privée sur des modèles de langage fermés tout en préservant la qualité du texte généré.

Auteurs originaux : Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu, Tianwei Zhang, Zhikun Zhang

Publié 2026-03-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu, Tianwei Zhang, Zhikun Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Demander de l'aide sans se faire voler ses secrets

Imaginez que vous avez un génie très puissant (comme ChatGPT) qui vit dans un château lointain. Ce génie est capable d'écrire des histoires magnifiques, de rédiger des contrats ou de continuer vos romans.

Le problème ? Pour obtenir son aide, vous devez lui envoyer un message (votre "prompt") qui contient souvent des secrets personnels (votre nom, votre adresse, des détails sur votre vie).

Le risque : Si vous envoyez le message tel quel, le génie (ou les gardes du château) pourrait lire vos secrets, les mémoriser, et même les révéler plus tard. C'est comme envoyer une lettre ouverte à un inconnu en espérant qu'il ne la lise pas.

Jusqu'à présent, les solutions pour protéger ces lettres étaient soit trop lentes (comme envoyer un message par la poste avec un cheval qui galope très lentement), soit elles gâchaient tellement le message que le génie ne comprenait plus rien et ne pouvait plus écrire.

💡 La Solution : InferDPT (Le Système de Double Enveloppe)

Les auteurs de cet article ont créé un système ingénieux appelé InferDPT. Imaginez-le comme un magicien de la confidentialité qui utilise deux étapes clés pour protéger votre message tout en gardant la qualité de la réponse.

Étape 1 : Le Module de Perturbation (Le "Brouilleur" Intelligent)

Au lieu d'envoyer votre message original, vous le passez d'abord dans une machine à brouiller.

L'analogie : Imaginez que vous écrivez une lettre à votre grand-mère. Avant de l'envoyer, vous passez chaque mot par un filtre magique qui remplace certains mots par d'autres très similaires, mais pas exactement les mêmes.
- Exemple : Si vous écrivez "Je vis à Paris", le filtre le transforme en "Je vis à Lyon" ou "Je vis à Marseille".
- Le secret : Le filtre est intelligent. Il ne choisit pas n'importe quel mot au hasard (ce qui rendrait la phrase incompréhensible). Il choisit un mot qui a la même "vibe" ou le même sens général, mais qui est techniquement différent.
- Le résultat : Le message envoyé au génie est une version "brouillée". Si le génie lit "Je vis à Lyon", il ne saura jamais que vous habitez en réalité à Paris. C'est comme si vous portiez un masque pour entrer dans une fête.

Étape 2 : Le Module d'Extraction (Le "Traducteur" Local)

Le génie reçoit le message brouillé ("Je vis à Lyon") et écrit une réponse basée sur ce qu'il a lu. Il vous renvoie donc une histoire où le personnage s'appelle "Lin" au lieu de "Bob", et vit à "Broadway" au lieu de "Boston".

C'est ici que la deuxième étape intervient. Vous avez votre propre petit assistant local (un modèle d'IA plus petit, installé sur votre ordinateur).

L'analogie : Votre assistant local reçoit la réponse du génie. Il sait que le génie a lu le message brouillé, mais il connaît aussi votre vrai message original (celui que vous avez écrit avant le brouillage).
La magie : L'assistant regarde la réponse du génie et dit : "Ah, le génie a écrit une belle histoire sur Lin à Broadway. Mais je sais que l'utilisateur voulait parler de Bob à Boston. Je vais prendre la structure et le style de l'histoire du génie, mais je vais remplacer Lin par Bob et Broadway par Boston."
Le résultat final : Vous recevez une histoire magnifique, bien écrite (grâce au génie), mais qui raconte votre vraie histoire, sans que le génie n'ait jamais su qui était Bob ou où il vivait.

🛡️ La Nouvelle Technique : RANTEXT (Le "Liste de Voisins Aléatoire")

Pour faire le brouillage (l'étape 1), les chercheurs ont inventé une nouvelle méthode appelée RANTEXT.

L'ancienne méthode : C'était comme avoir une liste de voisins fixe et énorme. Parfois, on choisissait un voisin trop loin, et le sens de la phrase changeait trop. Ou alors, on choisissait le même voisin, et le secret restait visible.
La nouvelle méthode (RANTEXT) : Imaginez que pour chaque mot, on dessine un cercle magique autour de lui. La taille de ce cercle change à chaque fois (elle est aléatoire).
- Si le cercle est petit, on choisit un mot très proche (très sûr pour le sens, mais un peu moins sûr pour le secret).
- Si le cercle est grand, on peut choisir un mot plus loin (très sûr pour le secret, mais il faut faire attention au sens).
- L'avantage : Cette méthode aléatoire rend le travail des espions (les pirates informatiques) extrêmement difficile. Ils ne peuvent pas deviner quel mot était le vrai, car le cercle magique change tout le temps.

🏆 Pourquoi c'est génial ?

Confidentialité totale : Même si le génie (ChatGPT) est un peu curieux ou malveillant, il ne peut pas retrouver vos secrets originaux. Les tests montrent que même avec des attaques très sophistiquées, il est impossible de deviner votre vrai mot.
Qualité préservée : Contrairement aux anciennes méthodes qui produisaient du texte bizarre ou incompréhensible, InferDPT utilise la puissance du génie pour écrire, puis votre assistant pour corriger les détails. Le résultat final est aussi bon que si vous aviez parlé directement au génie, mais en toute sécurité.
Rapide et pratique : Ce système ne nécessite pas de super-ordinateurs. Il fonctionne avec des modèles que vous pouvez installer sur votre propre machine.

En résumé

InferDPT est comme un traducteur secret.

Il prend votre message secret et le déguise en un message "faux" mais similaire.
Il envoie ce faux message à l'IA géante pour obtenir une réponse de haute qualité.
Il prend cette réponse et la "re-traduit" pour qu'elle corresponde à votre vraie histoire, tout en effaçant les traces du faux message.

C'est une façon intelligente de profiter de la puissance de l'intelligence artificielle sans jamais lui donner les clés de votre vie privée.

1. Problématique

L'utilisation croissante des modèles de langage de grande taille (LLM) fermés (comme ChatGPT/GPT-4) via des API soulève des préoccupations majeures en matière de vie privée. Les utilisateurs doivent souvent envoyer des documents sensibles (prompts) contenant des informations privées pour générer du texte.

Risques : Les fournisseurs de LLM (considérés comme des adversaires "honnêtes mais curieux") peuvent collecter illégalement ces données ou les exposer via des attaques d'inférence.
Limites des solutions existantes :
- Les méthodes basées sur le chiffrement (ex: CipherGPT) sont trop coûteuses en temps de calcul et en bande passante.
- Les méthodes de confidentialité différentielle (DP) existantes comme SANTEXT+ et CUSTEXT+, conçues pour des tâches de classification, échouent dans la génération de texte. Elles introduisent trop de bruit (distorsion sémantique) qui rend le texte généré incohérent, ou elles sont vulnérables aux attaques par inversion d'embeddings (reconstruction des tokens originaux).

2. Méthodologie : Le Framework InferDPT

Les auteurs proposent InferDPT, le premier cadre pratique permettant l'inférence privée sur des LLMs "boîte noire" en intégrant la confidentialité différentielle (DP) dans la génération de texte. Le framework repose sur deux modules clés inspirés de la distillation de connaissances :

A. Module de Perturbation (Protection de la vie privée)

Ce module transforme le document privé original ($Doc$) en un document perturbé ( $Doc_p$ ) avant l'envoi au LLM distant.

Mécanisme : Il utilise un mécanisme de confidentialité différentielle locale (LDP) pour remplacer chaque token du document par un nouveau token.
Innovation (RANTEXT) : Pour surmonter les limites des méthodes précédentes, les auteurs introduisent RANTEXT.
- Contrairement aux listes d'adjacence statiques (fixes) de SANTEXT+ (trop grandes, bruit excessif) ou CUSTEXT+ (trop petites, fuite de données), RANTEXT utilise une liste d'adjacence aléatoire.
- Pour chaque token, la taille de cette liste est déterminée dynamiquement via une distribution de Laplace.
- Le token est ensuite échantillonné depuis cette liste aléatoire en utilisant le mécanisme exponentiel, garantissant que le token perturbé est sémantiquement proche de l'original tout en maximisant l'incertitude pour l'attaquant.

B. Module d'Extraction (Maintien de l'utilité)

Le LLM distant retourne une génération perturbée ( $Gen_p$ ) basée sur le prompt bruité. Ce texte est souvent incohérent par rapport à l'intention originale.

Fonctionnement : Un modèle de langage local (plus petit et moins puissant que le LLM distant, ex: Vicuna-7b) est déployé côté utilisateur.
Tâche : Ce modèle local reçoit à la fois le document original ($Doc$) et la génération perturbée ( $Gen_p$ ). Il extrait les informations cohérentes de $Gen_p$ et les réaligne avec le contexte de $Doc$ pour reconstruire un texte final de haute qualité.
Observation clé : Les auteurs ont observé que même avec une perturbation, les LLMs génèrent souvent des tokens partagés avec la génération non perturbée, et que cette corrélation augmente avec le paramètre de confidentialité $\epsilon$ .

3. Contributions Clés

InferDPT : Un framework complet pour l'inférence privée sur des LLMs fermés, combinant perturbation et reconstruction locale.
RANTEXT : Un nouveau mécanisme de confidentialité différentielle basé sur le mécanisme exponentiel. Il introduit le concept de "liste d'adjacence aléatoire" pour les tokens, offrant un meilleur compromis entre utilité (qualité du texte) et protection de la vie privée.
Nouvelles attaques d'évaluation : Les auteurs proposent une attaque adaptative, l'"GPT Inference Attack", utilisant GPT-4 lui-même pour tenter de reconstruire les tokens originaux, démontrant ainsi la robustesse de leur méthode face aux modèles les plus puissants.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données (CNN/Daily Mail, Wikitext-103, ArXiv) en utilisant GPT-4 comme modèle distant et des modèles locaux (Vicuna, Llama).

Qualité de génération :
- Le texte généré par InferDPT (avec RANTEXT) est comparable à celui de GPT-4 non privé en termes de cohérence et de diversité.
- RANTEXT surpasse SANTEXT+ et CUSTEXT+ dans tous les scénarios, notamment en maintenant une meilleure cohérence sémantique.
Protection de la vie privée :
- Attaque par inversion d'embeddings : Avec un paramètre $\epsilon = 6.0$ , RANTEXT offre un niveau de protection moyen supérieur à 0,90 (taux de réussite de l'attaque < 10%). Cela représente une amélioration de 3,35 fois par rapport à CUSTEXT+ et 0,58 fois par rapport à SANTEXT+.
- Attaque GPT Inference : RANTEXT résiste mieux à l'attaque utilisant GPT-4 que les méthodes de base, confirmant que la liste d'adjacence aléatoire rend la reconstruction des tokens originaux beaucoup plus difficile.
Coût : Le temps supplémentaire ajouté par le module d'extraction est faible (moins de 4 secondes par inférence), rendant le système pratique.

5. Signification et Impact

Ce travail est significatif car il résout le dilemme fondamental entre la protection de la vie privée et l'utilité dans l'usage des LLMs fermés.

Praticité : Contrairement aux solutions cryptographiques lourdes, InferDPT est léger et applicable immédiatement via des API existantes.
Robustesse : La méthode RANTEXT comble les lacunes des approches DP précédentes qui échouaient sur des tâches de génération de texte libre (open-ended).
Futur : Cela ouvre la voie à une utilisation sécurisée des LLMs dans des domaines sensibles (médical, juridique, financier) où la confidentialité des données d'entrée est critique, tout en bénéficiant de la puissance de génération des modèles les plus avancés.

En résumé, InferDPT démontre qu'il est possible d'utiliser des LLMs commerciaux puissants sans compromettre la confidentialité des données utilisateur, grâce à une architecture hybride de perturbation intelligente et de reconstruction locale.