💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

Le document propose DP-Fusion, un mécanisme d'inférence à confidentialité différentielle au niveau des jetons pour les grands modèles de langage qui limite de manière prouvable l'influence des jetons de contexte sensibles sur les sorties afin de permettre une privatisation de documents de haute qualité avec des compromis entre confidentialité et utilité nettement améliorés par rapport aux méthodes existantes.

Auteurs originaux : Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent et bavard (un grand modèle de langage, ou LLM) qui vous aide à résumer des documents. Parfois, ces documents contiennent des informations secrètes, comme le nom d'un patient, une date précise ou un numéro de compte bancaire. Vous voulez que le robot résume l'histoire sans pour autant divulgor accidentellement ces secrets.

Le problème est que les robots actuels sont mauvais pour cela. Si vous leur dites simplement « ne dis pas le nom », ils pourraient s'embrouiller et écrire des choses incohérentes. Si vous leur dites de « réécrire cela joliment », ils pourraient quand même laisser échapper un secret par inadvertance.

Entrez en scène : DP-FUSION, le mélangeur "Sécurité-Secret"

Les auteurs de ce document ont conçu une nouvelle méthode appelée DP-FUSION. Considérez cela comme un mélangeur spécial pour le texte qui garantit que les secrets restent cachés tout en gardant l'histoire lisible. Voici comment cela fonctionne, en utilisant une analogie simple :

Le Scénario : Les deux versions d'une histoire

Imaginez que vous avez un rapport médical concernant « Mme Smith » qui a reçu une facture de 345,25 $.

L'histoire originale : Contient le nom « Mme Smith » et le montant exact de la facture.
L'histoire rédigée : Vous prenez un marqueur et vous barrez « Mme Smith » et « 345,25 $ », en les remplaçant par des blancs comme [NOM] et [MONTANT].

Comment fonctionne DP-FUSION (Le processus de mélange)

Au lieu de choisir l'une ou l'autre version, DP-FUSION réalise une danse ingénieuse :

Faire tourner le robot deux fois :
- D'abord, il demande au robot de prédire le mot suivant en utilisant l'Histoire Rédigée (la version sûre). Cela donne une supposition « sûre ».
- Ensuite, il demande au robot de prédire le mot suivant en utilisant l'Histoire Originale (la version secrète). Cela donne une supposition « risquée » qui pourrait divulguer le secret.
Le "Réglage de la Confidentialité" (Le bouton du mélangeur) :
- Le système possède un cadran appelé $\epsilon$ (epsilon).
- Cadran tourné au maximum vers le bas (Faible $\epsilon$ ) : Le mélangeur combine les deux suppositions si intensément que la supposition « risquée » est presque complètement noyée par la supposition « sûre ». Le robot pourrait dire « un patient » au lieu de « Mme Smith ». C'est très privé, mais l'histoire peut paraître un peu générique.
- Cadran tourné vers le haut (Élevé $\epsilon$ ) : Le mélangeur laisse passer davantage de la supposition « risquée ». Le robot pourrait dire « Mme Smith » si cela correspond bien au contexte. L'histoire semble meilleure, mais il y a un risque légèrement plus élevé qu'un secret ne s'échappe.
La Garantie :
- La magie de DP-FUSION est qu'elle prouve mathématiquement que, peu importe la manière dont un pirate tente de deviner le secret, ses chances de succès sont strictement limitées par le réglage de ce cadran. Même si un pirate connaît exactement le fonctionnement du mélangeur, il ne peut pas rétro-concevoir le secret.

Pourquoi est-ce meilleur que ce que nous avons actuellement ?

Le document compare DP-FUSION à d'autres méthodes :

Le "Nettoyeur" (NER) : C'est comme utiliser un marqueur noir pour rayer les secrets. C'est sûr, mais cela laisse des trous disgracieux dans le texte, ce qui rend la lecture difficile (faible utilité).
Le "Paraphraseur" (Ingénierie de prompt) : C'est comme demander au robot de « réécrire ceci joliment ». Cela sonne bien, mais le robot révèle souvent accidentellement le secret parce qu'il n'a pas été forcé d'être prudent.
DP-FUSION : C'est le juste milieu. Cela permet au texte de rester fluide (haute qualité) tout en garantissant mathématiquement que les secrets restent cachés.

Les Résultats

Les chercheurs ont testé cela sur de vrais documents juridiques et médicaux. Ils ont constaté que :

Qualité : Le texte généré par DP-FUSION était beaucoup plus naturel et lisible que les autres méthodes de confidentialité. En fait, il était 6 fois meilleur (en termes de « perplexité », une mesure de la confusion du texte) que la méthode de confidentialité la plus proche.
Sécurité : Même lorsque des pirates ont tenté de deviner les noms ou les dates cachés, ils ont échoué presque aussi souvent que s'ils devinaient au hasard.
Sécurité Bonus : La méthode aide également à empêcher les attaques de type « jailbreak » (débridage), où des pirates tentent de tromper le robot pour qu'il ignore ses règles. En traitant les entrées suspectes comme des « jetons sensibles », le mélangeur peut diluer leur influence, gardant ainsi le robot en sécurité.

En résumé

DP-FUSION est une nouvelle façon d'utiliser l'IA pour résumer des documents sensibles. Elle agit comme un mélangeur intelligent qui mélange une version « sûre » du texte avec la version « réelle », le tout contrôlé par un cadran de confidentialité. Cela garantit mathématiquement que les secrets (comme les noms ou les dates) restent cachés, tout en veillant à ce que l'histoire résultante soit de haute qualité et facile à lire.

Résumé Technique : DP-FUSION

Énoncé du Problème

Les grands modèles de langage (LLM) manquent de garanties de confidentialité intrinsèques lors de l'inférence. Lorsque les LLM sont augmentés par des outils ou des bases de données externes contenant des informations sensibles (par exemple, des données à caractère personnel ou PII), les sorties du modèle peuvent involontairement révéler ce contexte. Les méthodes existantes de préservation de la confidentialité lors de l'inférence souffrent de limitations significatives :

Absence de garanties prouvables : Les méthodes telles que l'ingénierie de prompt ou le simple masquage (redaction) n'offrent aucune assurance formelle de confidentialité et sont vulnérables aux attaques de reconstruction ou d'inférence d'appartenance.
Mauvais compromis Utilité/Confidentialité : Les méthodes d'inférence à confidentialité différentielle (DP) comme le DP-Decoding (interpolation avec un bruit uniforme) ou le DP-Prompt (écrêtage des logits) entraînent souvent une dégradation sévère de la qualité du texte (perplexité élevée) pour garantir la confidentialité.

Le défi spécifique abordé est la privatisation de documents : paraphraser un document contenant des jetons (tokens) sensibles de telle sorte qu'un attaquant ne puisse pas inférer de manière fiable les jetons sensibles originaux à partir de la sortie paraphrasée, tout en maintenant une haute qualité de texte.

Méthodologie : DP-FUSION

Les auteurs proposent DP-FUSION, un mécanisme d'inférence à confidentialité différentielle (DPI) au niveau du jeton qui limite de manière prouvable l'influence des jetons de contexte sensibles sur la sortie générée. La méthode opère sous un modèle de menace où un attaquant "gray-box" adaptatif connaît la méthode d'inférence, l'architecture du modèle et les poids, et observe la sortie privatisée ainsi que l'entrée masquée.

Mécanisme Central

DP-FUSION adapte le concept de prédiction privée basée sur des ensembles (similaire à PMixED) au contexte de l'inférence. Le processus comprend quatre étapes principales :

Étiquetage des jetons (Token Labeling) : Un sous-ensemble de jetons sensibles dans le document d'entrée est identifié et regroupé en groupes de confidentialité ( $G_1, \dots, G_m$ ) à l'aide d'un étiqueteur (ex: NER).
Inférence de base (Publique) : Le LLM est exécuté sur le document avec tous les jetons sensibles masqués (remplacés par des espaces réservés de longueur égale) pour obtenir une distribution de jetons suivante "publique" ( $p_{pub}$ ).
Inférence Privée : Le LLM est exécuté $m$ fois (une fois pour chaque groupe de confidentialité), où seuls les jetons d'un groupe spécifique $G_i$ sont révélés aux côtés du contexte masqué. Cela produit $m$ distributions de jetons suivantes "privées" ( $p_{priv, i}$ ).
Mélange des Distributions (Mollification) : Pour chaque groupe $i$ $i$ , un coefficient $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ est calculé via une recherche par dichotomie. $\lambda_i$ $λ_{i}$ est la valeur maximale telle que la divergence de Rényi entre la distribution mixte ( $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ) et la distribution de base $p_{pub}$ $p_{p u b}$ satisfasse un budget de confidentialité prédéfini $\beta_i$ $β_{i}$ .
- La distribution finale des jetons est une moyenne de ces distributions mélangées.
- Un jeton est échantillonné à partir de cette distribution mixte.

Garanties de Confidentialité

La méthode fournit une Confidentialité Différentielle de Rényi (RDP) par groupe $(\alpha, \beta_i)$ .

Définition du voisinage : Deux documents sont considérés comme adjacents s'ils diffèrent uniquement par la présence ou l'absence de tous les jetons d'un seul groupe de confidentialité.
Limite Théorique : L'algorithme garantit que la divergence de Rényi symétrique entre les distributions de sortie des documents adjacents est bornée. Cela se traduit par des garanties $(\epsilon, \delta)$ -DP pour l'ensemble du transcript généré, où $\epsilon$ est contrôlé par le nombre de jetons générés, l'ordre de Rényi $\alpha$ , et les budgets des groupes $\beta_i$ .
Robustesse : Le mécanisme limite l'avantage de l'attaquant même si la requête est choisie de manière adverse (par exemple, tentatives de jailbreak).

Contributions Clés

Inférence DP au niveau du jeton : Introduction d'une méthode qui fournit des garanties de DP prouvables au niveau du jeton lors de l'inférence de LLM, spécifiquement pour les tâches de paraphrase.
Amélioration du compromis Utilité/Confidentialité : Contrairement aux méthodes précédentes qui ajoutent du bruit à la distribution de sortie ou écrêtent les logits, DP-FUSION mélange les distributions en fonction de la différence entre les contextes "sensibles" et "non sensibles". Cela permet de conserver plus d'informations sémantiques tout en limitant strictement la fuite de jetons spécifiques.
Atténuation de l'injection de prompt : Les auteurs démontrent que le mécanisme peut également être appliqué à la sécurité, où les "jetons sensibles" sont définis comme des segments récupérés de sources non fiables (par exemple, dans les pipelines RAG). En limitant l'influence de ces segments, DP-FUSION atténue les attaques d'injection de prompt.
Implémentation Open Source : Les auteurs publient un package PyPI et un dépôt GitHub permettant l'application de DP-FUSION à des LLM et des jeux de données arbitraires.

Résultats Expérimentaux

Les expériences ont été menées avec le modèle Qwen 2.5 7B-Instruct sur le jeu de données TAB-ECHR (cas de la Cour européenne des droits de l'homme avec PII annotées manuellement).

Utilité (Perplexité) : DP-FUSION a atteint une perplexité (PPL) de 1,426 dans un réglage de confidentialité relaxé ( $\alpha\beta = 0,10$ $α β = 0, 10$ ) et de 1,459 dans un réglage strict ( $\alpha\beta = 0,01$ $α β = 0, 01$ ).
- C'est nettement supérieur au DP-Decoding (PPL > 3,9) et au DP-Prompt (PPL > 4,26 pour une largeur de 50, et > 100 pour une largeur de 5).
- DP-FUSION obtient une perplexité 6 fois plus faible que la meilleure méthode de référence (DP-Prompt) à des niveaux de confidentialité comparables.
Utilité (LLM-as-a-Judge) : Dans des comparaisons par paires contre d'autres méthodes, les paraphrases de DP-FUSION ont gagné plus de 95 % du temps contre DP-Decoding et DP-Prompt. Elle a également surpassé la base "No DPI - NER" (masquage pur) 45 % du temps dans des réglages de confidentialité stricts.
Confidentialité (Taux de Succès d'Attaque) : Les auteurs ont évalué les attaques de récupération de jetons (Min-K% et LOSS).
- DP-FUSION a maintenu un Taux de Succès d'Attaque (ASR) proche du hasard (environ 26-29 % pour $|C|=5$ ) même avec une haute utilité.
- En revanche, DP-Prompt (largeur 50) affichait un ASR d'environ 50 %, indiquant un échec à fournir une confidentialité empirique malgré une plus faible perplexité.
- DP-FUSION offrait une confidentialité légèrement meilleure que la base No-DPI NER dans les réglages stricts grâce au caractère aléatoire introduit lors du mélange des distributions.

Signification et Revendications

L'article affirme que DP-FUSION représente une avancée significative pour le déploiement de LLM avec des données sensibles en offrant des garanties de confidentialité prouvables sans la dégradation sévère de l'utilité observée avec les méthodes d'inférence DP existantes.

Changement de Paradigme : Les auteurs soutiennent qu'au lieu de traiter la confidentialité comme une étape de post-traitement ou une injection de bruit globale, la confidentialité peut être gérée en modélisant explicitement l'influence de groupes de jetons spécifiques et en limitant cette influence via le mélange de distributions.
Praticité : La méthode est informatiquement réalisable (parallélisable) et fonctionne avec les LLM existants sans nécessiter de réentraînement.
Utilité Double : Au-delà de la confidentialité, le mécanisme est affirmé efficace contre les menaces de sécurité comme l'injection de prompt dans les systèmes RAG, fournissant une approche unifiée pour gérer le contexte non fiable.

Les auteurs restent modestes quant à la dépendance vis-à-vis de la qualité de l'étiqueteur de jetons initial (NER), reconnaissant que les faux négatifs dans l'étiquetage échappent aux garanties théoriques, bien que les résultats empiriques suggèrent que les étiqueteurs standards sont suffisants pour les cas d'usage démontrés.