💬 NLP

Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations

L'article présente $P^3$ , un cadre de préservation de la confidentialité qui combine la génération de brouillon d'un modèle côté serveur avec le raffinement par augmentation de récupération d'un modèle côté client afin d'obtenir des sorties de LLM personnalisées de haute qualité sans exposer les profils privés des utilisateurs au serveur.

Auteurs originaux : Alireza Salemi, Hamed Zamani

Publié 2026-01-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alireza Salemi, Hamed Zamani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un chef brillant, de classe mondiale (le Modèle Côté Serveur) capable de cuisiner presque n'importe quel plat à la perfection. Cependant, ce chef travaille dans une cuisine lointaine et hautement sécurisée, et il ne connaît ni vos besoins alimentaires spécifiques, ni vos allergies, ni vos saveurs préférées. Si vous lui envoyez une commande simple comme « Préparez-moi un sandwich », il fera un sandwich générique et sûr.

D'un autre côté, vous avez un petit sous-chef local (le Modèle Côté Client) qui vit dans votre cuisine. Ce sous-chef connaît l'histoire de votre famille, vos allergies et exactement ce que vous aimez. Mais ce sous-chef n'est pas un grand chef ; il ne peut pas cuisiner un repas gastronomique complexe tout seul sans mettre le feu à la cuisine.

Le Problème :
Si vous voulez un repas parfait et personnalisé, vous avez généralement deux mauvaises options :

Envoyer tout votre livre de recettes au chef lointain : Il prépare un excellent repas, mais il connaît maintenant tous vos secrets (vos secrets, votre histoire, vos données privées).
Laisser le sous-chef local cuisiner seul : Il garde vos secrets en sécurité, mais le repas risque d'être médiocre car il manque des compétences du grand chef.

La Solution : Le Cadre $P^3$
Ce document présente une nouvelle façon de cuisiner appelée $P^3$ . C'est comme un processus technologique de « dégustation et d'ajustement » qui vous permet d'obtenir le meilleur des deux mondes sans avoir à remettre votre livre de recettes.

Voici comment cela fonctionne, étape par étape :

Le Brouillon : Le chef maître lointain commence à cuisiner. Il ne connaît pas vos secrets, il devine donc à quoi pourrait ressembler un bon sandwich. Il note rapidement une séquence d'ingrédients (appelés « tokens ») sur un bloc-notes.
Le Test de Dégustation : Le sous-chef local (qui possède effectivement votre livre de recettes) lit le brouillon du chef maître. Il compare ce brouiton à ce que vous voudriez réellement.
- Si le brouillon semble bon : Le sous-chef dit : « Oui, gardez ça ! »
- Si le brouillon est incorrect : Le sous-chef dit : « Non, ce n'est pas ce qu'il vous faut », et le remplace par un meilleur ingrédient qu'il sait que vous aimez.
Le Filtre : Avant d'envoyer les notes au chef maître, le sous-chef vérifie si des « ingrédients secrets » (comme votre adresse personnelle ou votre numéro de carte de crédit) pourraient accidentellement se glisser dans les notes. S'il en voit, il les masque avec un espace réservé générique comme [PII] afin que le chef lointain ne les voie jamais.
La Boucle : Le chef maître prend les notes corrigées, ajoute les quelques ingrédients suivants et renvoie le tout. Le sous-chef déguste et ajuste à nouveau. Ils répètent cette danse jusqu'à ce que le repas soit terminé.

Pourquoi est-ce une grande avancée ?

Confidentialité : Le chef lointain ne voit jamais votre véritable livre de recettes. Il ne voit que les ingrédients finaux approuvés. L'étude montre que cela ne révèle presque aucune information sur vous par rapport au simple fait de poser une question basique. C'est la différence entre dire à un étranger « J'ai faim » et lui remettre l'intégralité de votre dossier médical.
Qualité : Comme le chef maître fait la majeure partie du gros travail (en écrivant 90 % du repas), le résultat final est bien meilleur que si le sous-chef local essayait de tout cuisiner seul.
Efficacité : Le sous-chef local n'a qu'à effectuer une infime partie du travail (environ 9 % de la cuisine totale), ce qui ne vide pas la batterie de votre téléphone ou ne ralentit pas votre appareil.

Les Résultats
Les auteurs ont testé cela sur un défi de « Réponse à des Questions Personnalisées » (comme demander conseil à un assistant intelligent en se basant sur vos questions passées).

Meilleur que de deviner : C'était bien meilleur que de simplement interroger le chef maître sans aucune information personnelle.
Meilleur que le mode local uniquement : C'était bien meilleur que de laisser le sous-chef local essayer de tout faire seul.
Presque aussi bon que le mode « Fuite » (Leaky) : Il a atteint environ 90 à 95 % de la qualité que vous obtiendriez si vous aviez effectivement remis tout votre profil privé au chef maître, mais sans lui donner ce profil.

En un mot
$P^3$ est une collaboration intelligente entre un cerveau puissant dans le cloud et un petit cerveau local privé. Le cerveau dans le cloud écrit l'histoire, et le cerveau local l'édite pour s'assurer qu'elle vous ressemble, tout en gardant votre journal intime bien verrouillé dans votre poche.

Résumé Technique : Améliorer la confidentialité de l'utilisateur dans la génération personnalisée

Énoncé du problème
La personnalisation des modèles de langage de grande taille (LLM) repose généralement sur la génération augmentée par récupération (RAG), où un contexte pertinent provenant du profil privé de l'utilisateur est récupéré et transmis au modèle pour adapter les réponses. Cependant, cela crée un compromis fondamental :

RAG côté serveur : Offre une personnalisation de haute qualité en utilisant des modèles puissants dans le cloud, mais nécessite de divulguer les profils privés des utilisateurs au fournisseur, ce qui pose des risques importants pour la confidentialité.
RAG côté client : Préserve la confidentialité en gardant le profil sur l'appareil de l'utilisateur, mais est limité par les contraintes de calcul du matériel de bord (edge), imposant l'utilisation de modèles plus petits et moins capables qui sont souvent moins performants.

Les alternatives existantes pour préserver la confidentialité, telles que l'obfuscation textuelle ou vectorielle, sont vulnérables aux attaques d'inversion et permettent aux fournisseurs de sonder les données obscurcies. Le chiffrement homomorphe est actuellement impraticable en raison d'un surcoût de calcul prohibitif. L'article répond au besoin d'une méthode qui exploite les capacités élevées des modèles côté serveur pour la personnalisation sans exposer directement le contexte privé brut de l'utilisateur.

Méthodologie : Le cadre $P^3$
Les auteurs proposent $P^3$ (Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations — Modification par récupération côté client de spéculations générées côté serveur), un cadre interactif qui décompose la génération en un processus collaboratif entre un grand modèle côté serveur ( $M_{server}$ ) et un petit modèle côté client ( $M_{client}$ ).

Architecture :
- Côté serveur : Un grand modèle à haute capacité génère une séquence de $k$ jetons « brouillons » (draft tokens) basés uniquement sur la requête de l'utilisateur, sans accès au profil de l'utilisateur.
- Côté client : Un modèle plus petit, déployé sur l'appareil de l'utilisateur, a accès au profil privé de l'utilisateur. Il récupère le contexte pertinent ( $C_q$ ) du profil en fonction de la requête.
- Boucle de vérification et de correction :
  1. Le serveur propose $k$ jetons.
  2. Le client évalue ces jetons en fonction du contexte personnel récupéré.
  3. Pour chaque jeton brouillon $T_i$ , le client calcule sa probabilité ( $P_{T_i}$ ) et la compare à la probabilité du jeton alternatif le plus probable ( $T^*_i$ ) selon le modèle client.
  4. Acceptation : Si le ratio $P_{T_i} / P_{T^*_i} \geq \tau$ (où $\tau$ est un seuil de rejet), le jeton est accepté.
  5. Correction : Si le ratio est inférieur à $\tau$ , le jeton est rejeté et remplacé par $T^*_i$ . Les jetons brouillons restants dans ce lot sont abandonnés, et le serveur génère un nouveau lot conditionné par le préfixe corrigé.
- Filtre de confidentialité : Avant de renvoyer le préfixe corrigé au serveur, le client filtre toute information personnellement identifiable (PII) trouvée dans le contexte récupéré, en la remplaant par un espace réservé (ex: [PII]). Cela garantit que le serveur ne voit jamais le profil brut ni les corrections contenant des PII.
Distinction par rapport au décodage spéculatif : Contra'irement au décodage spéculatif standard où un petit modèle rédige et un grand modèle vérifie pour réduire la latence, $P^3$ inverse les rôles (le grand rédige, le petit vérifie) pour prioriser la confidentialité et la personnalisation. Le modèle client s'écarte intentionnellement de la distribution du serveur pour orienter la sortie vers les préférences de l'utilisateur.

Principales contributions

Conception du cadre : Introduction de $P^3$ , la première méthode de récupération augmentée pour la personnalisation des LLM qui évite la divulgation directe des profils utilisateurs au serveur.
Équilibre Confidentialité-Utilité : La méthode atteint une haute qualité de personnalisation en exploitant les capacités côté serveur tout en limitant la fuite d'informations au strict minimum implicite dans les jetons acceptés ou corrigés.
Open Source : Les auteurs ont rendu leur implémentation open source pour favoriser la recherche ultérieure dans la génération augmentée par récupération respectueuse de la vie privée.

Résultats expérimentaux
Les expériences ont été menées sur le benchmark LaMP-QA, comprenant trois ensembles de données : Art & Divertissement, Style de vie & Développement personnel, et Société & Culture. Le système utilisait les familles Qwen 2.5 (14B/3B) et Gemma 3 (12B/4B).

Performance :
- $P^3$ a systématiquement surpassé les bases non personnalisées côté serveur ainsi que les bases personnalisées entièrement côté client sur tous les ensembles de données.
- Il a obtenu des améliorations statistiquement significatives de 7,4 % à 9 % en moyenne par rapport aux meilleures bases non fuyantes (non-leaky).
- $P^3$ a récupéré 90,3 % à 95,7 % de l'utilité d'un scénario « limite supérieure » (upper-bound) où le profil complet est exposé au serveur (un réglage « fuyant » ou leaky).
Analyse de la confidentialité :
- Attaque de lienabilité : Un attaquant tentant d'identifier le profil de l'utilisateur à partir d'un ensemble de candidats a obtenu seulement 24 % de précision avec $P^3$ , contre 22,5 % pour une base de référence uniquement basée sur la requête et 20 % pour une base aléatoire. Cela représente une augmentation marginale de la fuite de 1,5 % par rapport à la base de référence non personnalisée.
- Attaque d'inférence d'attributs : La précision de l'attaquant pour inférer les attributs de l'utilisateur (ex: profession, localisation) était de 58,5 % avec $P^3$ , soit seulement 3,5 % de plus que la base de référence uniquement par requête (55 %). C'est nettement inférieur à la précision de 100 % obtenue lorsque le profil complet est partagé.
Efficacité :
- Le modèle côté client ne génère que 9,2 % du total des jetons de la réponse finale.
- Le temps d'exécution côté client ne représente qu'une fraction de la latence totale (ex: ~4,9s sur 23,6s au total), la majeure partie du calcul se déroulant sur le serveur.
- $P^3$ avec un modèle client de 3B a nettement surpassé une base de référence RAG entièrement côté client utilisant un modèle de 3B, tout en utilisant moins de temps d'exécution et de VRAM côté utilisateur.

Signification et Revendications
L'article affirme que $P^3$ fournit une solution pratique et efficace pour la génération personnalisée qui améliore la confidentialité sans sacrifier la performance. Il démontre qu'il est possible d'utiliser des LLM puissants hébergés dans le cloud pour la personnalisation tout en gardant le contrôle sur les données personnelles. Les auteurs positionnent ce travail comme une étape vers une réduction principled des risques dans les applications sensibles à la vie privée, offrant un juste milieu entre l'isolement absolu des modèles locaux et la divulgation sans restriction du RAG traditionnel côté serveur. Les résultats suggèrent que $P^3$ n'introduit qu'une fuite supplémentaire marginale par rapport à la soumission d'une requête sans aucun contexte personnel, ce qui en fait une alternative viable pour les scénarios où des garanties de confidentialité strictes sont requises mais où une haute utilité du modèle est également souhaitée.

Articles similaires