🤖 AI

CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

Cet article présente CAMP, un cadre de protection de la vie privée pour les conversations multi-tours avec des LLM qui résout la vulnérabilité de l'exposition cumulative d'informations personnelles en surveillant les risques de ré-identification à travers les tours de dialogue et en appliquant un masquage rétroactif lorsque le seuil de risque est dépassé.

Auteurs originaux : Aman Panjwani

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aman Panjwani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : L'Effet "Mosaïque" dans la Conversation

Imaginez que vous parlez à un assistant virtuel très intelligent (une IA) pour organiser votre voyage, gérer vos finances ou parler de votre santé.

Comment fonctionnent les gardes-fous actuels ?
Aujourd'hui, les systèmes de sécurité agissent comme des douaniers à chaque porte. À chaque fois que vous envoyez un message, le douanier regarde uniquement ce message précis.

Si vous dites : "Je m'appelle Pierre", le douanier dit : "Ah, un nom ! Je le cache."
Si vous dites : "J'habite à Lyon", le douanier dit : "Ah, une ville ! Je la cache."
Mais si vous dites : "Je m'appelle Pierre" dans le message 1, et "J'habite à Lyon" dans le message 5, le douanier du message 5 ne voit que "Lyon". Il ne sait pas que vous avez déjà dit "Pierre" plus tôt. Pour lui, "Lyon" tout seul n'est pas grave.

Le vrai danger : La mosaïque
Le problème, c'est que l'IA se souvient de tout. Si vous donnez votre nom, votre ville, votre employeur et votre salaire sur plusieurs jours, l'IA assemble ces pièces comme un puzzle. Même si chaque pièce prise seule semble inoffensive, une fois assemblées, elles révèlent exactement qui vous êtes. C'est ce que les chercheurs appellent l'Exposition Cumulative des Données (CPE).

C'est comme si vous laissiez des miettes de pain sur le sol. Une miette ne dit rien. Mais si un renard (l'IA) suit le chemin de toutes les miettes, il finit par trouver votre maison.

🛡️ La Solution : CAMP (Le Gardien de Mémoire)

Les auteurs proposent une nouvelle méthode appelée CAMP. Au lieu d'être un douanier qui oublie tout après avoir vérifié un passeport, CAMP est comme un gardien de mémoire qui observe toute la conversation en temps réel.

Voici comment CAMP fonctionne, étape par étape, avec une analogie simple :

1. Le Registre des Secrets (La Mémoire)

CAMP tient un petit carnet secret à côté de vous. À chaque fois que vous dites quelque chose d'important (votre nom, votre ville, votre maladie), il l'écrit dans ce carnet. Contrairement aux systèmes actuels, il ne jette pas ce carnet après chaque message.

2. Le Graphe des Connexions (Le Réseau de Relations)

C'est ici que ça devient malin. CAMP ne se contente pas de compter les secrets. Il regarde comment ils se connectent.

Analogie : Imaginez que chaque secret est une personne à une fête. Si vous avez juste "Pierre" (une personne), ce n'est pas grave. Si vous avez "Lyon" (une ville), ce n'est pas grave. Mais si "Pierre" et "Lyon" sont dans la même pièce, ils se serrent la main et forment un couple dangereux.
CAMP dessine une ligne entre les secrets qui apparaissent ensemble. Plus il y a de lignes (plus les secrets sont connectés), plus le danger augmente.

3. Le Score de Danger (Le Thermomètre)

Chaque fois que vous ajoutez un nouveau secret, CAMP calcule un score de danger.

Si vous parlez juste de la météo, le score reste bas.
Si vous ajoutez votre salaire à votre nom et à votre ville, le score grimpe très vite (comme une fusée) parce que la combinaison est très puissante pour vous identifier.

4. L'Intervention Magique (Le Masque Rétroactif)

C'est la partie la plus géniale. Si le score de danger dépasse une certaine limite (un seuil), CAMP ne vous arrête pas. Il ne dit pas "Non, vous ne pouvez pas parler".
Il fait quelque chose de magique : il remonte le temps.

Il prend tout ce que vous avez dit depuis le début de la conversation.
Il remplace vos vrais noms, adresses et chiffres par des faux noms cohérents (par exemple, "Pierre" devient "Thomas", "Lyon" devient "Marseille").
Il envoie cette version "masquée" à l'IA.

Résultat : L'IA répond en utilisant les faux noms ("Thomas habite à Marseille..."). Elle ne sait jamais qui vous êtes vraiment.

5. Le Démasquage (Le Retour à la Réalité)

Quand l'IA renvoie sa réponse, CAMP intercepte le message avant qu'il n'arrive à vos yeux. Il remplace instantanément "Thomas" par "Pierre" et "Marseille" par "Lyon".

Pour vous : La conversation semble normale, fluide et parfaite.
Pour l'IA : Elle n'a jamais vu vos vrais secrets.

🎯 Pourquoi c'est important ?

Les chercheurs ont testé CAMP dans quatre situations : santé, recrutement, finance et conversation normale.

Les vieux systèmes (comme Presidio) : Ils ont laissé passer des combinaisons dangereuses. Dans le scénario de santé, l'IA a reçu le nom, la ville, la date de naissance et la maladie du patient. C'était une identité complète exposée !
CAMP : Il a détecté que la combinaison devenait dangereuse. Il a alors masqué l'historique entier. L'IA a pu continuer à aider (elle a donné de bons conseils médicaux), mais elle ne savait pas qui elle aidait.

💡 En résumé

Imaginez que vous jouez à un jeu de rôle avec un acteur (l'IA).

L'ancien système : Il vérifie chaque réplique pour voir si vous avez dit votre vrai nom. Si vous ne le dites pas dans la phrase actuelle, il vous laisse continuer, même si vous l'avez dit il y a 10 minutes.
CAMP : Il vous donne un costume et un faux nom dès que le jeu devient trop personnel. Il s'assure que l'acteur joue avec votre "personnage" (Thomas) et non avec vous (Pierre). À la fin de la scène, il retire le costume pour que vous puissiez rentrer chez vous en tant que Pierre, sans que l'acteur ne sache jamais qui vous êtes vraiment.

C'est une façon intelligente de protéger notre vie privée dans un monde où les IA se souviennent de tout, sans pour autant gâcher la qualité de la conversation.

1. Problématique : L'Exposition Cumulative des PII (CPE)

L'article identifie une vulnérabilité critique dans les systèmes d'assistants IA agentic (multi-tours) qui n'est pas adressée par les mécanismes de protection actuels.

Limitation des approches actuelles : Les outils existants (comme Microsoft Presidio ou PAPILLON) opèrent de manière sans état (stateless) et par tour de parole. Ils analysent chaque message utilisateur isolément pour masquer les informations personnellement identifiables (PII) avant de les envoyer au modèle.
Le risque combinatoire : Dans une conversation multi-tours, un utilisateur peut révéler progressivement des fragments d'identité (nom, employeur, ville, condition médicale, salaire) sur plusieurs messages. Aucun message individuel ne déclenche de masque, mais leur accumulation crée un profil ré-identifiable.
Définition du CPE : Les auteurs formalisent ce phénomène sous le nom d'Exposition Cumulative des PII (Cumulative PII Exposure - CPE). Le risque ne réside pas dans un seul identifiant, mais dans l'intersection de plusieurs quasi-identifiants qui, une fois combinés dans le contexte de la session, permettent de ré-identifier l'utilisateur.

2. Méthodologie : Le Framework CAMP

Pour résoudre ce problème, les auteurs proposent CAMP (Cumulative Agentic Masking and Pruning), une couche middleware située entre l'utilisateur et le modèle LLM externe. CAMP maintient un état de session et intervient rétroactivement.

Le framework repose sur cinq composants clés :

Extracteur par tour (Per-Turn Extractor) : Identifie les entités PII dans chaque message entrant en utilisant la reconnaissance d'entités nommées (NER) et des règles basées sur des motifs (ex: Presidio).
Registre de Session (Session Registry) : Contrairement aux systèmes actuels, CAMP conserve un historique sans état de toutes les entités détectées tout au long de la conversation. C'est la source de vérité pour le risque cumulatif.
Graphe de Co-occurrence : Modélise le risque de combinaison.
- Les nœuds représentent les types d'entités PII (ex: Personne, Lieu, Salaire).
- Les arêtes se forment lorsque deux types d'entités apparaissent dans la même session.
- Un amplificateur de combinaison ( $f(v)$ ) augmente le poids d'une entité en fonction de son nombre de connexions (degré), reflétant que la présence conjointe de plusieurs types d'informations augmente le risque de ré-identification de manière super-linéaire.
Calcul du Score CPE : À chaque tour, un score est calculé en sommant les poids des entités, amplifiés par le graphe de co-occurrence.
- Si le score dépasse un seuil configurable ( $\tau$ ), le système déclenche une intervention.
Pseudonymisation Rétroactive et Démasking :
- Pseudonymisation : Si le seuil est franchi, l'historique complet de la conversation est réécrit localement. Les vraies PII sont remplacées par des identités synthétiques cohérentes (générées via la bibliothèque Faker). Cette version masquée est envoyée au LLM.
- Démasking : Lorsque le LLM répond, une couche de démasking remplace les identités synthétiques par les identités originales dans la réponse avant de la renvoyer à l'utilisateur. L'identité réelle n'est jamais transmise au modèle externe.
Règles de Blocage Strictes : Certaines entités (SSN, numéros de carte de crédit) sont bloquées immédiatement et remplacées par des marqueurs [BLOCKED], indépendamment du score CPE.

3. Contributions Clés

Formalisation du CPE : Première définition formelle du risque de ré-identification basé sur l'accumulation de PII à travers les tours de conversation.
Modèle de Graphe de Co-occurrence : Une approche novatrice pour quantifier le risque combinatoire entre différents types d'entités, plutôt que de se fier uniquement à la sensibilité individuelle des entités.
Intervention Rétroactive : Capacité unique à réécrire l'historique de la conversation après que le risque cumulatif a été détecté, une fonctionnalité absente des systèmes de masquage par tour.
Préservation de l'Utilité : Mise en place d'une couche de démasking qui garantit que l'expérience utilisateur reste cohérente (l'utilisateur voit ses vraies données) tandis que le modèle externe ne traite que des données synthétiques.

4. Résultats Expérimentaux

Les auteurs ont évalué CAMP sur quatre scénarios synthétiques (Santé, RH/Recrutement, Finance, Conversation Générale) comparés à une base de référence utilisant Presidio (masquage par tour).

Réduction de l'exposition : Dans tous les scénarios, CAMP a réduit l'exposition des entités PII réelles au modèle externe à zéro. À l'inverse, la base de référence (Presidio) a exposé entre 3 et 6 types d'entités par session.
Détection du risque : CAMP a détecté le risque de ré-identification et a déclenché la pseudonymisation à des moments critiques (ex: Tour 2 pour la finance, Tour 4 pour la santé), là où le masquage par tour n'aurait rien fait car aucun message individuel ne contenait assez d'informations sensibles.
Sensibilité au seuil ( $\tau$ ) : L'étude a montré que le paramètre $\tau$ permet de régler le compromis entre vie privée et utilité. Un seuil plus bas déclenche une intervention plus tôt (plus de protection, plus de masquage), tandis qu'un seuil plus haut permet plus de contexte naturel avant intervention.
Utilité préservée : Les réponses générées par le LLM étaient cohérentes et contextuellement appropriées. La couche de démasking a restauré avec succès toutes les identités originales sans erreur.

5. Signification et Perspectives

Changement de paradigme : L'article démontre que la protection de la vie privée dans les LLMs agentic ne peut plus être traitée message par message. Elle doit être orientée session et prendre en compte la nature combinatoire de la ré-identification.
Conformité et Éthique : CAMP offre une approche pratique pour respecter les principes de minimisation des données (comme le RGPD) dans les systèmes conversationnels complexes, en empêchant l'accumulation de profils sensibles chez le fournisseur de modèle externe.
Limites et Futur : La méthode dépend actuellement de la détection explicite d'entités (NER). Les auteurs suggèrent des travaux futurs pour intégrer la détection de PII implicites via de petits modèles locaux, l'adaptation dynamique des seuils, et l'intégration de la confidentialité différentielle.

En conclusion, CAMP établit un nouveau standard pour la protection de la vie privée dans les conversations IA multi-tours, en prouvant qu'il est possible de neutraliser les risques de ré-identification cumulatifs sans sacrifier l'utilité conversationnelle.