💬 NLP

Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models

Ce papier propose un pipeline de substitution des informations personnellement identifiables (PII) sur appareil utilisant un petit modèle de langage (SLM) à 1 bit avec un prompting few-shot rotatif conditionné par la locale pour prévenir la récitation des démonstrations, révélant que si cette approche génère un texte plus naturel que les méthodes basées sur des règles, elle finit par nuire aux performances de la reconnaissance d'entités nommées en aval en raison d'une variété insuffisante des données d'entraînement.

Auteurs originaux : Anuj Sadani, Deepak Kumar

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anuj Sadani, Deepak Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une pile de documents sensibles contenant de vrais noms, adresses et dates. Vous devez partager ces documents pour de la recherche ou de la formation, mais vous devez masquer les informations privées réelles.

Ce papier traite d'une nouvelle méthode intelligente pour effectuer ce masquage, en utilisant spécifiquement de petits ordinateurs (comme ceux de votre téléphone ou de votre ordinateur portable) plutôt que d'envoyer les données vers le cloud.

Voici l'histoire de leur découverte, racontée à travers des analogies simples.

Le Problème : L'Approche de l'« Autocollant Blanc »

Traditionnellement, lorsque les entreprises masquent des informations privées, elles utilisent une méthode d'« autocollant blanc ». Si un document indique « John Smith habite au 123 Main St », le logiciel le remplace par [PERSONNE] et [ADRESSE].

Le Problème : Bien que cela garde les secrets en sécurité, cela ruine l'utilité du document. Si vous essayez d'enseigner à un ordinateur à reconnaître des noms plus tard, il n'apprend qu'à repérer le mot [PERSONNE], et non à quoi ressemble un vrai nom. C'est comme enseigner à un enfant à reconnaître des chiens en lui montrant une image d'un carré blanc étiqueté « CHIEN ». Il ne saura pas à quoi ressemble un vrai chien.

La Solution : L'Usine de « Faux Papiers »

Les auteurs ont construit un système qui ne se contente pas de coller une étiquette blanche sur les données ; il crée une fausse version réaliste de la personne ou du lieu.

L'Objectif : Transformer « John Smith » en « Marcus Chen » et « 123 Main St » en « 456 Oak Ave ». Le texte conserve toujours son apparence et son aspect naturels, mais les vrais secrets ont disparu.
La Contrainte : Cela doit se produire entièrement sur l'appareil (sur votre ordinateur portable), sans envoyer les données vers un grand serveur dans le cloud. C'est comme essayer de faire fonctionner un studio de cinéma haut de gamme à l'intérieur d'un grille-pain.

La Distribution des Personnages

Pour y parvenir, ils ont utilisé trois outils travaillant ensemble :

Le Détective (Filtre de Confidentialité) : Une petite IA qui scanne le texte et signale : « Hé, c'est un nom ! » ou « C'est une date ! »
L'Auteur Créatif (Petit Modèle de Langage) : Une IA minuscule et ultra-efficace (appelée Bonsai-1.7B) qui tente d'inventer un faux nom ou une fausse adresse qui s'intègre au contexte.
Le Suiveur de Règles (Faker) : Un programme informatique standard qui génère des données factices aléatoires pour des éléments comme les e-mails ou les numéros de téléphone.

La Grande Erreur : L'Effet « Perroquet »

Les chercheurs ont rencontré un sérieux obstacle. Lorsqu'ils ont demandé au petit rédacteur IA de créer de faux noms, il a commencé à agir comme un perroquet.

Si vous donniez à l'IA un prompt avec trois exemples (par exemple : « Réel : Alice -> Faux : Bob »), puis que vous lui demandiez de traiter une langue complètement différente (comme le chinois ou l'allemand), l'IA ignorait la nouvelle entrée et crachait simplement « Bob » à nouveau. Elle copiait les exemples mot pour mot, indépendamment du texte réel.

La Découverte :
Ils pensaient que cela était dû au fait que l'IA était « trop petite » ou « trop compressée » (quantifiée). Ils ont testé cela en utilisant une version légèrement plus grande et moins compressée de l'IA. Elle a fait exactement la même chose.

La Leçon : Le problème ne venait pas du matériel ni de la taille de l'IA ; c'était les instructions (le prompt). L'IA se contentait de faire correspondre des motifs aux exemples qui lui étaient donnés.

La Correction : Le « Menu Rotatif »

Pour empêcher l'IA d'être un perroquet, ils ont changé la manière dont ils lui donnaient des exemples.

Ancienne Méthode : Donner à l'IA les mêmes trois exemples à chaque fois.
Nouvelle Méthode : Ils ont créé un « menu » d'exemples pour différentes langues (anglais, chinois, allemand, etc.). Pour chaque nouveau morceau de texte, ils choisissaient au hasard trois exemples dans le menu de la bonne langue pour les montrer à l'IA.
Le Résultat : L'IA a cessé de copier les mauvais exemples. Elle a commencé à générer « Li Wei » pour les noms chinois et « Anna Becker » pour les noms allemands. Elle a enfin compris la mission.

Le Twist Surprenant : « Naturel » n'est pas toujours « Meilleur »

C'est la partie la plus intéressante du papier. Ils voulaient voir si leur nouvel « Auteur Créatif » (l'IA) était meilleur que le « Suiveur de Règles » (Faker) pour former de futurs ordinateurs.

L'Attente : Ils pensaient que les noms générés par l'IA seraient plus « naturels » et donc meilleurs pour l'entraînement.
La Réalité : Le « Suiveur de Règles » (Faker) a en fait gagné.
- Pourquoi ? L'IA, même avec la correction, avait tendance à choisir parmi une très petite liste de noms qu'elle avait vus dans ses exemples. C'était comme un chef qui ne sait cuisiner que cinq plats spécifiques.
- Le « Suiveur de Règles » (Faker) était aléatoire. Il pouvait générer des milliers de noms différents.
- La Leçon : Lorsqu'on forme un ordinateur à reconnaître des données privées, la variété est plus importante que le réalisme. L'ordinateur apprend mieux lorsqu'il voit une grande variété de faux noms, même s'ils semblent un peu aléatoires, plutôt qu'un petit ensemble de noms très réalistes.

La Conclusion

Le Local est Possible : Vous pouvez exécuter des outils de confidentialité sophistiqués sur votre propre ordinateur sans envoyer de données vers le cloud.
Le Prompting Compte : Même les tout petits modèles d'IA peuvent échouer si vous leur donnez les mauvais exemples. Changer les exemples (prompting conditionné par la localité) a résolu le problème du « perroquet ».
Variété > Réalisme : Pour entraîner une IA à repérer des données privées, un générateur qui produit de nombreux faux aléatoires et légèrement différents est meilleur qu'un générateur qui produit quelques faux très réalistes.

Les auteurs ont publié tout leur code et leurs données afin que n'importe qui puisse essayer cette « usine de faux papiers » par lui-même.

Résumé technique : Prompting few-shot conditionné par la locale pour la substitution de PII sur appareil

Énoncé du problème
Les outils existants de masquage des informations personnellement identifiables (PII) (par exemple, Microsoft Presidio, filtre de confidentialité OpenAI) remplacent généralement les entités détectées par des jetons d'espace réservé (par exemple, [PERSON], [EMAIL]). Bien que suffisant pour la conformité, cette approche détruit l'utilité en aval : les modèles de reconnaissance d'entités nommées (NER) entraînés sur du texte masqué ne parviennent pas à se généraliser au texte naturel, et la perplexité des modèles de langage est dominée par les jetons d'espace réservé plutôt que par la structure du texte.

La substitution — remplacer les PII par des valeurs factices réalistes du même type — est une alternative supérieure mais se heurte à trois contraintes : (1) Cohérence : « John Smith » doit être mappé vers le même nom factice tout au long d'un document ; (2) Préservation du type : Un nom chinois ne doit pas être remplacé par un nom américain ; et (3) Exécution sur appareil : Le pipeline doit s'exécuter localement sans envoyer de PII réels vers le cloud.

Méthodologie
Les auteurs proposent un pipeline entièrement sur appareil combinant trois composants :

Détection : Un classificateur de jetons Mixture-of-Experts (MoE) de 1,5 milliard de paramètres (openai/privacy-filter) détecte les segments de PII en utilisant l'étiquetage BIOES.
Proposition de substituts :
- Composant SLM : Un petit modèle de langage (SLM) quantisé sur 1 bit, spécifiquement Bonsai-1.7B (Q1_0), génère des substituts contextuels pour les champs à haute entropie (PERSONNE, ADRESSE, DATE).
- Composant basé sur des règles : La bibliothèque faker gère les champs à faible entropie (EMAIL, TÉLÉPHONE, URL, etc.).
Intégration : Un EntityResolver regroupe les segments détectés par forme canonique et étiquette pour assurer la cohérence. Les substituts sont réinsérés dans le texte, en préservant les espaces blancs originaux.

Résultat technique clé : Régurgitation few-shot
L'article identifie un mode de défaillance critique dans les SLM à quantification extrême. Lorsqu'ils sont sollicités avec un modèle de démonstration fixe à trois exemples (three-shot) naïf, le Bonsai-1.7B à 1 bit (et même un Ternary-Bonsai-1.7B à 1,58 bit) ignore l'entrée et « régurgite » mot pour mot l'une des sorties de démonstration.

Diagnostic : Il s'agit d'un échec de prompting, et non d'un échec de quantification. Le modèle fait correspondre les motifs de la structure de surface des exemples few-shot plutôt que d'apprendre la correspondance entrée-sortie.
Solution : Les auteurs mettent en œuvre des démonstrations few-shot rotatives conditionnées par la locale.
- Une heuristique classe l'entrée dans des locales spécifiques (par exemple, en, zh, ja) et des formats de date.
- Chaque locale dispose d'un pool dédié de 4 à 8 démonstrations.
- Pour chaque entrée, trois démonstrations sont échantillonnées de manière déterministe en utilisant un hachage MD5 de la chaîne d'entrée.
- Cela garantit que la même entité reçoit le même contexte (mise en cache) tandis que des entités différentes échantillonnent des sous-ensembles différents, empêchant le modèle de se contracter vers une seule sortie fixe.

Résultats expérimentaux
Le système a été évalué sur un corpus multilingue de 2 000 documents répartis sur six locales (États-Unis, Inde, Allemagne, Mexique, Japon, Chine) en utilisant trois modes : redact (espaces réservés), faker (substitution aléatoire) et hybrid (SLM pour les noms/dates, faker pour les autres).

Naturalité (Perplexité) : Le mode hybrid surpasse significativement faker sur les six locales lorsqu'il est évalué par un LM causal multilingue (XGLM-564M). Par exemple, en japonais, la PPL a chuté de 32,3 % par rapport à faker.
Cohérence et longueur : Le mode hybrid atteint une cohérence parfaite (1,000) et une préservation de la longueur supérieure à faker dans quatre des six locales.
Latence : Le mode hybrid est significativement plus lent (~41,2 s par document contre ~1,6 s pour faker) en raison de l'inférence SLM, bien que la mise en cache des entités uniques atténue cela d'environ 27 %.
Utilité NER en aval (La découverte négative) :
- L'entraînement d'un modèle NER sur des données redact produit un F1 de 0,000.
- L'entraînement sur des données faker récupère environ 68 % du F1 original (0,656 contre 0,960 pour la référence).
- Crucialement, l'entraînement sur des données hybrid produit un F1 inférieur (0,346) à celui de faker (0,506) dans une expérience sur un sous-ensemble apparié ( $p < 0,001$ ).
- Analyse : Bien que hybrid produise un texte plus naturel, il souffre d'une « distribution de surface plus étroite ». Le SLM, même avec des prompts rotatifs, tend à copier à partir du pool de démonstrations limité (régurgitant des noms spécifiques comme « Jennifer Wong » ou « David Kim » de manière répétée). En revanche, faker offre une plus grande variété de valeurs aléatoires i.i.d. L'article conclut que l'entraînement NER en aval bénéficie davantage de la variété de surface que de la naturalité.

Importance et revendications
L'article apporte trois contributions principales :

Pipeline reproductible : Un système de substitution de PII entièrement sur appareil répondant aux contraintes de cohérence, de préservation du type et d'exécution locale.
Identification du mode de défaillance : L'isolement de la « régurgitation few-shot » dans les SLM à 1 bit/1,58 bit, prouvant qu'il s'agit d'un artefact de prompting et non d'un défaut de quantification.
Insight méthodologique : La démonstration que la « naturalité » (mesurée par la PPL) n'est pas un proxy de l'« utilité en aval » (mesurée par le F1 NER). Les auteurs rapportent une « découverte négative honnête » : bien que l'approche hybride basée sur SLM crée un texte plus naturel, la variété aléatoire de faker est supérieure pour l'entraînement de modèles NER en aval.

Les auteurs soulignent que leur stratégie de prompting conditionnée par la locale élimine avec succès les échecs qualitatifs inter-locales (par exemple, des noms chinois devenant des noms anglais) mais ne résout pas entièrement le rétrécissement du vocabulaire inhérent au prompting few-shot dans les petits modèles. Les travaux futurs suggèrent d'élargir les pools de démonstrations ou d'utiliser des corpus d'entraînement de sources mixtes pour équilibrer naturalité et variété.