💬 NLP

Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models

Dit artikel stelt een PII-vervangingpijplijn op het apparaat voor met een 1-bit Small Language Model en lokaal-geconditioneerde roterende few-shot prompting om demonstratieherhaling te voorkomen, en onthult dat hoewel deze aanpak natuurlijker tekst genereert dan op regels gebaseerde methoden, het uiteindelijk de downstream Named Entity Recognition-prestaties schaadt door onvoldoende variatie in de trainingsdata.

Oorspronkelijke auteurs: Anuj Sadani, Deepak Kumar

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anuj Sadani, Deepak Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een stapel gevoelige documenten hebt met echte namen, adressen en datums. Je moet deze documenten delen voor onderzoek of training, maar je moet de echte privégegevens verbergen.

Dit artikel gaat over een nieuwe, slimme manier om die verberging te doen, specifiek met behulp van kleine computers (zoals die in je telefoon of laptop) in plaats van het verzenden van data naar de cloud.

Hier is het verhaal van hun ontdekking, verteld door middel van eenvoudige analogieën.

Het Probleem: De "Witte Sticker"-benadering

Traditioneel gebruiken bedrijven bij het verbergen van privé-informatie een "witte sticker"-methode. Als een document zegt "John Smith woont aan de Main St 123", vervangt de software dit door [PERSOON] en [ADRES].

Het Probleem: Hoewel dit geheimen veilig houdt, maakt het het document onbruikbaar. Als je later probeert een computer te leren namen te herkennen, leert deze alleen het woord [PERSOON] te herkennen, niet hoe een echte naam eruitziet. Het is alsof je een kind leert honden te herkennen door hen een foto te tonen van een leeg vierkant met het label "HOND". Ze zullen niet weten hoe een echte hond eruitziet.

De Oplossing: De "Valse ID"-fabriek

De auteurs bouwden een systeem dat niet zomaar een leeg label op de data plakt; het creëert een realistische nepversie van de persoon of plaats.

Het Doel: Verander "John Smith" in "Marcus Chen" en "Main St 123" in "Oak Ave 456". De tekst ziet er nog steeds natuurlijk uit en voelt zo aan, maar de echte geheimen zijn weg.
De Beperking: Dit moet volledig op het apparaat gebeuren (op je laptop), zonder het verzenden van data naar een grote server in de cloud. Dit is alsof je probeert een high-end filmstudio te runnen binnen een broodrooster.

De Cast van Personages

Om dit voor elkaar te krijgen, gebruikten ze drie hulpmiddelen die samenwerken:

De Detective (Privacyfilter): Een kleine AI die de tekst scant en aangeeft: "Hé, dat is een naam!" of "Dat is een datum!"
De Creatieve Schrijver (Kleine Taalmodel): Een tiny, super-efficiënte AI (genaamd Bonsai-1.7B) die probeert een nepnaam of -adres te bedenken dat past bij de context.
De Regelvolger (Faker): Een standaard computerprogramma dat willekeurige nepdata genereert voor dingen zoals e-mails of telefoonnummers.

De Grote Fout: Het "Papegaai"-effect

De onderzoekers botsten op een groot struikelblok. Toen ze de kleine AI-schrijver vroegen nepnamen te creëren, begon het te gedragen als een papegaai.

Als je de AI een prompt gaf met drie voorbeelden (bijv. "Echt: Alice -> Nep: Bob"), en je vroeg haar vervolgens om een volledig andere taal te behandelen (zoals Chinees of Duits), negeerde de AI de nieuwe invoer en spuwde gewoon weer "Bob" uit. Het kopieerde de voorbeelden letterlijk, ongeacht de daadwerkelijke tekst.

De Ontdekking:
Ze dachten dat dit gebeurde omdat de AI "te klein" of "te gecomprimeerd" (gequantized) was. Ze testten dit door een iets grotere, minder gecomprimeerde versie van de AI te gebruiken. Het deed precies hetzelfde.

De Les: Het probleem lag niet bij de hardware of de grootte van de AI; het lag bij de instructies (de prompt). De AI paste gewoon patronen toe op de voorbeelden die haar werden gegeven.

De Oplossing: Het "Roterende Menu"

Om te voorkomen dat de AI een papegaai bleef, veranderden ze de manier waarop ze voorbeelden aan haar gaven.

Oude Manier: Geef de AI elke keer dezelfde drie voorbeelden.
Nieuwe Manier: Ze creëerden een "menu" met voorbeelden voor verschillende talen (Engels, Chinees, Duits, enz.). Voor elk nieuw stuk tekst kozen ze willekeurig drie voorbeelden uit het menu van de juiste taal om aan de AI te tonen.
Het Resultaat: De AI stopte met het kopiëren van de verkeerde voorbeelden. Ze begon "Li Wei" te genereren voor Chinese namen en "Anna Becker" voor Duitse namen. Ze begreep eindelijk de opdracht.

De Verrassende Twist: "Natuurlijk" is niet altijd "Beter"

Dit is het meest interessante deel van het artikel. Ze wilden zien of hun nieuwe "Creatieve Schrijver" (de AI) beter was dan de "Regelvolger" (Faker) voor het trainen van toekomstige computers.

De Verwachting: Ze dachten dat de door de AI gegenereerde namen natuurlijker zouden zijn en daarom beter voor training.
De Realiteit: De "Regelvolger" (Faker) won eigenlijk.
- Waarom? De AI, zelfs met de oplossing, neigde naar een zeer kleine lijst met namen die ze in haar voorbeelden had gezien. Het was alsof een chef-kok alleen maar vijf specifieke gerechten kan koken.
- De "Regelvolger" (Faker) was willekeurig. Het kon duizenden verschillende namen genereren.
- De Les: Bij het trainen van een computer om privédata te herkennen, is variatie belangrijker dan naturaliteit. De computer leert beter wanneer het een enorme variatie aan nepnamen ziet, zelfs als ze een beetje willekeurig lijken, in plaats van een kleine set zeer realistische namen.

De Conclusie

Op Apparaat is Mogelijk: Je kunt geavanceerde privacytools op je eigen computer draaien zonder data naar de cloud te sturen.
Prompting Maakt Uit: Zelfs kleine AI-modellen kunnen falen als je ze de verkeerde voorbeelden geeft. Het veranderen van de voorbeelden (locale-conditioned prompting) loste het "papegaai"-probleem op.
Variatie > Realisme: Voor het trainen van AI om privédata te spotten, is een generator die veel willekeurige, licht verschillende nepnamen produceert beter dan een generator die een paar zeer realistische namen produceert.

De auteurs hebben al hun code en data vrijgegeven zodat iedereen deze "valse ID-fabriek" zelf kan proberen.

Technische Samenvatting: Locatie-geconditioneerde Few-Shot Prompting voor PII-vervanging op het apparaat

Probleemstelling
Bestaande tools voor het anonimiseren van Persoonlijk Identificeerbare Informatie (PII) (bijvoorbeeld Microsoft Presidio, OpenAI privacyfilter) vervangen gedetecteerde entiteiten doorgaans door placeholder-tokens (bijvoorbeeld [PERSON], [EMAIL]). Hoewel dit voldoende is voor naleving, vernietigt deze aanpak de bruikbaarheid voor downstream toepassingen: Named Entity Recognition (NER)-modellen die zijn getraind op geanonimiseerde tekst, generaliseren niet naar natuurlijke tekst, en de perplexiteit van taalmodellen wordt gedomineerd door de placeholder-tokens in plaats van de tekststructuur.

Vervanging – het vervangen van PII door realistische, nep-waarden van hetzelfde type – is een superieur alternatief, maar stuit op drie beperkingen: (1) Consistentie: "John Smith" moet doorheen een document worden gemapt naar dezelfde nepnaam; (2) Typebehoud: Een Chinese naam mag niet worden vervangen door een Amerikaanse naam; en (3) Uitvoering op het apparaat: De pijplijn lokaal moeten draaien zonder echte PII naar de cloud te sturen.

Methodologie
De auteurs stellen een volledig lokale pijplijn voor die drie componenten combineert:

Detectie: Een token-classificator met 1,5 miljard parameters op basis van Mixture-of-Experts (MoE) (openai/privacy-filter) detecteert PII-spanningen met BIOES-tagging.
Surrogaatvoorstelling:
- SLM-component: Een Small Language Model (SLM) met 1-bit kwantisatie, specifiek Bonsai-1.7B (Q1_0), genereert contextuele surrogaatwaarden voor velden met hoge entropie (PERSON, ADRES, DATUM).
- Regelgebaseerde component: De bibliotheek faker behandelt velden met lage entropie (EMAIL, TELEFOON, URL, enz.).
Integratie: Een EntityResolver groepeert gedetecteerde spanningen op canonieke vorm en label om consistentie te waarborgen. Surrogaatwaarden worden terug in de tekst geplakt, waarbij de originele witruimte behouden blijft.

Belangrijkste technische bevinding: Few-Shot Regurgitatie
Het artikel identificeert een kritieke faalmodus in SLM's met extreme kwantisatie. Wanneer deze worden geprompt met een naïef, vast drie-shot demonstratietemplate, negeert de 1-bit Bonsai-1.7B (en zelfs een 1,58-bit Ternary-Bonsai-1.7B) de invoer en "regurgiteert" letterlijk een van de demonstratie-uitvoerwaarden.

Diagnose: Dit is een prompting-fout, geen kwantisatiefout. Het model past de oppervlaktestructuur van de few-shot voorbeelden toe in plaats van de invoer-naar-uitvoer-mapping te leren.
Oplossing: De auteurs implementeren Locatie-geconditioneerde Roterende Few-Shot Demonstraties.
- Een heuristiek classificeert invoer naar specifieke locaties (bijvoorbeeld en, zh, ja) en datumformaten.
- Elke locatie heeft een eigen pool van 4–8 demonstraties.
- Voor elke invoer worden drie demonstraties deterministisch bemonsterd met behulp van een MD5-hash van de invoerstring.
- Dit zorgt ervoor dat dezelfde entiteit dezelfde context ontvangt (caching), terwijl verschillende entiteiten verschillende subsets bemonsteren, waardoor het model niet instort naar één vaste uitvoer.

Experimentele resultaten
Het systeem werd geëvalueerd op een meertalig corpus van 2.000 documenten over zes locaties (VS, India, Duitsland, Mexico, Japan, China) met drie modi: redact (placeholders), faker (willekeurige vervanging) en hybrid (SLM voor namen/datums, faker voor anderen).

Naturaliteit (Perplexiteit): De hybrid-modus presteert significant beter dan faker in alle zes locaties wanneer geëvalueerd door een meertalig causaal LM (XGLM-564M). Bijvoorbeeld, in het Japans daalde de PPL met 32,3% ten opzichte van faker.
Consistentie & Lengte: De hybrid-modus bereikt perfecte consistentie (1,000) en een superieure lengtebehoud ten opzichte van faker in vier van de zes locaties.
Latentie: De hybrid-modus is significant trager (~41,2s per document versus ~1,6s voor faker) vanwege SLM-inferentie, hoewel het cachen van unieke entiteiten dit met ~27% vermindert.
Downstream NER-gebruik (De negatieve bevinding):
- Het trainen van een NER-model op redact-data levert een F1-score van 0,000 op.
- Trainen op faker-data herstelt ongeveer 68% van de oorspronkelijke F1 (0,656 versus 0,960 baseline).
- Cruciaal: Trainen op hybrid-data levert een lagere F1-score (0,346) op dan faker (0,506) in een experiment met een gematchte subset ( $p < 0.001$ ).
- Analyse: Hoewel hybrid natuurlijkere tekst produceert, lijdt het onder een "smaller oppervlakteverdeling". De SLM, zelfs met roterende prompts, neigt ertoe te kopiëren uit de beperkte demonstratiepool (herhaaldelijk specifieke namen zoals "Jennifer Wong" of "David Kim" te regurgiteren). Daarentegen biedt faker een bredere variëteit aan i.i.d. willekeurige waarden. Het artikel concludeert dat downstream NER-training meer baat heeft bij oppervlaktevariëteit dan bij naturaliteit.

Betekenis en claims
Het artikel levert drie primaire bijdragen:

Reproduceerbare pijplijn: Een volledig lokaal PII-vervangingssysteem dat voldoet aan de beperkingen van consistentie, typebehoud en lokale uitvoering.
Identificatie van faalmodus: De isolatie van "few-shot regurgitatie" in 1-bit/1,58-bit SLM's, wat bewijst dat het een prompting-artefact is en geen kwantisatiedefect.
Methodologisch inzicht: De demonstratie dat "naturaliteit" (gemeten door PPL) geen proxy is voor "downstream bruikbaarheid" (gemeten door NER F1). De auteurs rapporteren een "eerlijke negatieve bevinding": hoewel de op SLM gebaseerde hybride aanpak natuurlijkere tekst creëert, is de willekeurige variëteit van faker superieur voor het trainen van downstream NER-modellen.

De auteurs benadrukken dat hun strategie voor locatie-geconditioneerde prompting kwalitatieve cross-locatiefouten succesvol elimineert (bijvoorbeeld Chinese namen die Engelse namen worden), maar de vocabulaireverenging inherent aan few-shot prompting in kleine modellen niet volledig oplost. Toekomstig werk suggereert het uitbreiden van demonstratiepools of het gebruik van trainingscorpora met gemengde bronnen om naturaliteit en variëteit in evenwicht te brengen.