STAMP: Selective Task-Aware Mechanism for Text Privacy

Het paper introduceert STAMP, een nieuw raamwerk voor tekstprivacy dat een verbeterde afweging tussen privacy en bruikbaarheid bereikt door privacybudgetten selectief toe te wijzen aan tokens op basis van hun taakrelevantie en gevoeligheid, en gebruik te maken van een polair mechanisme dat alleen de richting van token-embeddings perturbeert om de semantische structuur te behouden.

De kern

STAMP: De Slimme Stempel voor Je Tekst

Stel je voor dat je een heel persoonlijk verhaal schrijft voor een slimme computer (een AI). Je wilt dat de AI het verhaal begrijpt en een goed antwoord geeft, maar je wilt niet dat de AI (of de mensen achter de AI) jouw naam, adres of andere geheime details ziet.

Vroeger was dit een lastige puzzel. Als je je geheime gegevens wilde verbergen, moest je vaak het hele verhaal "ruis" toevoegen. Het was alsof je je geheime brief in een rommelige doos gooide met veel stro: je kon je eigen naam niet meer vinden, maar ook de rest van de verhaal was onleesbaar geworden. Of je moest alle woorden evenveel "verdraaien", wat betekende dat belangrijke woorden (zoals "dokter" of "recept") net zo veel schade opliepen als onbelangrijke woorden (zoals "de" of "en").

STAMP is een nieuwe, slimme manier om dit op te lossen. De naam staat voor Selective Task-Aware Mechanism for Text Privacy (Selectief, Taalbewust Mechanisme voor Tekstprivacy).

Hier is hoe het werkt, uitgelegd met een paar creatieve vergelijkingen:

1. De "Slimme Verdelers" (Selectieve Budgetten)

Stel je voor dat je een beperkt aantal "verdedigingspunten" hebt om je tekst te beschermen.

• De oude manier: Je deelt deze punten eerlijk uit over elk woord in je zin. Woorden als "de" en "een" krijgen net zoveel bescherming als je naam "Jan" of je geboortedatum. Dit is zonde van je middelen!
• De STAMP-methode: STAMP kijkt eerst naar twee dingen:
  1. Is dit woord geheim? (Bijv. een naam, een telefoonnummer).
  2. Is dit woord belangrijk voor de vraag? (Bijv. als je vraagt "Wie is de dokter?", dan is "dokter" heel belangrijk. Als je vraagt "Wat is het weer?", dan is "dokter" onbelangrijk).

STAMP verdeelt je verdedigingspunten slim:

• Geheime maar onbelangrijke woorden: Krijgen de sterkste verdediging. Ze worden heel sterk "verdraaid" zodat niemand ze kan herleiden.
• Belangrijke maar niet-geheime woorden: Krijgen de minste verdraaiing. Zo blijft het verhaal begrijpelijk voor de AI.
• Alles wat er tussen zit: Krijdt een gemiddelde verdediging.

Het is alsof je een huis beveiligd: je sluit je dure juwelenkist (je privacygevoelige data) extra goed af, maar laat de deur naar de woonkamer (de belangrijke informatie voor de AI) gewoon open, zodat je gasten (de AI) er makkelijk doorheen kunnen lopen.

2. De "Kompas-naald" (De Polaire Methode)

Hoe verdraai je een woord nu precies zonder de betekenis te verpesten?
Woorden in computers worden vaak gezien als pijlen in een ruimte. De richting van de pijl bepaalt wat het woord betekent, en de lengte van de pijl is vaak minder belangrijk voor de betekenis.

• De oude manier (Isotrope ruis): Dit was alsof je de pijl in alle richtingen duwde. De lengte veranderde ook. Soms werd een pijl die "hond" betekende, door het duwen een pijl die "auto" betekende. De betekenis ging verloren.
• De STAMP-methode (Polaire Methode): STAMP houdt de lengte van de pijl precies hetzelfde en duwt alleen de richting een beetje opzij.
  • Vergelijking: Stel je een kompasnaald voor. Je mag de naald een beetje draaien (zoals de wind doet), maar je mag hem niet verlengen of verkorten. Als je de naald een beetje draait, wijst hij nog steeds ongeveer naar het noorden (de betekenis blijft behouden), maar hij is niet meer exact op het noorden gericht (je privacy is beschermd).

Omdat de AI ook kijkt naar de richting van de woorden, kan hij het verdraaide woord nog steeds goed begrijpen, terwijl de originele tekst voor een spion onherkenbaar blijft.

3. Het Resultaat: Een Beter Evenwicht

Met STAMP krijg je het beste van twee werelden:

1. Privacy: Je gevoelige gegevens (namen, ID's) zijn goed verborgen.
2. Nuttigheid: De AI krijgt nog steeds een verhaal dat logisch is en waarop hij een goed antwoord kan geven.

In tests met verschillende taken (zoals het beantwoorden van vragen of het beoordelen van recensies) bleek STAMP veel beter te werken dan de oude, "een grootte past iedereen"-methoden. Het is alsof je een maatpak op maat laat maken in plaats van een "one-size-fits-all" T-shirt: het zit veel beter en werkt veel efficiënter.

Kortom: STAMP is een slimme bewaker die precies weet welke delen van je tekst geheim moeten blijven en welke delen open moeten blijven voor de AI, zodat je veilig kunt praten zonder je verhaal te verliezen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "STAMP: Selective Task-Aware Mechanism for Text Privacy" in het Nederlands.

Probleemstelling

Moderne Large Language Models (LLMs) verwerken vaak gebruikersinvoer die gevoelige informatie bevat (zoals namen, data, ID's). Om de privacy te waarborgen, moeten client-kantige mechanismen worden ingezet die de tekst anonimiseren voordat deze naar een externe server wordt gestuurd, zonder de bruikbaarheid (utility) voor de downstream-taak (bijv. vraag-antwoord, sentimentanalyse) te vernietigen.

Bestaande methoden voor lokale differentiatie-privacy (LDP) bij tekst hebben fundamentele beperkingen:

1. Uniforme budgettoewijzing: Traditionele methoden verdelen het privacy-budget gelijkmatig over alle tokens. Dit leidt tot onnodige ruis op onbelangrijke woorden (wat de kwaliteit verlaagt) en onvoldoende bescherming van kritieke, maar gevoelige tokens.
2. Isotrope ruis: Het toevoegen van Laplace- of Gaussische ruis aan embedding-vectoren behandelt alle richtingen in de vectorruimte gelijk. Echter, semantische embeddings zijn anisotroop; kleine verstoringen in bepaalde richtingen kunnen de betekenis volledig veranderen, terwijl grote verstoringen in andere richtingen weinig effect hebben.
3. Gebrek aan taakbewustzijn: Bestaande selectieve methoden gebruiken vaak statische linguïstische heuristieken (zoals woordsoort of frequentie) en negeren de dynamische context van de specifieke downstream-taak of query.

Methodologie: Het STAMP Framework

STAMP (Selective Task-Aware Mechanism for Privacy) is een raamwerk dat privacy en bruikbaarheid optimaliseert door twee dimensies te combineren: privacy-gevoeligheid en taakrelevantie.

1. Selectieve, Taakbewuste Budgettoewijzing

STAMP partitioneert tokens in vier groepen op basis van een 2x2-matrix:

• Gevoeligheid: Is het token PII (Persoonlijk Identificeerbare Informatie) of een gevoelige entiteit (bijv. naam, locatie)?
• Taakrelevantie: Is het token cruciaal voor de specifieke query of taak? (Bepaald via cosine-ähnelijkheid tussen de token-embedding en een taak- of query-representatie).

Dit resulteert in vier groepen:

1. Hoog gevoelig & Hoog relevant: Vereist een balans tussen bescherming en bruikbaarheid.
2. Hoog gevoelig & Laag relevant: Krijgt de strengste bescherming (kleinste privacy-budget $\epsilon$).
3. Laag gevoelig & Hoog relevant: Krijgt de minste verstoring (grootste budget) om de taak-utility te behouden.
4. Laag gevoelig & Laag relevant: Kan sterk worden verstoord.

Het privacy-budget ($\epsilon$) wordt per groep toegewezen, waarbij gevoelige en taak-irrelevante tokens het meest worden beschermd, en niet-gevoelige, taak-kritieke tokens het minst.

2. De Polaire Mechanisme (Polar Mechanism)

In plaats van isotrope ruis toe te voegen, introduceert STAMP een geometrisch afgestemd mechanisme:

• Decompositie: Een token-embedding $e$ wordt ontbonden in een magnitude (straal $r$) en een richting (eenheid vector $u$ op de eenheidssfeer).
• Storing: Alleen de richting wordt verstoord met von Mises-Fisher (vMF) ruis op de eenheidssfeer. De magnitude wordt behouden (of zelfs genegeerd bij de genormaliseerde variant).
• Decoding: De gedecodeerde token wordt gevonden via een cosine nearest-neighbor search. Omdat de decoding alleen afhankelijk is van de richting (hoek), en de ruis ook alleen de richting beïnvloedt, blijft de semantische nabuurschap in de embedding-ruimte behouden.
• Voordeel: Dit mechanisme respecteert de intrinsieke geometrie van taal-embeddings, in tegenstelling tot Laplace-ruis die semantische relaties kan verstoren.

Belangrijkste Bijdragen

1. Selectieve Privacy-toewijzing: STAMP is het eerste framework dat privacy-budgetten dynamisch toewijst op basis van zowel de intrinsieke gevoeligheid van een token als zijn contextuele belang voor de specifieke taak.
2. Geometrisch Afgestemde Storing: De introductie van het "Polar Mechanism" dat uitsluitend de richting van embeddings perturbeert, wat leidt tot een betere behoud van semantische structuren en een efficiëntere decoding.
3. Formele Privacy-Garanties: Het paper bewijst dat STAMP voldoet aan Task-Aware Metric LDP. Dit betekent dat de privacy-garantie wordt geschaald op basis van de semantische afstand tussen tokens, wat beter aansluit bij de aard van natuurlijke taal dan traditionele LDP.
4. Uitgebreide Empirische Evaluatie: Het framework is getest op drie diverse datasets (SQuAD, Yelp, AG News) en overtreft zowel uniforme budgettoewijzing als isotrope ruismechanismen.

Resultaten

Experimentele resultaten tonen aan dat STAMP, in combinatie met het genormaliseerde polaire mechanisme, een superieure privacy-utility trade-off bereikt:

• Vergelijking met Laplace: Bij gelijke privacy-budgetten ($\epsilon$) behoudt STAMP (Polaire methode) aanzienlijk meer bruikbaarheid dan isotrope Laplace-mechanismen. Bij lage budgetten degradeert Laplace naar willekeurige prestaties, terwijl STAMP effectief blijft.
• Vergelijking met Uniforme Toewijzing: STAMP presteert consistent beter dan een uniforme verdeling van het privacy-budget. Door ruis te concentreren op tokens die gevoelig maar taak-irrelevant zijn, blijft de prestatie van de downstream-taak (bijv. nauwkeurigheid bij sentimentanalyse of exacte match bij vraag-antwoord) hoog.
• Berekeningskosten: De overhead van STAMP is minimaal. Het groeperen van tokens en het toepassen van het polaire mechanisme heeft een vergelijkbare latentie als standaard isotrope methoden (ongeveer 195 ms/token vs. 192 ms/token in de tests).

Betekenis en Conclusie

STAMP vertegenwoordigt een belangrijke stap voorwaarts in privacy-bewuste NLP. Het erkent dat privacy geen statische eigenschap van tekst is, maar een contextuele keuze die afhankelijk is van de taak. Door de privacy-maatregelen te "selecteren" op basis van wat er moet worden beschermd versus wat er moet worden bewaard voor de functionaliteit, biedt STAMP een praktische oplossing voor het veilig gebruik van gevoelige data in LLM-toepassingen.

De methode biedt een modulair raamwerk dat kan worden aangepast aan verschillende privacy-eisen en taaktypen, en legt de basis voor toekomstig werk gericht op dynamische taken en sequentie-afhankelijkheden. Het paper benadrukt echter ook dat STAMP een hulpmiddel is en geen volledige oplossing; verantwoord gebruik vereist nog steeds auditing en aandacht voor bredere ethische kwesties zoals bias en eerlijkheid.