InferDPT: Privacy-Preserving Inference for Closed-box Large Language Model

Probleemstelling

Grote Taalmodellen (LLMs), zoals ChatGPT, hebben tekstgeneratie taken revolutionair vereenvoudigd, maar brengen aanzienlijke privacyrisico's met zich mee. Gebruikers uploaden vaak gevoelige documenten (prompts) naar gesloten, zwarte-bus LLMs (bijv. via API's van OpenAI). Dit leidt tot risico's op datalekken en ongeautoriseerde informatieverzameling door de modelbeheerder.

Bestaande oplossingen voor privacybehoudende inferentie hebben echter praktische beperkingen:

• Versleutelingsmethoden (zoals homomorfische encryptie) zijn te rekenintensief en hebben te hoge communicatiekosten.
• Bestaande LDP-methoden (Local Differential Privacy) zoals SANTEXT+ en CUSTEXT+ zijn voornamelijk ontworpen voor classificatietaken. Bij tekstgeneratie leiden deze methoden tot ernstige semantische vervorming omdat ze tokens vervangen door willekeurige, semantisch ongerelateerde woorden uit een statische lijst. Dit maakt de gegenereerde tekst onleesbaar of inconsistent.
• Kwetsbaarheden: Bestaande methoden zijn vatbaar voor aanvallen zoals embedding inversion attacks, waarbij een aanvaller de originele tekst kan reconstrueren, zelfs bij strenge privacy-instellingen.

Methodologie: InferDPT Framework

Het paper introduceert InferDPT, het eerste praktische framework voor privacybehoudende inferentie van zwarte-bus LLMs. Het framework combineert twee kernmodules om privacy te waarborgen zonder de bruikbaarheid van de gegenereerde tekst volledig te verliezen:

1. Perturbatiemodule (Privacy):

   • Deze module past lokale differentiatie (LDP) toe op de invoerdocumenten voordat deze naar de externe LLM worden gestuurd.
   • In plaats van een statische lijst van vervangende woorden te gebruiken, introduceert het een nieuwe mechanisme genaamd RANTEXT.
   • RANTEXT gebruikt een random adjacency list (willekeurige nabijheidslijst). Voor elk token wordt een dynamische lijst gegenereerd op basis van de Euclidische afstand in de embedding-ruimte. De grootte van deze lijst wordt bepaald door de Laplace-verdeling en de privacy-parameter $\epsilon$.
   • Tokens worden vervangen door andere tokens uit deze lijst die semantisch dicht bij het origineel liggen, maar toch voldoende onzekerheid bieden voor privacy.

2. Extractiemodule (Bruikbaarheid):

   • Omdat de perturbatie de tekst onleesbaar maakt voor de gebruiker, wordt een lokaal, kleiner taalmodel ingezet.
   • Dit lokale model ontvangt twee inputs: het originele (geheime) document en de verstoord gegenereerde tekst van de zwarte-bus LLM.
   • Gebaseerd op het principe van knowledge distillation, extrahert het lokale model de coherente en consistente informatie uit de verstoorde output en reconstrueert het een tekst die semantisch overeenkomt met het originele document, maar zonder de gevoelige tokens bloot te geven.

Belangrijkste Bijdragen

1. InferDPT Framework: Een nieuw architectuur voor privacybehoudende inferentie bij zwarte-bus LLMs die specifiek is ontworpen voor open-ended tekstgeneratie, in tegenstelling tot eerdere methoden voor classificatie.
2. RANTEXT Mechanisme: Een innovatief differentieel privacy-algoritme dat gebruikmaakt van een random adjacency list. Dit lost het compromis op tussen privacy en bruikbaarheid:
   • Het is kleiner dan de statische lijsten van SANTEXT+ (wat de semantische kwaliteit verbetert).
   • Het is groter dan die van CUSTEXT+ (wat de weerbaarheid tegen reconstructie-aanvallen vergroot).
3. Nieuwe Aanvalsmethode: De auteurs introduceren de "GPT Inference Attack", een adaptieve aanval waarbij een krachtig LLM (GPT-4) wordt gebruikt om te proberen de originele tokens te reconstrueren uit de verstoorde tekst.
4. Observatie: Het paper documenteert dat verstoorde generaties van LLMs nog steeds een significante overlap van tokens vertonen met niet-verstoorde generaties, wat de basis vormt voor de extractiemodule.

Resultaten

Experimenten zijn uitgevoerd op drie datasets (CNN/Daily Mail, Wikitext-103-v1, ArXiv) met GPT-4 als de externe LLM en modellen zoals Vicuna-7b en Llama2 als lokale extractiemodellen.

• Privacybescherming:
  • RANTEXT presteert aanzienlijk beter dan SANTEXT+ en CUSTEXT+ tegen embedding inversion attacks.
  • Bij een privacy-parameter $\epsilon = 6.0$ biedt RANTEXT een gemiddeld beschermingsniveau van >0.90, wat 3.35 keer hoger is dan CUSTEXT+ en 0.58 keer hoger dan SANTEXT+.
  • Zelfs bij extreme waarden ($\epsilon = 0.01$) kunnen aanvallen CUSTEXT+ nog 40% van de tokens reconstrueren, terwijl RANTEXT dit effectief blokkeert.
• Kwaliteit van Tekstgeneratie (Utility):
  • De gegenereerde tekst van InferDPT (met RANTEXT) is qua kwaliteit vergelijkbaar met niet-privacy-beschermd GPT-4.
  • Op metrics zoals Diversity, MAUVE (gelijkenis met menselijke tekst) en Coherence (samenhang) presteert InferDPT beter dan lokale modellen alleen en vaak beter dan de bestaande LDP-methoden.
  • De coherentie van InferDPT is in veel gevallen zelfs hoger dan die van niet-privacy-beschermd GPT-4, dankzij de extractiemodule die de tekst "corrigeert".
• Efficiëntie: De extra tijd die nodig is voor de perturbatie en extractie is minimaal (minder dan 4 seconden per inferentie), wat het framework praktisch toepasbaar maakt.

Significantie

Dit paper is significant omdat het een van de eerste praktische oplossingen biedt voor het privacyprobleem bij het gebruik van gesloten LLMs voor tekstgeneratie. Het overbrugt de kloof tussen theoretische privacybescherming (differentiële privacy) en de praktische noodzaak van hoge kwaliteit tekst.

• Het demonstreert dat het mogelijk is om gevoelige informatie te beschermen zonder de functionaliteit van de AI te verliezen, door slimme combinaties van perturbatie en lokale reconstructie.
• Het introduceert RANTEXT als een superieur alternatief voor bestaande LDP-methoden in NLP, die vaak te veel ruis introduceren voor generatieve taken.
• Het biedt een blauwdruk voor toekomstige privacy-beveiligde interacties met commerciële AI-diensten, waarbij gebruikers hun data kunnen uploaden zonder bang te hoeven zijn voor datalekken of ongeautoriseerde training van de modellen.