Technische Samenvatting: SharedRequest

Probleemstelling

De wijdverspreide inzet van publieke Large Language Models (LLM's) zoals ChatGPT heeft een kritieke spanning gecreëerd tussen bruikbaarheid en gebruikersprivacy. Hoewel cloudgebaseerde LLM's transformerende capaciteiten bieden, bevatten gebruikersprompts vaak gevoelige informatie (bijv. persoonlijke kenmerken, medische geschiedenis, juridische details) die vertrouwelijk moet blijven voor derden, inclusief de serviceprovider.

Bestaande methoden voor privacy-bewuste inferentie kampen met een "trilemma" tussen privacy, bruikbaarheid en efficiëntie:

1. Cryptografische benaderingen (SMPC): Methoden zoals Iron, MPCFormer en SecFormer bieden sterke privacygaranties, maar introduceren een prohibitieve communicatie- en rekenoverhead, wat schaalbaarheid beperkt.
2. Local Differential Privacy (LDP): Benaderingen zoals RanText en CusText verstoren prompts aan de client-zijde, maar degraderen vaak de kwaliteit van de respons (bruikbaarheid) aanzienlijk en hebben moeite met tekstgeneratietaken.
3. Modelspecifieke modificaties: Veel oplossingen vereisen toegang tot modelparameters of architecturale wijzigingen, wat onhaalbaar is voor propriëtaire black-box modellen.
4. Individuele perturbatie: Huidige model-agnostische methoden verstoren doorgaans elke prompt onafhankelijk, wat leidt tot semantische vervorming en hoge querykosten bij het genereren van meerdere ruisige varianten om privacy te waarborgen.

Methodologie: SharedRequest

De auteurs stellen SharedRequest voor, een model-agnostisch framework dat privacybescherming herformuleert op batch-niveau in plaats van op individueel prompt-niveau. De kerninzicht is dat commerciële LLM's enorme batches queries verwerken waarbij veel gebruikers semantisch equivalente, generieke instructies delen (bijv. "Wat zijn de aanbevolen restaurants in [Locatie]?").

Kernmechanisme

SharedRequest werkt via een protocol met drie partijen bestaande uit Gebruikers, een Noise Sampler (een externe coördinator) en de Service Provider (de LLM-eigenaar).

1. Prompt Decompositie:

   • Gebruikersprompts worden gesplitst in een generieke instructie ($T_q$) en private attributen ($A_q$).
   • Gebruikers identificeren private attributen en selecteren een set plausibele alternatieve attributen ($A'$) uit een vooraf geconstrueerde database of lokale generatie.

2. Batch-Level Groepering en Ruisinjectie:

   • De Noise Sampler ontvangt versleutelde private attributen van gebruikers. Het groepeert prompts op basis van hun generieke instructies.
   • Voor elke groep genereert de sampler ruisige varianten door de originele private attributen te vervangen door gesamplede alternatieven.
   • Cruciaal is dat de sampler een combinatie-filtermechanisme gebruikt. In plaats van alle mogelijke attribuutcombinaties te verzenden (wat exponentieel groot zou zijn), gebruikt het een vooraf getrainde discriminator om de "echtheid" van attribuutcombinaties binnen de context te scoren. Alleen combinaties die een kwaliteitsdrempel overschrijden, worden geselecteerd. Dit zorgt ervoor dat de ruisige prompts niet te onderscheiden zijn van echte prompts.

3. Veilige Transmissie:

   • Forward Transmissie: Gebruikers versleutelen private attributen met de publieke sleutel van de Service Provider. Berichten naar de Noise Sampler worden versleuteld met de publieke sleutel van de Sampler. Dit zorgt ervoor dat de Sampler alleen generieke instructies en kandidaatlijsten ziet, terwijl de Service Provider een gehusselde mix van echte en ruisige prompts ziet, maar deze niet aan specifieke gebruikers kan koppelen.
   • Backward Transmissie: De Service Provider genereert responsen voor de batch. Om te voorkomen dat de Noise Sampler de inhoud leert, maskeert de Service Provider de responsen met een pseudo-willekeurige masker afgeleid van een seed die door de gebruiker is geleverd. Gebruikers reconstrueren de ware respons via modulaire subtractie.

4. Kostenamortisatie:

   • De Service Provider aggregeert identieke prompts (zowel echte als ruisige) binnen een batch en genereert één enkele respons per unieke prompt.
   • De inferentiekosten van de "ruisige" queries worden geamortiseerd over de gehele batch van gebruikers die dezelfde generieke instructie delen.

Privacy Definitie

Het artikel introduceert $(A_n, \epsilon)$-ononderscheidbaarheid, een versoepeling van standaard Differential Privacy (DP).

• Buren: Twee sets prompts worden als buren beschouwd als de een verkregen kan worden uit de ander door de private attributen van een enkele prompt te vervangen door een "gekwalificeerd alternatief" uit een door de gebruiker gedefinieerde set.
• Garantie: Het mechanisme zorgt ervoor dat het perspectief van de Service Provider (een gehusselde set prompts) ononderscheidbaar is met betrekking tot wijzigingen in private attributen, mits de Noise Sampler en de Service Provider niet samenzweren.

Belangrijkste Bijdragen

1. Nieuw Paradigma op Batch-niveau: Een model-agnostisch framework dat semantisch equivalente verzoeken groepeert voor gezamenlijke verwerking, wat privacy mogelijk maakt door gehusselde ruisige varianten en kostenreductie door batch-niveau amortisatie.
2. Lichtgewicht Multi-Party Protocol: Een ontwerp dat de anonimiteit van de gebruiker waarborgt en private attributen verbergt voor de service provider zonder dat aanpassingen aan de LLM-architectuur of toegang tot modelparameters nodig zijn.
3. Theoretische Formalisering: Formalisering van privacy via $(A_n, \epsilon)$-ononderscheidbaarheid en theoretische analyse die de voordelen van query-kostenamortisatie bewijst, met name onder ongelijke (long-tail) requestdistributies.
4. Coördinatie door Derden: Een mechanisme voor efficiënte sampling van ruisige queries dat de computationele last aan de gebruikerszijde vermindert voor prompts met meerdere private attributen door complexe combinatie-selectie te delegeren aan de Noise Sampler.

Experimentele Resultaten

Het framework werd geëvalueerd op drie privacygevoelige datasets: Legal-QA, Medical-QA en MMLU-Biz.

• Bruikbaarheid:
  • De "Original" versie (zonder prompt vereenvoudiging) bereikte een bruikbaarheid die bijna identiek is aan de niet-private baseline (binnen 1% verlies).
  • Vergeleken met state-of-the-art model-agnostische LDP-baselines (RanText, CusText, DP-Prompt, InferDPT) behaalde SharedRequest meer dan 20% hogere bruikbaarheid (gemeten via F1-score of kwaliteitsratings) bij privacybudgetten ($\epsilon$) variërend van 1 tot 5.
• Query Kosten:
  • Het gedeelde prompt-mechanisme verminderde de querykosten met wel 5,6× vergeleken met niet-gebatched inferentie, vooral wanneer de distributie van generieke instructies geconcentreerd was (lage entropie).
  • Kostenreductie schaalt met de batchgrootte en de scheefheid van de requestdistributie.
• Robuustheid:
  • Tegen inferentie-aanvallen waarbij een server probeert echte prompts van ruisige prompts te onderscheiden, verminderde SharedRequest de succesratio van de aanval met ongeveer 32,7% vergeleken met random sampling baselines.
  • Het framework behield vergelijkbare Attack Success Rates (ASR) als andere DP-baselines, terwijl het aanzienlijk hogere bruikbaarheid bood.
• Efficiëntie:
  • De computationele overhead voor attribuutfiltering op de Noise Sampler was laag (minder dan 6,2 seconden per instructiegroep voor een 1,5B parameter discriminator).
  • De communicatieoverhead bleef minimaal (< 0,1 MB), vergelijkbaar met standaard DP-methoden en aanzienlijk lager dan SMPC-gebaseerde benaderingen.

Betekenis en Claims

Het artikel claimt dat SharedRequest de fundamentele beperkingen van huidige privacy-bewuste LLM-inferentie aanpakt door de trade-off tussen privacy, bruikbaarheid en efficiëntie te doorbreken. Door de privacyparadigma te verschuiven van individuele perturbatie naar mixing op batch-niveau, benut het framework de natuurlijke redundantie in grootschalig LLM-gebruik om de kosten van privacybescherming te amorteren.

De auteurs benadrukken dat deze aanpak model-agnostisch is, waardoor het direct toepasbaar is op propriëtaire black-box modellen zonder dat samenwerking van de service provider of architecturale wijzigingen vereist zijn. De resultaten suggereren dat voor real-world scenario's met geconcentreerde querydistributies, SharedRequest een praktisch pad biedt voor het implementeren van privacy-bewuste LLM's die een hoge bruikbaarheid behouden terwijl ze de operationele kosten aanzienlijk verlagen.

Erkende Beperkingen:

• Het protocol gaat ervan uit dat de Noise Sampler en de Service Provider niet samenwerken (collusion).
• Gebruikers zijn verantwoordelijk voor het identificeren van private attributen en het genereren van alternatieven (hoewel tools zoals NER of lokale LLM's kunnen helpen).
• De kostenvoordelen worden gemaximaliseerd wanneer de querydistributies ongelijkmatig zijn; zeer unieke queries zullen minder amortisatie zien.