🤖 AI

Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt

Deze paper introduceert DEL, een framework voor splitsing-inferentie van grote taalmodellen dat gebruikmaakt van stochastische kwantisatie en soft prompts om privacy te waarborgen via differentieel privémechanismen en communicatiekosten te verlagen zonder lokale modellen te vereisen.

Oorspronkelijke auteurs: Yujie Gu, Richeng Jin, Xiaoyu Ji, Yier Jin, Wenyuan Xu

Gepubliceerd 2026-02-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yujie Gu, Richeng Jin, Xiaoyu Ji, Yier Jin, Wenyuan Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, digitale assistent hebt (een "Grote Taalmodel" of LLM) die in de wolken woont. Je wilt hem iets vragen, bijvoorbeeld: "Ik heb last van mijn rug na lang zitten, wat kan ik doen?"

Het probleem is dat je dit berichtje met je naam, adres en werkgever verstuurt naar een onbekende server. Je maakt je zorgen: "Wat als ze mijn privégegevens stelen of lezen?"

Tot nu toe waren er twee opties:

Alles naar de server sturen: Snel, maar je privacy is in gevaar.
Alles versleutelen of lokaal verwerken: Veilig, maar dan moet je telefoon of laptop zo sterk zijn als een supercomputer, wat voor de gemiddelde gebruiker onmogelijk is.

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd DEL. Ze noemen het een "geheime tunnel" voor je data. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Vertaler (Dimensiereductie)

Stel je voor dat je een heel gedetailleerde tekening van je vraag maakt. Die tekening is groot en bevat veel details die de server niet nodig heeft, maar die wel je identiteit kunnen onthullen.
In plaats van die enorme tekening te sturen, gebruik je een slimme vertaler (de encoder). Deze vertaler maakt een kleine, abstracte schets van je vraag.

Voordeel: De schets is veel kleiner (minder data om te sturen = sneller en goedkoper) en het is moeilijker om eruit te halen wie je precies bent.

2. Het Willekeurige Ruis-effect (Stochastische Quantisatie)

Nu je die kleine schets hebt, wil je hem nog veiliger maken. Je gooit er een beetje "willekeurige ruis" overheen.
Stel je voor dat je je schets op een stuk papier tekent, en dan iemand anders er met een stempel een paar willekeurige vlekjes overheen zet. De boodschap is nog steeds te lezen voor een slimme lezer, maar voor een spion is het nu onmogelijk om precies te zien wat er stond.

De slimme truc: Meestal kost het toevoegen van ruis veel data. Maar deze methode "quantiseert" de data. Dat betekent dat ze de schets omzetten in een heel simpel code (bijvoorbeeld alleen maar 0's en 1's of een paar kleuren).
Het resultaat: Je stuurt een minieme, versleutelde boodschap die veilig is, maar die nog steeds de kern van je vraag bevat.

3. De Magische Hoed (Soft Prompt)

Hier komt het meest creatieve deel. Normaal gesproken, als je data zo versleuteld en "ruisig" is, zou de server de vraag niet goed begrijpen. De antwoorden zouden onzin zijn.
Bij andere methoden moet de gebruiker dan een tweede, slimme computer (een lokaal model) gebruiken om de boodschap weer "schoon" te maken. Maar dat is zwaar voor je telefoon.

De auteurs doen het anders: Ze sturen een magische hoed mee naar de server.

Deze "hoed" is een speciaal getrainde instructie (de soft prompt) die de server zelf heeft gemaakt.
De server zet deze hoed op zijn eigen super-slimme brein voordat hij je versleutelde boodschap leest.
Het effect: De hoed helpt het brein van de server om de "ruis" en de versleutelde schets toch perfect te begrijpen. Het is alsof de server een bril opzet die de wazige tekst weer scherp maakt, zonder dat jij iets extra's hoeft te doen.

Waarom is dit een doorbraak?

Veiligheid: Je privacy is gewaarborgd door wiskundige garanties (differentiële privacy). Niemand kan je originele vraag terugrekenen.
Snelheid: Omdat je alleen een kleine, versleutelde schets stuurt, is het veel sneller dan eerdere methoden.
Geen zware apparatuur: Je hoeft geen dure computer of telefoon te hebben. De zware "schoonmaak" gebeurt door de server zelf, geholpen door die magische hoed.

Kortom:
Vroeger moest je kiezen tussen "veilig maar traag/duur" of "snel maar onveilig". Met DEL stuur je een klein, versleuteld papiertje naar de cloud. De cloud draagt een speciale hoed die het papiertje toch perfect begrijpt en een geweldig antwoord geeft, terwijl niemand ooit heeft gezien wat je eigenlijk schreef. Het is de perfecte balans tussen privacy en prestaties.

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd, maar hun enorme rekenvereisten beletten lokale implementatie op apparaten met beperkte middelen. Hierdoor moeten gebruikers hun queries naar cloud-gebaseerde dienstverleners sturen voor verwerking. Dit roept ernstige privacyproblemen op, aangezien de invoer vaak gevoelige persoonlijke informatie bevat (zoals namen, adressen of medische gegevens) die door de dienstverlener of tijdens transmissie kan worden blootgesteld.

Bestaande oplossingen voor privacybehoud, zoals cryptografische technieken (bijv. homomorfische encryptie), hebben te veel rekenkundige overhead. Andere benaderingen, zoals "Split-and-Denoise" (SnD), proberen de invoer te verstoren met ruis en gebruiken een lokaal model om de output te ontdoen van ruis. Deze methoden hebben echter twee grote nadelen:

Communicatie- en rekenkosten: Het verzenden van verstoord token-embeddings (die vaak hoogdimensionaal zijn) veroorzaakt grote communicatie-overhead. Het trainen en draaien van een lokaal "denoising"-model op de client-kant is te zwaar voor veel apparaten.
Beperkte bruikbaarheid: Bestaande methoden zijn vaak gericht op taak-specifieke classificatie en werken slecht voor open-ended tekstgeneratie.

Methodologie: Het DEL Framework

De auteurs stellen DEL (Differentially private and communication Efficient LLM split inference) voor. Dit framework combineert drie kerncomponenten om privacy, communicatie-efficiëntie en bruikbaarheid (utility) te optimaliseren zonder zware lokale modellen:

Dimensiereductie via Encoder-Decoder:
- In plaats van de originele, hoogdimensionale token-embeddings direct te versturen, projecteert een vooraf getrainde encoder (op de client-kant) de invoer naar een lagere dimensionale latente ruimte.
- Een bijbehorende decoder (op de server-kant) reconstrueert deze latente representaties terug naar de originele dimensie voordat ze door de LLM worden verwerkt. Dit vermindert de communicatiekosten aanzienlijk.
Stochastische $n$ -bit Quantisatie met Differentiële Privacy (DP):
- Op de client-kant wordt een stochastische $n$ -bit quantisatiemechanisme toegepast op de latente representaties.
- Dit mechanisme quantiseert de waarden naar een beperkt aantal niveaus ( $2^n$ ) en voegt hierbij willekeurige ruis toe die voldoet aan $\mu$ -Gaussische Differentiële Privacy ( $\mu$ -GDP).
- Het voordeel is dubbel: het vermindert de datagrootte drastisch (van 32-bit floats naar slechts 1, 2 of 4 bits per coördinaat) en biedt tegelijkertijd sterke privacygaranties. De auteurs bewijzen wiskundig dat dit mechanisme een onbevooroordeelde schatter is met een variance die vergelijkbaar is met de Gaussische mechanismen, maar met veel lagere communicatiekosten.
Server-side Soft Prompt voor Utility Herstel:
- Privacy-mechanismen (ruis en quantisatie) degraderen normaal gesproken de kwaliteit van de LLM-output. In plaats van een zwaar lokaal model te gebruiken om dit te compenseren, introduceert DEL Soft Prompts aan de server-kant.
- Een "soft prompt" bestaat uit een reeks trainbare continue embeddings die aan de ingang van de LLM worden toegevoegd.
- Deze prompts worden getraind om de verdeling van de verstoarde (geprivatiseerde) embeddings te compenseren. Hierdoor kan de server-LLM de semantische betekenis van de gebruiker beter begrijpen en hoogwaardige output genereren, ondanks de privacy-beperkingen.

Belangrijkste Bijdragen

Nieuw DP-mechanisme voor Split Inference: Een innovatieve aanpak die token-embeddings projecteert naar een lage-dimensionale ruimte en vervolgens privatiseert via stochastische quantisatie. Dit biedt differentiële privacy met een aanzienlijke reductie in communicatie-omvang.
Lightweight Framework zonder lokale modellen: Door het gebruik van server-side soft prompts wordt de noodzaak voor computationally intensive lokale denoising-modellen op de client-kant volledig geëlimineerd. Dit maakt de oplossing schaalbaar voor apparaten met beperkte middelen.
Verbeterde Privacy-Utility Trade-off: Het is het eerste werk dat aantoont dat soft prompts effectief kunnen worden ingezet om de prestaties van LLM-inferentie te behouden onder privacy-beperkingen.

Resultaten

De auteurs hebben DEL uitgebreid getest op diverse benchmarks voor tekstgeneratie (zoals WikiText-2, PTB, CNN/Daily Mail) en natuurlijke taalbegrip (NLU) taken (QQP, MRPC), met verschillende state-of-the-art LLMs (Llama3, Qwen2.5, DeepSeek-MoE).

Prestaties: DEL behaalt een betere balans tussen privacy en bruikbaarheid dan bestaande methoden zoals RANTEXT, InferDPT en SnD.
- Bij tekstgeneratie behaalt DEL een lagere perplexiteit (PPL) en hogere coherentie (COH) dan InferDPT, zelfs zonder lokale modellen.
- Bij NLU-taken overtreft DEL SnD in nauwkeurigheid en AUC, terwijl het de communicatiekosten verlaagt van 32 bits per coördinaat naar slechts 1-4 bits.
Communicatie-efficiëntie: Door de dimensiereductie en quantisatie wordt de communicatie-omvang met een factor 32 of meer gereduceerd ten opzichte van het verzenden van originele embeddings.
Transferability: De getrainde soft prompts tonen sterke overdraagbaarheid tussen verschillende datasets en privacy-niveaus ( $\mu$ ), wat betekent dat ze niet per se opnieuw getraind hoeven te worden voor elke nieuwe taak of privacy-eis.
Aanvalssuccess Rate (ASR): De methode biedt sterke weerstand tegen embedding-inversie-aanvallen, waarbij de kans voor een aanvaller om de originele tekst te reconstrueren uit de verstoarde embeddings minimaal blijft.

Betekenis en Impact

Dit paper biedt een praktische en schaalbare oplossing voor het privacyprobleem bij het gebruik van cloud-LLMs. Door de afhankelijkheid van zware lokale hardware te elimineren en de communicatiekosten te verlagen, maakt DEL het mogelijk om privacy-bewuste LLM-diensten te implementeren op een breed scala aan apparaten. De innovatieve combinatie van stochastische quantisatie en server-side soft prompting stelt een nieuwe standaard voor het vinden van een evenwicht tussen strikte privacy (DP), efficiëntie en hoge outputkwaliteit. Dit is een belangrijke stap naar veilige en wijdverspreide adoptie van LLM's in gevoelige domeinen zoals gezondheidszorg en juridische diensten.