💬 NLP

What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference

Dit artikel blootst kritieke privacykwetsbaarheden in gesplitste inferentie voor grote taalmodellen door ActInv in te voeren, een methode die client-inputs reconstrueert uit intermediaire activaties ondanks gebruikelijke verdedigingen, en stelt de Perturbation Amplification Factor (PAF)-metriek en de PriPert-verdediging voor om deze lekrisico's systematisch te analyseren en te mitigeren.

Oorspronkelijke auteurs: Mingyuan Fan, Yu Liu, Fuyi Wang, Cen Chen

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingyuan Fan, Yu Liu, Fuyi Wang, Cen Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Het "Gesplitste" Dilemma

Stel je een zeer slim, gigantisch robotbrein voor (een Large Language Model of LLM) dat woont op een krachtige cloudserver. Je hebt een kleine, zwakke smartphone die dit gigantische brein niet zelf kan draaien.

Om dit op te lossen, gebruik je Gesplitste Inferentie. Denk hierbij aan een estafettewedstrijd:

Jij (de Client): Jij loopt de eerste paar meter van de race. Je neemt je geheime vraag (bijvoorbeeld: "Wat is er mis met mijn knie?") en verwerkt deze net genoeg om een "stokje" (intermediaire data) klaar te maken.
De Server: Jij geeft het stokje door aan de grote robot. Hij loopt de rest van de race, maakt het antwoord af en stuurt het terug naar jou.

Het idee is dat je door alleen het "stokje" te sturen in plaats van je ruwe vraag, je geheimen veilig houdt. Het paper vraagt zich af: Is het stokje eigenlijk wel veilig, of kan de server je gedachten lezen door er alleen maar naar te kijken?

De Aanval: "ActInv" (De Gedachtelezer)

De onderzoekers ontdekten dat het "stokje" niet veilig is. Ze creëerden een tool genaamd ActInv die fungeert als een high-tech detective.

De Analogie: Stel je voor dat je een server een wazige, gescrambelde foto van je gezicht stuurt (de intermediaire data). Een normaal persoon zou denken: "Ik kan niet zien wie dat is." Maar ActInv is als een supergeavanceerde AI die een leeg canvas pakt en begint met het schilderen van een gezicht. Het blijft de verf aanpassen totdat de wazige foto die het maakt perfect overeenkomt met de gescrambelde foto die je stuurde. Zodra ze overeenkomen, weet het precies hoe je originele gezicht (je geheime vraag) eruitzag.
Het Resultaat: Het paper toont aan dat ActInv angstaanjagend goed is. Het kan je oorspronkelijke vraag reconstrueren met meer dan 98% nauwkeurigheid, zelfs als je probeert het te verbergen door statische ruis toe te voegen of delen van de data te vervagen. Het is alsof je probeert een bericht te verbergen in een sneeuwstorm, maar de detective heeft een warmtebeeldcamera die dwars door de sneeuw heen ziet.

Waarom gebeurt dit? (De "Zwakke Schakels")

De onderzoekers wilden weten waarom de server zo makkelijk gedachten kon lezen. Ze bedachten een maatstaf genaamd PAF (Perturbation Amplification Factor).

De Analogie: Denk aan het AI-model als een lange tunnel met vele kamers (lagen). Sommige kamers zijn gemaakt van dik, geluidsisolerend beton (hoge PAF). Als je daar fluistert, sterft het geluid uit en kan de persoon aan het einde je niet horen. Andere kamers zijn gemaakt van dun glas of versterkers (lage PAF). Als je daar fluistert, wordt het geluid harder en duidelijker tegen de tijd dat het het einde bereikt.
De Ontdekking: Ze ontdekten dat de "glazen kamers" (specifiek de activatielagen waar de AI beslissingen neemt) verrassend zwak zijn. Ze versleutelen de informatie niet; ze helpen de detective eigenlijk om de originele invoer te reconstrueren. Hoewel deze lagen bedoeld zijn om de AI "slim" te maken, maken ze het per ongeluk "lek".

De Gefaalde Verdedigingen

Voor dit paper dachten mensen dat het toevoegen van "ruis" (zoals statische ruis op een radio) of "sparsificatie" (het verbergen van sommige datapunten) de detective zou stoppen.

De Realiteit: Het paper toont aan dat deze verdedigingen zijn als proberen een orkaan te stoppen met een paraplu. De detective (ActInv) is zo slim dat hij de ruis kan filteren en het oorspronkelijke bericht toch kan zien. De enige manier om het te stoppen met deze methoden is door zoveel ruis toe te voegen dat de AI helemaal stopt met werken, wat de dienst voor iedereen onbruikbaar maakt.

De Oplossing: "PriPert" (Het Slimme Schild)

Omdat simpele ruis niet werkt, ontwierpen de onderzoekers een nieuwe verdediging genaamd PriPert.

De Analogie: In plaats van willekeurige zandkorrels in de ogen van de detective te gooien (willekeurige ruis), is PriPert als een vechtkunstenaar die precies weet waar hij moet slaan. Het berekent de meest gevoelige richting in de data.
- Stel je voor dat de data een ballon is. Als je er willekeurig op prikt, gaat hij misschien alleen maar wiebelen. Maar als je prikt op de exacte plek waar hij het kwetsbaarst is, springt hij open.
- PriPert vindt die "kwetsbare plek" in de data en voegt een kleine, gerichte duw toe. Dit duwt de reconstructie van de detective de verkeerde kant op, waardoor ze het verkeerde antwoord raden, terwijl de ballon (het antwoord van de AI) intact genoeg blijft om nog steeds bruikbaar te zijn.
Het Resultaat: PriPert is veel beter dan de oude methoden. Het slaagt erin de detective te verwarren, waardoor het onmogelijk wordt om de oorspronkelijke vraag te raden, terwijl het de AI nog steeds een behulpzaam antwoord laat geven.

Samenvatting van Bevindingen

Het Risico: Gesplitste inferentie (het sturen van gedeeltelijke data naar een server) is momenteel zeer onveilig. Een nieuwsgierige server kan je privé-vragen gemakkelijk reconstrueren.
De Oorzaak: Bepaalde delen van het AI-model fungeren als versterkers, waardoor het eenvoudig is om de invoer omgekeerd te ontwerpen.
De Oplossing: Simpele ruis werkt niet. Je hebt slimme, gerichte ruis (PriPert) nodig die specifiek de zwakke punten van het model aanvalt om de reconstructie te breken zonder het vermogen van de AI om vragen te beantwoorden te vernietigen.

Kortom: Als je vandaag gesplitste inferentie gebruikt, zijn je geheimen waarschijnlijk zichtbaar voor de server. Maar er is een nieuwe, slimmere manier om ze te verbergen die het systeem niet kapotmaakt.

Technische Samenvatting: Wat Ziet de Server? Inzicht in Privacylekken bij Grootte Taalmodellen in Gesplitste Inferentie

1. Probleemstelling

De implementatie van Grootte Taalmodellen (LLM's) op apparaten met beperkte middelen wordt gehinderd door de reken- en geheugeneisen. Gesplitste inferentie is opgekomen als oplossing, waarbij het model wordt opgesplitst tussen een client (die de eerste lagen bevat) en een server (die de rest bevat). De client verzendt uitsluitend intermediaire activaties in plaats van ruwe invoer, wat theoretisch de privacy behoudt. De auteurs betogen echter dat de aanname dat intermediaire activaties inherent privacy behouden, onbewezen is. Dit artikel onderzoekt of een "eerlijk maar nieuwsgierige" server, met volledige witte-doos-toegang tot de modelarchitectuur, de gevoelige invoerprompts van de client kan reconstrueren uit deze intermediaire activaties.

2. Methodologie

2.1 Aanvalsontwerp: ActInv

Om privacylekken te kwantificeren, stellen de auteurs ActInv voor, een inversie-aanval die de ruwe invoersequentie van de client reconstrueert uit de onderschepte intermediaire activaties ( $h_{Q1}$ ).

Mechanisme: In tegenstelling tot methoden voor sequentiële tokenherwinning, formuleert ActInv reconstructie als een continu optimalisatieprobleem in de ruimte van invoerembeddings. Het initialiseert een willekeurige continue embeddvector $\hat{h}_0$ en gebruikt gradiëntgebaseerde optimalisatie (bijv. Adam) om de afstand te minimaliseren tussen de forward-pass van het client-zijde submodel ( $F_C(\hat{h}_0)$ ) en de waargenomen activaties ( $h_{Q1}$ ).
Discretisatie: Zodra de continue embeddings zijn geoptimaliseerd, worden ze via nearest-neighbor-zoekopdrachten binnen de vocabulaire-embeddingsmatrix van het model teruggeprojecteerd naar discrete tokens.
Efficiëntie: Door de volledige sequentie simultaan te optimaliseren in plaats van token voor token, bereikt ActInv een tijdscomplexiteit van $O(Tn^2)$ , wat een aanzienlijk rekenkundig voordeel biedt ten opzichte van autoregressieve methoden zoals SipIt ( $O(Tn^3)$ ).

2.2 Kwetsbaarheidsanalyse: Perturbatieversterkingsfactor (PAF)

Om te begrijpen waarom bepaalde lagen kwetsbaar zijn, introduceren de auteurs PAF, een metriek die de inherente weerstand van een laag tegen reconstructie kwantificeert.

Definitie: PAF meet hoe sterk een kleine perturbatie in de output van een laag ( $\delta$ ) zich vertaalt naar onzekerheid in de afgeleide invoer ( $\Delta$ ). Het is afgeleid van de Jacobiaan-matrix van de laag.
Inzicht: Een hoge PAF geeft aan dat kleine output-perturbaties leiden tot grote invoerafwijkingen (wat reconstructie moeilijk maakt), terwijl een lage PAF aangeeft dat de laag "stabiel" is en gemakkelijk te inverseren is.
Vondsten: De analyse toont een niet-uniforme kwetsbaarheid over de lagen heen. Specifiek vertonen niet-lineaire activatielagen (bijv. Sigmoid/SwiGLU) en bepaalde projectielagen vaak een lage PAF, waardoor ze "zwakke schakels" zijn waar naïeve ruisverdedigingen geen significante reconstructiefouten veroorzaken.

2.3 Verdedigingsontwerp: PriPert

Gebaseerd op de PAF-analyse stellen de auteurs PriPert voor, een verdedigingsmechanisme dat adversarisch gekalibreerde perturbaties injecteert in intermediaire activaties.

Strategie: In plaats van isotrope (willekeurige) ruis toe te voegen, lost PriPert een beperkt optimalisatieprobleem op om perturbaties in te brengen langs de richtingen die de reconstructiefout maximaliseren (uitgelijnd met de meest gevoelige richtingen van de laag), terwijl de degradatie van de server-zijde output (nut) wordt geminimaliseerd.
Implementatie: De verdediging maakt gebruik van een padintegraalbenadering om de door de perturbatie veroorzaakte invoerafwijking te schatten. De auteurs vinden dat een $L_0$ -beperkte oplossing (sparse perturbaties) vaak beter presteert dan $L_2$ -beperkte oplossingen, omdat het het behoud van signaalinformatie vermijdt die door tegenstanders kan worden uitgebuit.

3. Belangrijkste Resultaten

3.1 Aanvalseffectiviteit (ActInv)

Hoge-fideliteit Reconstructie: ActInv bereikt een Precisie en Recall van meer dan 98% over verschillende modellen (Qwen3, Falcon3) en datasets (AlpacaEval, iCliniq) zonder enige verdediging.
Weerstand tegen Naïeve Verdedigingen: Veelvoorkomende verdedigingen zoals injectie van Gaussische ruis en activatiesparsificatie zijn grotendeels ineffectief. Zelfs bij hoge sparsiteitsverhoudingen (bijv. 0,7) of matige ruis behoudt ActInv een hoge reconstructienauwkeurigheid. Alleen extreme ruisniveaus (die het nut van het model vernietigen) belemmeren de aanval significant.
Efficiëntie: ActInv is rekenkundig efficiënt en reconstrueert een 100-token query in ongeveer 20 seconden op een enkele GPU, aanzienlijk sneller dan state-of-the-art sequentiële aanvallen.

3.2 Inzichten in Kwetsbaarheid (PAF)

Lagenvariatie: PAF-waarden variëren aanzienlijk tussen lagen en modellen. Activatielagen vertonen bijvoorbeeld consequent een lage PAF, wat bevestigt dat ze primaire bronnen van lekken zijn.
Richtingsgevoeligheid: De "Max-PAF" (gevoeligheid voor uitgelijnde perturbaties) is vaak aanzienlijk hoger dan de "Verwachte PAF" (gevoeligheid voor willekeurige ruis), wat valideert dat willekeurige ruis een suboptimale verdedigingsstrategie is.

3.3 Verdedigingsprestaties (PriPert)

Verbetering van Privacy: PriPert vermindert de reconstructiekwaliteit aanzienlijk. Bij een sparsiteitsverhouding van 0,7 daalt de Precisie van ActInv onder de 30% (vergeleken met >60% voor standaard sparsificatie), en ROUGE-L-scores dalen sterk, wat aangeeft dat de semantische inhoud effectief wordt verduisterd.
Behoud van Nut: In tegenstelling tot naïeve verdedigingen die het nut van het model doen instorten bij hoge perturbatieniveaus, behoudt PriPert acceptabel nut bij matige sparsiteitsniveaus (bijv. 0,5). De auteurs merken op dat "Nauwkeurigheid & Correctheid" gevoeliger zijn voor perturbaties dan "Duidelijkheid & Stijl", maar dat de totale scores bruikbaar blijven.
Robuustheid: PriPert blijft effectief tegen andere state-of-the-art inversie-aanvallen (A1, TBS, PIA), waarbij hun reconstructiescores met grote marges worden verlaagd.

4. Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

Blootleggen van de Kwetsbaarheid: Het biedt het eerste uitgebreide onderzoek dat aantoont dat gesplitste inferentie voor LLM's niet inherent privacy garandeert. De auteurs tonen aan dat een eerlijk maar nieuwsgierige server gebruikersinvoer met hoge fideliteit kan reconstrueren met behulp van een relatief eenvoudige, efficiënte, op optimalisatie gebaseerde aanval (ActInv).
Theoretische Metriek (PAF): Het introduceert PAF om systematisch de variabele vatbaarheid van verschillende modellagen voor inversie te kwantificeren en te verklaren, waarbij wordt ontdekt dat niet-lineaire activatielagen verrassend kwetsbaar zijn.
Effectieve Verdediging (PriPert): Het stelt PriPert voor en valideert dit, een verdediging die gebruikmaakt van de richtingsgevoeligheid van lagen om privacylekken te maximaliseren terwijl het nutverlies wordt geminimaliseerd. De resultaten suggereren dat adversarisch gekalibreerde perturbaties superieur zijn aan naïeve willekeurige ruis of sparsificatie.
Praktische Implicaties: Het werk benadrukt een kritieke spanning in gesplitste inferentie: standaardverdedigingen zijn ontoereikend, en effectieve privacybescherming vereist zorgvuldige kalibratie van perturbaties om de vernietiging van het nut van de LLM te voorkomen.

De auteurs concluderen dat hoewel gesplitste inferentie rekenkundige voordelen biedt, het robuuste, niet-naïeve privacymechanismen vereist om levensvatbaar te zijn voor gevoelige domeinen zoals de gezondheidszorg. Er wordt voorgesteld om toekomstig werk te richten op het ontwerpen van privacybewuste compressie en privacygevoelige activatiefuncties.