💻 computer science

Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

Dit artikel stelt een informatietheoretisch verdedigingskader voor voor collaboratieve LLM-inferentie dat privacy-adapters en laagdimensionale informatiebottlenecks gebruikt om de wederzijdse informatie tussen intermediaire activaties en inputprompts te minimaliseren, waardoor een superieure privacy-utiliteit-latentie-afweging wordt bereikt tegen prompt-inversieaanvallen.

Oorspronkelijke auteurs: Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Cloud Kitchen"-probleem

Stel je voor dat je een zeer kleine, zwakke keuken hebt (je telefoon of laptop) die een complex gerecht wil bereiden met behulp van een wereldberoemd receptenboek (een Large Language Model, of LLM). Je keuken heeft niet genoeg ruimte of gereedschap om het hele gerecht te bereiden, dus besluit je de ingrediënten halverwege het proces naar een enorme, professionele "Cloud Kitchen" te sturen om het koken te voltooien.

Het Probleem:
Wanneer je die halfbereide ingrediënten (de "intermediate activations") naar de Cloud Kitchen stuurt, kan een nieuwsgierige chef daar misschien precies zien wat de staat van het eten is en raden wat je oorspronkelijke geheime recept was. Dit wordt een Prompt Inversion Attack genoemd. Zelfs als je slechts een paar aanwijzingen stuurt, kan een slimme aanvaller je privé-invoer (zoals een medische diagnose of een juridelijk geheim) reconstrueren door simpelweg naar het tussenstation van het kookproces te kijken.

De Oude Oplossingen:
Eerdere pogingen om dit te stoppen, waren vergelijkbaar met het toevoegen van een beetje zout of peper aan je ingrediënten voordat je ze verstuurt (ruis toevoegen) of het proberen te verbergen in een kleinere doos (omvang verminderen). Het probleem is dat deze methoden vaak een kwestie van geluk zijn. Ze kunnen de smaak van het gerecht verpesten (het antwoord van de AI slechter maken) zonder de geheime ingrediënten echt goed te verbergen.

De Nieuwe Oplossing: Het "Slimme Filter" (Privacy Adapters)

De auteurs stellen een nieuwe, slimmere manier voor om je geheimen te beschermen. Ze noemen dit een Information-Theoretic Defense.

Beschouw dit als het installeren van een Slim Filter (een "Privacy Adapter") direct voordat je je ingrediënten naar de Cloud Kitchen stuurt.

De Persing (Information Bottleneck):
Stel je voor dat je ingrediënten een enorme, kleurrijke stapel groenten, kruiden en vlees zijn. Het Slimme Filter dwingt deze enorme stapel door een piepklein, nauw rietje.
- Wat komt erdoorheen? De essentiële structuur van het gerecht (de "syntax" of grammatica). De Cloud Kitchen krijgt nog steeds genoeg informatie om de zin correct af te werken.
- Wat blijft erachter? De specifieke, gevoelige details (de "semantics" of geheime woorden). Omdat het rietje zo nauw is, worden de unieke, zeldzame ingrediënten (zoals een specifieke medicijnnaam of een persoonlijk ID) door de persing geplet of verloren.
De "Geen-Residu"-regel:
De paper maakt een cruciaal punt: je kunt niet zomaar een beetje ruis aan de ingrediënten toevoegen en hopen op het beste. Als je alleen ruis bovenop de originele ingrediënten toevoegt, kan een slimme chef de ruis wiskundig "aftrekken" en de originele ingrediënten alsnog zien.
- De Fix: Het filter van de auteurs vervangt de ingrediënten volledig door een gecomprimeerde versie. Het voegt niets toe aan de stapel; het gooit de originele stapel weg en stuurt alleen de samengeperste, gecomprimeerde versie. Dit maakt het wiskundig onmogelijk om de originele geheime inhoud te reconstrueren.

Hoe ze het Filter trainen

De auteurs hebben niet zomaar geraden hoe ze dit filter moesten bouwen. Ze gebruikten een "trainingskamp"-aanpak:

De Verdediger (Jij): Probeert het filter zo hard mogelijk te laten persen om de geheimen te verbergen.
De Aanvaller (De Cloud Chef): Probeert naar de samengeperste ingrediënten te kijken en het originele recept te raden.
Het Spel: Ze spelen een heen-en-weer spel. De Verdediger probeert de Aanvaller te laten falen, terwijl de Aanvaller probeert beter te worden in raden. Het doel is om de perfecte balans te vinden waarbij de Cloud Chef het gerecht nog steeds kan afmaken (hoge bruikbaarheid/utility) maar jouw geheime ingrediënten niet kan raden (hoge privacy).

De Verrassing van "Selectieve Bescherming"

Een van de coolste bevindingen is dat dit filter van nature selectief is.

Veelvoorkomende woorden (zoals "de", "is", "en", of leesttekens) zijn als bloem of water. Ze zijn algemeen en gemakkelijk te beschrijven, zelfs door een klein rietje. Het filter laat deze gemakkelijk door zodat de zin nog steeds grammaticaal correct is.
Gevoelige woorden (zoals "kanker", "SSRI" of "vluchtnummer 621") zijn als zeldzame, exotische kruiden. Ze zijn moeilijk te beschrijven met beperkte ruimte. Wanneer het filter de data perst, zijn deze zeldzame, gevoelige woorden de eersten die verloren gaan.

Het Resultaat: De Cloud Kitchen kan nog steeds zeggen: "De vlucht was goed, het personeel was vriendelijk," maar het verliest volledig het specifieke vluchtnummer, de route of de medische conditie. De aanvaller weet misschien dat je een beoordeling schreef, maar kan niet achterhalen waarover die beoordeling ging.

De Resultaten in Gewone Taal

De auteurs hebben dit getest in real-world scenario's (medische aantekeningen, juridische documenten, luchtvaartbeoordelingen) met krachtige AI-modellen.

Privacy: Ze verminderden het vermogen van de aanvaller om je geheimen te raden met 15% tot 35% vergeleken met andere methoden. In sommige gevallen daalde het succespercentage van de aanvaller van bijna 90% naar ongeveer 50% (eigenlijk een muntopwerp).
Kwaliteit: De antwoorden van de AI waren nog steeds erg goed. De "smaak" van het gerecht werd niet verpest.
Snelheid: Het filter is zo lichtgewicht dat het het proces slechts met ongeveer 6% tot 8% vertraagt. Dit is snel genoeg om op een telefoon te gebruiken zonder dat je hoeft te wachten.

Samenvatting

De paper introduceert een "Slim Filter" voor AI dat je data perst voordat het naar de cloud wordt gestuurd. Het garandeert wiskundig dat gevoelige geheimen worden geplet, terwijl de nuttige structuur intact blijft. Het is also eigenlijk een brief sturen waarbij de envelop zo klein is dat alleen het algemene onderwerp erdoorheen past, maar de specifieke namen en nummers achterblijven, en dat alles zonder de bezorging van de post te vertragen.

Technische Samenvatting: Verdediging tegen Prompt Inversion Attacks via Informatie-theoretische Collaboratieve Inferentie

Probleemstelling
Collaboratieve edge-cloud inferentie stelt middelen-beperkte apparaten in staat om gebruik te maken van Large Language Models (LLMs) door initiële lagen lokaal uit te voeren en intermediaire activaties naar een cloudserver te offloaden. Deze architectuur legt de gevoelige gebruikersprompts echter bloot aan prompt inversion attacks, waarbij aanvallers de oorspronkelijke input reconstrueren uit gedeelde representaties. Bestaande verdedigingen, zoals heuristische ruisinjectie of dimensionaliteitsreductie, missen principiële theoretische garanties met betrekking tot privacy-lekken en falen vaak in het adresseren van de fundamentele spanning tussen het behoud van taaknut (utility) en het beschermen van token-identiteit. Bovendien heeft eerder werk aangetoond dat token-identiteit door alle transformer-lagen heen persisteert, wat eenvoudige diepte-gebaseerde obscuratie ineffectief maakt.

Methodologie
De auteurs stellen een informatie-theoretisch verdedigingskader voor dat privacy-lekken modelleert als de wederzijdse informatie (mutual information, MI) tussen de input-prompt $x$ en de getransmitteerde beschermde activaties $A$ . De verdediging wordt geformuleerd als een minimax-optimalisatieprobleem:

Doelstelling: Minimaliseer $I(A; x)$ (privacy-lek) terwijl $I(A; y)$ (nut voor next-token voorspelling) wordt gemaximaliseerd, onderhevig aan latentie-restricties.
Architectuur (Privacy Adapters): Het kernmechanisme be involves het invoegen van lichtgewicht, trainbare privacy adapters tussen bevroren transformer-lagen aan de client-zijde. In tegenstelling tot LoRA-stijl adapters die residuele verbindingen toevoegen, implementeren deze adapters een strikte informatie-bottleneck:
- Ze comprimeren activaties van dimensie $d$ naar een laag-dimensionale subruimte $r$ ( $r \ll d$ ) via een down-projectie, niet-lineariteit en up-projectie.
- Cruciaal is dat ze de activatie vervangen in plaats van deze additief te verstoren. De auteurs bewijzen theoretisch dat injectieve residuele verbindingen (gebruikelijk bij andere verdedigingen) de wederzijdse informatie niet kunnen verminderen, terwijl niet-injectieve bottlenecks echte verlieslatende compressie afdwingen, wat de MI daadwerkelijk vermindert.
Optimalisatie: Het systeem maakt gebruik van een alternerende trainingsschema. Een adversary-netwerk (een token-classifier) wordt getraind om de reconstructienauwkeurigheid te maximaliseren (minimaliseren van cross-entropy), terwijl de adapters worden bijgewerkt om de wederzijdse informatie te minimaliseren via een gecombineerde loss van de cross-entropy van de adversary en de perplexiteit van de downstream-taak. Dit schat en minimaliseert direct een variationele bovengrens op MI.

Belangrijkste Bijdragen

Informatie-theoretisch Minimax-kader: Het artikel vestigt een formele verdediging tegen prompt inversion door expliciet de wederzijdse informatie te minimaliseren via een geleerde adversary, waarmee de kloof tussen theoretische privacy-bounds en praktische implementatie wordt overbrugd.
Privacy Adapters met Theoretische Garanties: De auteurs introduceren adapter-modules die verlieslatende compressie afdwingen. Ze leveren een formeel bewijs (Theorem 4.2) dat de verdediging met residuele structuren (injectieve mapping) de wederzijdse informatie niet kan verminderen, wat de noodzaak van hun niet-injectieve bottleneck-ontwerp rechtvaardigt. Ze leiden ook bounds af voor reconstructiefout als functie van de bottleneck-dimensie.
Analyse van Gevoelige Tokens: Het framework introduceert een methodologie om onderscheid te maken tussen de recuperatie van gevoelige tokens (domeinspecifieke termen zoals medische condities of juridische entiteiten) en gemeenschappelijke structurele tokens (stopwoorden, interpunctie). De theorie voorspelt en experimenten bevestigen dat de bottleneck hoog-entropische (gevoelige) tokens onevenredig onderdrukt terwijl laag-entropische (gemeenschappelijke) tokens behouden blijven die nodig zijn voor syntactische coherentie.
Uitgebreide Evaluatie: De methode wordt gevalideerd over drie LLM's (LLaMA-2-7B/13B, Mistral-7B) en drie domeinen (Medisch, Juridisch, Luchtvaartreviews) tegen zowel classificatie-gebaseerde als optimalisatie-gebaseerde prompt inversion attacks.

Experimentele Resultaten

Privacy-Utility Tradeoff: De methode bereikt een significante reductie in de succesratio van aanvallen. In diverse settings vermindert het de recuperatie van gevoelige tokens met 15–35% vergeleken met baselines, waarbij de beste configuraties (bijv. $\lambda=0.5$ ) een reductie van tot wel 35 procentpunt laten zien in de nauwkeurigheid van gevoelige tokens ten opzichte van gemeenschappelijke tokens.
Vergelijking met Baselines: De voorgestelde adapters presteren beter dan bestaande verdedigingen, inclus\n bij Gaussian/Laplace ruis, PCA en methoden voor reductie van informatie-lekken (NoPeek, Fisher-gebaseerde masking). Opvallend genoeg kampen ruis-gebaseerde methoden vaak met een "privacy-utility cliff" waarbij sterke privacy het nut (perplexity) vernietigt, terwijl de adapters een bruikbare perplexiteit behouden (bijv. PPL < 100) terwijl ze de aanvalsnauwkeurigheid aanzienlijk verlagen.
Efficiëntie: De aanpak introduceert minimale latentie-overhead (<9%) op edge-apparaten (getest op Jetson Orin Nano) en voegt een verwaarloosbaar aantal parameters toe (<0,3% van het volledige model).
Robuustheid: De verdediging generaliseert over verschillende typen aanvallen; "verse" aanvallers die vanaf nul zijn getraind op de beschermde activaties bereiken vergelijkbare succesratio's als de trainings-adversary, wat bevestigt dat de verdediging niet enkel informatie verbergt voor een specifiek co-geadapteerd model.

Significantie en Claims
Het artikel claimt de eerste informatie-theoretische privacy-verdediging te bieden voor collaboratieve LLM-inferentie onder prompt inversion attacks. De primaire significantie ligt in de verschuiving van het paradigma van heuristische perturbaties naar principiële, verlieslatende compressie die bewijsbare bounds biedt op de reconstructiefout. De auteurs stellen dat hun aanpak aantoont dat geleerde, taakbewuste transformaties essentieel zijn voor praktische privacy in edge-cloud LLM-systemen, waardoor gevoelige toepassingen (gezondheidszorg, juridisch) LLM's kunnen gebruiken zonder de ruwe gebruikersprompts bloot te leggen. Het werk vestigt dat privacybescherming niet uniform hoeft te zijn; door selectief hoog-entropische tokens te onderdrukken, kan het systeem gevoelige inhoud beschermen terwijl de structurele integriteit die nodig is voor downstream-inferentie behouden blijft.