SecP-Tuning: Efficient Privacy-Preserving Prompt Tuning for Large Language Models via MPC

SecP-Tuning is een innovatief MPC-gebaseerd framework dat privacy-bewuste prompt tuning voor grote taalmodellen mogelijk maakt door Forward-only Tuning en Random Feature Attention te integreren, waardoor de berekenings- en communicatiekosten aanzienlijk worden verlaagd zonder in te leveren op prestaties.

De kern

Stel je voor dat je een super-intelligente robot hebt die alles kan, maar die nog niet weet hoe je specifieke taken moet uitvoeren, zoals het analyseren medische dossiers of het adviseren over financiële investeringen. Om die robot slim te maken voor deze taken, moet je hem "trainen" met voorbeelden.

Maar hier zit het probleem: die voorbeelden (medische dossiers, bankafschriften) zijn extreem gevoelig. Je mag ze niet zomaar ergens naartoe sturen, want dan lekken ze uit. En de robot zelf is ook een geheimzinnig bezit van de maker; je wilt niet dat de maker ziet wat je precies aan het leren bent.

Deze paper introduceert SecP-Tuning, een slimme manier om die robot te trainen zonder dat iemand ooit de geheime data of de geheimen van de robot ziet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Rijksdaalder" en de "Grote Rekenmachine"

Normaal gesproken train je een AI door de computer te laten kijken naar fouten en dan de instellingen (de "recept") van de robot aan te passen. Dit heet backpropagation.

• Het probleem: Als je dit doet met geheime data, moet je de computer laten rekenen terwijl de data "verpakt" is in een onbreekbare kluis (dit heet MPC).
• De kosten: Het openen en sluiten van die kluis voor elke kleine berekening is zo traag en kost zo veel communicatie tussen computers dat het onmogelijk wordt. Het is alsof je probeert een auto te bouwen terwijl je elke schroef eerst in een bankkluis moet opbergen en weer uit moet halen.

2. De Oplossing: SecP-Tuning (De "Geheime Chef")

SecP-Tuning lost dit op met twee slimme trucjes:

Truc 1: Geen "Terugwerkende" Rekenen (Forward-Only)

In plaats van de robot te laten rekenen: "Ik heb een fout gemaakt, dus ik ga mijn instellingen terugwerken om te zien wat er misging," doet SecP-Tuning het anders.

• De Analogie: Stel je voor dat je een kok bent die een geheim recept probeert te verbeteren. In plaats van de kok te laten proeven en dan te laten rekenen hoe hij de ingrediënten moet aanpassen (wat veel tijd kost), laat je de kok gewoon het gerecht maken.
• De "Klant" doet het werk: De eigenaar van de data (de klant) kijkt naar het resultaat van de robot. Als het resultaat niet goed is, past de klant ter plekke de instructies aan (de "prompt") en stuurt het weer terug. De robot hoeft nooit te "terugrekenen". Dit bespaart enorm veel tijd en communicatie, omdat de zware "terugwerkende" berekeningen volledig worden geschrapt.

Truc 2: De "Snelle Schatting" in plaats van de "Perfecte Rekening" (Random Feature Attention)

De robot gebruikt een mechanisme genaamd "Self-Attention" om te begrijpen welke woorden in een zin belangrijk zijn. Normaal is dit als het oplossen van een gigantisch Sudoku-puzzel voor elk woord. Dat is traag en moeilijk te verbergen in een kluis.

• De Analogie: In plaats van elk woord perfect te vergelijken met elk ander woord (zoals het controleren van elke steen in een muur), gebruikt SecP-Tuning een snelle schatting. Het kijkt naar een paar willekeurige kenmerken en zegt: "Ah, dit lijkt wel op dat andere woord."
• Het resultaat: Dit is veel sneller en makkelijker te verbergen in de kluis, terwijl het resultaat bijna net zo goed is als de perfecte methode.

3. Het Resultaat: Een "Black-Box" Sfeer

Met SecP-Tuning ontstaat er een perfecte situatie:

• De Data-eigenaar (bijv. een ziekenhuis) stuurt zijn data naar de robot, maar de robot ziet de data niet in het echt (het blijft verpakt).
• De Robot-maker (bijv. een techbedrijf) ziet niet welke data er wordt gebruikt.
• De snelheid: Het is 12 tot 16 keer sneller dan de oude methoden.
• De communicatie: Er moet 17 tot 20 keer minder data heen en weer worden gestuurd.

Samenvattend

Stel je voor dat je een geheimzinnig recept wilt verbeteren door samen te werken met een meesterkok, maar je mag het recept niet tonen en de kok mag niet zien wat je eet.

• De oude manier: Jullie sturen het recept heen en weer, elke keer in een zware veiligheidskist, en de kok moet elke keer de hele keuken opnieuw inrichten om te kijken wat er misging. Dit duurt eeuwen.
• SecP-Tuning: Jij geeft de kok een paar instructies, hij maakt het gerecht, jij kijkt of het lekker is, en jij past de instructies zelf aan. De kok hoeft nooit te rekenen of terug te kijken. Het is snel, veilig, en niemand lekt het geheim.

Dit maakt het mogelijk om super-slimme AI's te gebruiken in gevoelige sectoren zoals zorg en financiën, zonder dat privacy het enige obstakel is.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) hebben een revolutie teweeggebracht in vele domeinen, maar hun toepassing in privacygevoelige sectoren zoals gezondheidszorg en financiën wordt beperkt door strenge privacyregels (bijv. GDPR, HIPAA). Het fine-tunen van deze modellen vereist doorgaans toegang tot gevoelige data, wat niet mogelijk is zonder privacy te schenden.

Hoewel Secure Multi-Party Computation (MPC) theoretische garanties biedt voor de privacy van zowel modelparameters als data, is de toepassing ervan op het fine-tunen van LLMs tot nu toe beperkt gebleven tot inferentie. Het uitvoeren van privacy-bewust fine-tunen (PFT) met MPC ondervindt enorme inefficiëntieproblemen, voornamelijk door:

1. Backpropagation en Optimizers: Deze fase vereist privacy-bewuste berekeningen van niet-lineaire operaties (zoals Softmax, GELU, LayerNorm) die moeilijk te implementeren zijn in MPC, wat leidt tot een explosie in communicatie-overhead en rondes.
2. Self-Attention Mechanismen: De Softmax-functie in de self-attention heeft een kwadratische complexiteit ($O(n^2)$) ten opzichte van de sequentielengte en vereist dure operaties (exponentiatie, deling, maximum), wat de communicatiekosten bij lange sequenties onbeheersbaar maakt.

Bestaande methoden zoals LoRA of gradient-based prompt tuning verminderen het aantal parameters, maar lossen de fundamentele problemen van backpropagation en Softmax in MPC niet op.

Methodologie: SecP-Tuning

De auteurs stellen SecP-Tuning voor, het eerste MPC-gebaseerde framework voor efficiënt, privacy-bewust prompt tuning. De methode combineert twee innovatieve componenten om de efficiëntieproblemen op te lossen:

1. Forward-only Tuning (FoT) met "Data Owner-Server" Interactie

In plaats van traditionele gradient-based fine-tuning (die backpropagation vereist), gebruikt SecP-Tuning Forward-only Tuning.

• Principe: Parameters worden bijgewerkt zonder gradiënten te berekenen. In plaats daarvan wordt een Gradient-Free Optimizer (GFO), specifiek CMA-ES, gebruikt.
• Architectuur: Het framework hanteert een "Server-Client" architectuur:
  • De Data Owner (klant) houdt de gevoelige data en de prompt parameters.
  • De Servers (twee niet-samenzwerende partijen) voeren de privacy-bewuste inferentie uit op gedeelde data en modelparameters.
  • De servers sturen de gedeelde inferentieresultaten terug naar de Data Owner.
  • De Data Owner reconstrueert het resultaat, berekent de loss lokaal in plaintext en voert de GFO-update uit.
• Voordeel: Dit elimineert volledig de noodzaak voor privacy-bewuste backpropagation en optimizer-berekeningen op de servers, wat de grootste bron van overhead in MPC is. Het voorkomt ook dat de server toegang krijgt tot de bijgewerkte prompt-embeddings, wat het risico op data-lekkage via model-memorizatie verkleint.

2. Privacy-bewuste Random Feature Attention (RFA)

Om het probleem van de kwadratische complexiteit en de niet-lineaire operaties in Softmax op te lossen, vervangt SecP-Tuning de standaard Self-Attention door Random Feature Attention (RFA).

• Linearisatie: RFA benadert de Gaussian kernel met Monte Carlo-schattingen, waardoor de complexiteit van $O(n^2)$ wordt gereduceerd naar lineair $O(n)$.
• MPC-vriendelijke Cosine: RFA introduceert cosinus-bewerkingen in plaats van exponentiatie. Omdat cosinus ook moeilijk is in MPC, hebben de auteurs een efficiënt protocol ($\Pi_{cosine}$) ontworpen. Dit protocol maakt gebruik van trigonometrische identiteiten en vooraf gegenereerde willekeurige getallen (offline fase) om de cosinus-bewerking in slechts één communicatieronde uit te voeren tijdens de online fase.

Belangrijkste Bijdragen

1. Eerste MPC Framework voor Prompt Tuning: SecP-Tuning is het eerste systeem dat privacy-bewust prompt tuning voor LLMs mogelijk maakt via MPC.
2. Eliminatie van Backpropagation: Door FoT en de "Data Owner-Server" interactie worden de zwaarste MPC-berekeningen (backprop en optimizer) volledig verwijderd.
3. Efficiënte Attention: De introductie van privacy-bewuste RFA met het nieuwe $\Pi_{cosine}$-protocol lost de schaalbaarheidsproblemen van Softmax op in MPC-omgevingen.
4. Black-box/API-stijl: Het systeem werkt als een "black-box" service, waarbij de data eigenaar alleen de API aanroept zonder de server toegang te geven tot gradiënten of parameters, wat de privacy verder waarborgt.

Experimentele Resultaten

De auteurs hebben SecP-Tuning getest op de RoBERTa-LARGE (24 lagen, 1024 dimensies) met verschillende datasets (SST-2, MRPC, RTE, etc.) in zowel LAN- als WAN-omgevingen.

• Snelheid (End-to-End Acceleratie):
  • 12x sneller dan Full-Parameter Supervised Fine-Tuning (SFT).
  • 16x sneller dan gradient-based Prompt Tuning.
  • In WAN-omgevingen (bandbreedte beperkt) is de versnelling zelfs 34x ten opzichte van gradient-based methoden.
• Communicatie-Overhead:
  • 17x reductie in communicatievolume ten opzichte van SFT.
  • 20x reductie ten opzichte van gradient-based Prompt Tuning.
• Prestaties:
  • SecP-Tuning bereikt prestaties die vergelijkbaar zijn met gradient-based methoden op diverse few-shot taken.
  • In sommige sentimentele classificatietaken (bijv. SST-2) presteert het zelfs beter dan gradient-based prompt tuning, waarschijnlijk omdat GFO-overfitting in few-shot scenario's beter vermijdt.
• Privacy & Deployability:
  • Het is het enige onderzochte methode dat "As-A-Service" (AAS) ondersteunt zonder dat de modelontwikkelaar toegang krijgt tot de bijgewerkte parameters of de data, wat een unieke balans biedt tussen privacy, efficiëntie en bruikbaarheid.

Betekenis en Conclusie

SecP-Tuning is een doorbraak in het veld van Privacy-Preserving Machine Learning (PPML) voor LLMs. Het bewijst dat het mogelijk is om grote modellen aan te passen aan specifieke, privacygevoelige domeinen zonder de data te onthullen of de efficiëntie te offeren. Door de combinatie van Forward-only Tuning en een geoptimaliseerde Random Feature Attention, maakt het framework privacy-bewuste fine-tuning praktisch toepasbaar, zelfs in omstandigheden met beperkte bandbreedte. Dit opent de deur voor veilige adoptie van LLMs in sectoren zoals de zorg en het financiële wezen, waar data-privacy cruciaal is.