The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

Technische Samenvatting: MIXGUARD – Mixup-gebaseerde Obfuscatie voor Privacy-Preserving Split Learning in LLM's

Probleemstelling
Large Language Models (LLM's) vereisen aanzienlijke computationele middelen, die vaak de capaciteit van edge-clients overstijgen. Split Learning (SL) biedt een oplossing door modellen te partitioneren tussen een client (die private data bezit) en een server (die rekenkracht levert). Bestaande privacy-preserving SL-methoden kampen echter met een kritieke afruil tussen nut (utility), privacy, efficiëntie en stabiliteit.

• Degradatie van het nut (Utility Degradation): Methoden zoals Differential Privacy (DP) introduceren vaak ruis die trainingssignalen ernstig verstoort, wat leidt tot slechte prestaties in downstream-taken.
• Onvolledige Privacy: Veel defensies beschermen alleen inputs of labels, of specifieke fasen (training versus inferentie), waardoor ze kwetsbaar blijven voor geavanceerde Data Reconstruction Attacks (DRA's) zoals SIP (forward inversion), TAG/LAMP (backward gradient matching) en BiSR (bidirectioneel).
• Efficiëntie en Stabiliteit: Cryptografische benaderingen (bijv. Homomorfe Encryptie) brengen een onbetaalbare overhead met zich mee, terwijl andere lichtgewicht defensies vaak niet in staat zijn om stabiele prestaties te handhaven over diverse taken, met name complexe tekstgeneratie.

Methodologie: MIXGUARD
Het paper stelt MIXGUARD voor, een nieuw framework dat de mixup data-augmentatietechniek aanpast voor privacybehoud in U-vormig Split Learning. In plaats van ruis toe te voegen (wat distributieverschuivingen veroorzaakt), obfusceert MIXGUARD data door meerdere representaties lineair te combineren, waarbij de onderliggende semantische structuur behouden blijft terwijl de doelcampel wordt verborgen. Het framework werkt in twee stadia:

1. Token-Level Obfuscatie:
   De client voegt geheime, willekeurig gesamplede tokens in de inputsequentie in voordat deze wordt verwerkt. Dit verstoort de directe mapping tussen de originele input en de intermediaire representaties zonder de token-vocabulaire significant te veranderen.

2. Representatie-Level Obfuscatie (Mixup):
   De client codeert de doelrepresentatie ($x^*$) samen met $k-1$ support-samples uit een geheime support-set. Deze verborgen representaties worden lineair gecombineerd met behulp van geheime vectoren en matrices:

• Sign Vector ($v$): Een geheime vector van $\{-1, +1\}$ waarden.
• Mixing Matrix ($A$): Een matrix met positieve waarden die ervoor zorgt dat de doelrepresentatie behouden blijft met een gewicht van één, terwijl niet-doelrepresentaties worden geannuleerd wanneer ze worden geaggregeerd.
• Blinding Matrix ($B$): Een inverseerbare matrix die wordt toegepast om de gemixte berichten verder te obfusceren vóór transmissie.
  De resulterende "smashed data" wordt naar de server gestuurd. De server verwerkt deze gemixte activaties door het trunk-model en geeft ze terug. De client kan vervolgens de respons decoderen met behulp van de inverse van de blinding-matrix en de sign-vector om een benaderde representatie van de doelcampel te herstellen.

3. Kalibratiemodel:
   Vanwege niet-lineaire transformaties in LLM's wijkt de benaderde representatie af van de werkelijke grondwaarheid. MIXGUARD maakt gebruik van een lichtgewicht Kalibratiemodel (een residual netwerk) dat getraind is op publieke data om deze benadering te verfijnen. Dit model leert de Mean Squared Error (MSE) tussen de benaderde en de ware representaties te minimaliseren, wat zorgt voor een hoog nut voor de loss-berekening van het tail-model.

4. Adaptieve Gradiënt-Perturbatie:
   Tijdens backpropagation past de client adaptieve ruis toe op de gradiënten voordat deze naar de server worden verzonden. De schaal van de perturbatie wordt bepaald door de kalibratieresiduele (de fout tussen de gekalibreerde en de ware representatie). Samples met hogere residu's (wat duidt op meer retentie van private informatie) ontvangen sterkere perturbatie, wat backward leakage mitigeert.

Belangrijkste Bijdragen

• Eerste Mixup-gebaseerde SL voor LLM's: Het paper introduceert het eerste mixup-gebaseerde privacy-preserving split learning framework dat specifiek is ontworpen voor LLM's, waarbij het concept van data-augmentatie uitbreidt naar privacy-obfuscatie.
• Geïntegreerde Obfuscatie-mechanismen: Het integreert token-level obfuscatie, representatie-level mixup en adaptieve gradiënt-perturbatie om zowel inputs als labels gelijktijdig te beschermen in een U-vormige SL-setting.
• Kalibratiestrategie: Het stelt een lichtgewicht kalibratiemodel voor om de fouten in de benadering te corrigeren die worden geïntroduceerd door het mixup-proces, waardoor de kloof tussen geobfusceerde signalen en bruikbare trainingsgradiënten wordt overbrugd.
• Uitgebreide Evaluatie: Het framework wordt geëvalueerd over vier classificatietaken en vier tekstgeneratietaken, verspreid over meerdere LLM-families (Qwen, Llama), modelgroottes (1B tot 30B), en architecturen (Dense, MoE), evenals parameter-efficiënte fine-tuning (LoRA).

Experimentele Resultaten

• Behoud van Nut (Utility Preservation): MIXGUARD bereikt een downstream fine-tuning nut die vergelijkbaar is met niet-split training baselines. Zo behaalde het op de CoLA-taak met Llama 3.2-1B een nauwkeurigheid van 0,839 vergeleken met 0,845 voor niet-split training (een verschil van <1%). In contrast hiermee leden baselines zoals SnD en Naive Mix aanzienlijke verliezen in nut (bijv. 0,309 en 0,498 respectievelijk).
• Privacybescherming: De methode presteert consistent beter dan bestaande defensies (DP-Forward, DP-SGD, SnD) tegen state-of-the-art DRA's. Op de CoLA-dataset verminderde MIXGUARD de SIP-reconstructiescores van ~0,54 (niet-split) naar ~0,02, en de BiSR-scores naar ~0,08, terwijl andere methoden vaak er niet in slaagden de reconstructiescores significant te verlagen of de modelprestaties lieten instorten.
• Robuustheid: Het framework blijft effectief over verschillende modelgroottes, architecturen (inclusief MoE) en fine-tuning strategieën (Full vs. LoRA). Het demonstreert ook veerkracht tegen adaptieve aanvallen waarbij de aanvaller het defensiemechanisme kent.

Betekenis en Claims
Het paper claimt dat MIXGUARD succesvol het "utility-privacy-efficiency" trilemma in Split Learning voor LLM's aanpakt. Door gebruik te maken van mixup-gebaseerde obfuscatie in plaats van ruisinjectie of zware cryptografie, behoudt het de stabiliteit van trainingssignalen terwijl het effectief data-reconstructie voorkomt. De auteurs positioneren MIXGUARD als een praktische oplossing voor gebruikers met beperkte middelen om LLM's te trainen op private data zonder gevoelige inputs of labels aan de server bloot te stellen, waarbij sterke privacygaranties worden bereikt zonder de ernstige degradatie van het nut die bij eerdere methoden werd gezien. Het werk benadrukt dat het behouden van de structurele integriteit van representaties door gecontroleerde mixing een levensvatbaar pad is voor veilig, grootschalig collaboratief leren.