💬 NLP

The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

Dieses Paper schlägt MIXGUARD vor, ein neuartiges auf Mixup basierendes Framework für privatsphärenschützendes Split Learning in Large Language Models, das durch die Kombination von Token-Level- und Repräsentations-Level-Obfuskation mit adaptiver Gradientenperturbation effektiv ein Gleichgewicht zwischen Nutzen, Privatsphäre und Effizienz herstellt, um Rekonstruktionsangriffe auf Daten zu verhindern und gleichzeitig die Modellleistung aufrechtzuerhalten.

Ursprüngliche Autoren: Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem brillanten, aber sehr teuren Roboter (einem Large Language Model) einen spezifischen Job beibringen, indem Sie Ihre privaten Tagebucheinträge verwenden. Da Sie keinen Supercomputer besitzen, um den Roboter selbst zu trainieren, senden Sie Ihr Tagebuch an einen leistungsstarken Server, der die schwere Arbeit für Sie erledigt.

Das Problem:
In einem Standard-Setup senden Sie Ihr Tagebuch an den Server, und der Server schickt „Gradienten“ (mathematische Hinweise zur Verbesserung) zurück. Das Problem ist, dass ein neugieriger Server (oder ein Hacker, der sich als der Server ausgibt) aus diesen Hinweisen und Ihren Datenfragmenten Ihr privates Tagebuch rekonstruieren kann. Es ist, als würde man sein geheimes Rezept auf einer Postkarte verschicken; selbst wenn man es in einem Code schreibt, kann ein geschickter Beobachter die Zutaten allein durch das Betrachten der Flecken auf dem Papier herausfinden.

Bestehende Methoden versuchen dies zu verhindern, indem sie:

Rauschen hinzufügen: Wie das Verschwimmen der Postkarte, sodass der Server sie nicht mehr lesen kann, aber leider kann der Roboter auch nicht mehr daraus lernen.
Starke Verschlüsselung nutzen: Wie das Legen der Postkarte in einen Stahlschrank. Dies ist sicher, aber es dauert ewig, den Tresor zu öffnen und zu schließen, was den Prozess unglaublich langsam und teuer macht.

Die Lösung: MIXGUARD
Die Autoren schlagen eine neue Methode namens MIXGUARD vor. Sie lassen sich von der „Mixologie“ (der Kunst des Mixens von Cocktails) inspirieren. Genau wie ein Barkeeper verschiedene Getränke mischt, um den starken Geschmack einer einzelnen Zutat zu verbergen, mischt MIXGUARD Ihre privaten Daten mit anderen „Dekoy-Daten“ (Lockvogel-Daten), um Ihre Geheimnisse zu verbergen, während das Rezept gleichzeitig lernbar bleibt.

So funktioniert es, Schritt für Schritt:

1. Der „Geheime Token“-Trick (Obfuskation auf Token-Ebene)

Bevor Sie Ihren Text senden, fügt das System heimlich zufällige, bedeutungslose Wörter (wie „Banane“ oder „Wolke“) in Ihre Sätze ein.

Analogie: Stellen Sie sich vor, Sie senden einen Brief, aber Sie fügen in jeden Satz zufällig das Wort „Ananas“ ein. Für einen Spion, der den Brief liest, sieht die Nachricht seltsam und verschlüsselt aus. Aber weil das System genau weiß, wo die „Ananas“ platziert sind, kann es diese später ganz einfach wieder entfernen.

2. Der „Cocktail“-Mix (Obfuskation auf Repräsentations-Ebene)

Anstatt nur Ihren Text zu senden, mischt das System Ihren Text mathematisch mit mehreren anderen Zufallstexten (Dekoys), die der Server nicht kennt.

Analogie: Stellen Sie sich vor, Sie haben ein Glas Ihres privaten Saftes. Sie gießen ihn in einen Mixer zusammen mit den Säften von fünf anderen Personen. Sie senden den gemischten Smoothie an den Server. Der Server sieht einen Smoothie, hat aber keine Ahnung, welcher Teil Ihr Saft ist und welcher zu den anderen gehört.
Die Magie: Der Server verarbeitet diesen Smoothie und schickt einen Hinweis zurück. Ihr System verwendet dann einen speziellen „Decoder“ (den es im Vorfeld erstellt hat), um Ihren Saft aus dem Smoothie zu trennen. Weil das System das Rezept der Mischung kennt, kann es den „Geschmack“ Ihrer ursprünglichen Daten perfekt wiederherstellen, obwohl der Server nur die Mischung gesehen hat.

3. Der „Kalibrierungs“-Coach

Da das Mischen der Dinge manchmal den Geschmack leicht verändern kann, nutzt das System ein kleines, leichtgewichtiges „Coach“-Modell.

Analogie: Denken Sie an einen Geschmackstester. Bevor der Roboter aus dem Smoothie lernt, prüft der Geschmackstester den Geschmack und nimmt winzige Anpassungen vor, um sicherzustellen, dass er exakt wie Ihr ursprünglicher Saft schmeckt. Dies stellt sicher, dass der Roboter korrekt lernt, ohne an Genauigkeit zu verlieren.

4. Der „Adaptive Schild“ (Gradienten-Perturbation)

Wenn der Roboter lernt, sendet er Hinweise (Gradienten) zurück. Manchmal können diese Hinweise dennoch Geheimnisse verraten. MIXGUARD fügt diesen Hinweisen ein wenig „Statisches Rauschen“ hinzu, aber nur, wenn es notwendig ist.

Analogie: Wenn der Geschmackstester bemerkt, dass der Smoothie sehr anders ist als Ihr ursprünglicher Saft (was bedeutet, dass die Daten sehr einzigartig sind), fügt das System etwas mehr „Statisches Rauschen“ zu den Hinweisen hinzu, die an den Server gesendet werden. Dies stellt sicher, dass der Server, selbst wenn er versucht, die Hinweise zurückzuverfolgen, nur Rauschen erhält und nicht Ihre Geheimnisse.

Was haben sie herausgefunden?

Die Autoren haben dies bei vier verschiedenen Arten von Aufgaben (wie der Klassifizierung von Emotionen, dem Beantworten von Mathefragen, dem Schreiben von Code und der Zusammenfassung von Gesprächen) unter Verwendung verschiedener Größen von KI-Modellen getestet.

Privatsphäre: Es ist viel schwieriger für einen Server, Ihre privaten Daten zu rekonstruieren, als bei anderen Methoden. Der „Smoothie“ ist so gut gemischt, dass der Server nicht sagen kann, was die ursprünglichen Zutaten waren.
Nutzen (Leistung): Im Gegensatz zu anderen Methoden, die die Daten so stark verschleiern, dass der Roboter verwirrt wird, sorgt MIXGUARD dafür, dass die Leistung des Roboters fast identisch damit ist, als hätte er direkt mit Ihren Daten trainiert.
Effizienz: Es erfordert keine schwere, langsame Verschlüsselung durch Stahlschränke. Es läuft schnell und verlangsamt den Trainingsprozess kaum.

Kurz gesagt: MIXGUARD ist wie ein sicherer, Hochgeschwindigkeits-Lieferdienst, der Ihr privates Paket mit Täuschungspaketen mischt. Der Empfänger (der Server) kann das gemischte Paket verarbeiten, um Ihnen zu helfen, kann aber niemals herausfinden, welcher Teil Ihrer war. Währenddessen können Sie das Ergebnis dennoch perfekt auspacken, um die Aufgabe zu erledigen.

Technische Zusammenfassung: MIXGUARD – Mixup-basierte Obfuskation zur datenschutzfreundlichen Split-Learning-Anwendung für LLMs

Problemstellung
Große Sprachmodelle (LLMs) erfordern erhebliche Rechenressourcen, die oft die Kapazität von Edge-Clients übersteigen. Split Learning (SL) bietet eine Lösung, indem es Modelle zwischen einem Client (der private Daten hält) und einem Server (der Rechenleistung bereitstellt) aufteilt. Bestehende datenschutzfreundliche SL-Methoden stehen jedoch vor einem kritischen Kompromiss zwischen Nutzen, Datenschutz, Effizienz und Stabilität.

Nutzenverlust: Methoden wie Differential Privacy (DP) führen oft Rauschen ein, das Trainingssignale massiv verzerrt, was zu einer schlechten Downstream-Performance führt.
Unvollständiger Datenschutz: Viele Abwehrmechanismen schützen nur Eingaben oder Labels bzw. nur bestimmte Phasen (Training vs. Inferenz), wodurch sie anfällig für fortgeschrittene Data Reconstruction Attacks (DRAs) wie SIP (Forward Inversion), TAG/LAMP (Backward Gradient Matching) und BiSR (bidirektional) bleiben.
Effizienz und Stabilität: Kryptografische Ansätze (z. B. Homomorphe Verschlüsselung) verursachen prohibitive Overheads, während andere leichtgewichtige Abwehrmechanismen oft nicht in der Lage sind, eine stabile Performance über diverse Aufgaben hinweg aufrechtzuerhalten, insbesondere bei komplexer Textgenerierung.

Methodik: MIXGUARD
Das Paper schlägt MIXGUARD vor, ein neuartiges Framework, das die Mixup-Datenaugmentierungstechnik zur Wahrung der Privatsphäre in U-förmigem Split Learning adaptiert. Anstatt Rauschen hinzuzufügen (was zu Verteilungsverschiebungen führt), obfuskiert MIXGUARD Daten durch die lineare Kombination mehrerer Repräsentationen, wodurch die zugrunde liegende semantische Struktur bewahrt wird, während die Zielprobe verborgen bleibt. Das Framework operiert in zwei Stufen:

Token-Level Obfuskation:
Der Client fügt vor der Verarbeitung zufällig ausgewählte, geheime Token in die Eingabesequenz ein. Dies unterbricht die direkte Abbildung zwischen der ursprünglichen Eingabe und den intermediären Repräsentationen, ohne das Token-Vokabular signifikant zu verändern.
Repräsentations-Level Obfuskation (Mixup):
Der Client kodiert die Zielrepräsentation ( $x^*$ ) zusammen mit $k-1$ Support-Proben aus einem geheimen Support-Set. Diese verborgenen Repräsentationen werden mithilfe geheimer Vektoren und Matrizen linear kombiniert:
- Sign-Vektor ( $v$ ): Ein geheimer Vektor mit $\{-1, +1\}$ -Werten.
- Mixing-Matrix ( $A$ ): Eine Matrix mit positiven Werten, die sicherstellt, dass die Zielrepräsentation mit dem Einheitsgewicht erhalten bleibt und nicht-zielgerichtete Repräsentationen bei der Aggregation eliminiert werden.
- Blinding-Matrix ( $B$ ): Eine invertierbare Matrix, die auf die gemischten Nachrichten angewendet wird, um diese vor der Übertragung weiter zu obfuskarieren.
  Die resultierenden „Smashed Data“ werden an den Server gesendet. Der Server verarbeitet diese gemischten Aktivierungen durch das Trunk-Modell und gibt sie zurück. Der Client dekodiert die Antwort anschließend mithilfe der Inversen der Blinding-Matrix und des Sign-Vektors, um eine approximierte Repäsentation der Zielrepräsentation wiederherzustellen.
Kalibrierungsmodell:
Aufgrund nicht-linearer Transformationen in LLMs weicht die approximierte Repräsentation von der tatsächlichen Grundwahrheit ab. MIXGUARD verwendet ein leichtgewichtiges Kalibrierungsmodell (ein Residualnetzwerk), das auf öffentlichen Daten trainiert wurde, um diese Approximation zu verfeinern. Dieses Modell lernt, den mittleren quadratischen Fehler (MSE) zwischen der approximierten und der wahren Repräsentation zu minimieren, um einen hohen Nutzen für die Verlustberechnung des Tail-Modells zu gewährleisten.
Adaptive Gradienten-Perturbation:
Während der Backpropagation wendet der Client adaptives Rauschen auf die Gradienten an, bevor er diese an den Server sendet. Die Skalierung der Perturbation wird durch das Kalibrierungsresiduum (den Fehler zwischen der kalibrierten und der wahren Repräsentation) bestimmt. Proben mit höheren Residuen (was auf eine höhere Behaltung privater Informationen hindeutet) erhalten eine stärkere Perturbation, um das Rückwärts-Leakage zu mildern.

Wesentliche Beiträge

Erstes Mixup-basiertes SL für LLMs: Das Paper führt das erste Mixup-basierte datenschutzfreundliche Split-Learning-Framework ein, das speziell für LLMs entwickelt wurde, indem es das Konzept von der Datenaugmentation zur Privatsphäre-Obfuskation erweitert.
Gemeinsame Obfuskationsmechanismen: Es integriert Token-Level Obfuskation, Repräsentations-Level Mixup und adaptive Gradienten-Perturbation, um sowohl Eingaben als auch Labels gleichzeitig in einem U-förmigen SL-Setting zu schützen.
Kalibrierungsstrategie: Es schlägt ein leichtgewichtiges Kalibrierungsmodell vor, um die durch den Mixup-Prozess eingeführten Approximationsfehler zu korrigieren und so die Lücke zwischen obfuskierten Signalen und nutzbaren Trainingsgradienten zu schließen.
Umfassende Evaluierung: Das Framework wird über vier Klassifikations- und vier Textgenerationsaufgaben hinweg evaluiert, die verschiedene LLM-Familien (Qwen, Llama), Modellgrößen (1B bis 30B) und Architekturen (Dense, MoE) sowie effiziente Parameter-Feinabstimmung (LoRA) abdecken.

Experimentelle Ergebnisse

Nutzenbewahrung: MIXGUARD erreicht eine Downstream-Feinabstimmungs-Utility, die mit Nicht-Split-Training-Baselines vergleichbar ist. Beispielsweise erreichte es bei der CoLA-Aufgabe mit Llama 3.2-1B eine Genauigkeit von 0,839 im Vergleich zu 0,845 beim Nicht-Split-Training (eine Differenz von <1 %). Im Gegensatz dazu erlitten Baselines wie SnD und Naive Mix signifikante Nutzenverluste (z. B. 0,309 und 0,498).
Datenschutzschutz: Die Methode übertrifft bestehende Abwehrmechanismen (DP-Forward, DP-SGD, SnD) konsistent gegenüber State-of-the-Art DRAs. Auf dem CoLA-Datensatz reduzierte MIXGUARD die SIP-Rekonstruktionswerte von ~0,54 (Nicht-Split) auf ~0,02 und die BiSR-Werte auf ~0,08, während andere Methoden oft keine signifikante Reduktion der Rekonstruktionswerte erreichten oder die Modellperformance zum Kollaps brachten.
Robustheit: Das Framework bleibt über verschiedene Modellskalen, Architekturen (einschließlich MoE) und Feinabstimmungsstrategien (Full vs. LoRA) hinweg effektiv. Es zeigt zudem Resilienz gegenüber adaptiven Angriffen, bei denen der Angreifer den Abwehrmechanismus kennt.

Bedeutung und Ansprüche
Das Paper behauptet, dass MIXGUARD das „Utility-Privacy-Efficiency“-Trilemma in der Split-Learning-Anwendung für LLMs erfolgreich adressiert. Durch die Nutzung von Mixup-basierter Obfuskation anstelle von Rauschinjektion oder schwerer Kryptografie bewahrt es die Stabilität der Trainingssignale und verhindert gleichzeitig effektiv die Rekonstruktion von Daten. Die Autoren positionieren MIXGUARD als praktische Lösung für ressourcenbeschränkte Nutzer, um LLMs auf privaten Daten zu trainieren, ohne sensible Eingaben oder Labels dem Server preiszugeben, wobei starke Datenschutzgarantien ohne den schweren Nutzenverlust erzielt werden, der bei bisherigen Ansätzen zu beobachten war. Die Arbeit hebt hervor, dass die Bewahrung der strukturellen Integrität von Repräsentationen durch kontrolliertes Mixing ein gangbarer Weg für sicheres, groß angelegtes kollaboratives Lernen ist.