The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

Résumé Technique : MIXGUARD – Obscurcissement basé sur le Mixup pour l'apprentissage partitionné respectant la vie privée dans les LLM

Énoncé du Problème
Les grands modèles de langage (LLM) nécessitent des ressources de calcul considérables, dépassant souvent la capacité des clients en périphérie (edge clients). L'apprentissage partitionné (Split Learning - SL) offre une solution en partitionnant les modèles entre un client (détenant des données privées) et un serveur (fournissant la puissance de calcul). Cependant, les méthodes existantes de SL respectant la vie privée sont confrontées à un compromis critique entre utilité, confidentialité, efficacité et stabilité.

• Dégradation de l'Utilité : Les méthodes comme la confidentialité différentielle (Differential Privacy - DP) introduisent souvent du bruit qui déforme sévèrement les signaux d'entraînement, entraînant de mauvaises performances en aval.
• Confidentialité Incomplète : De nombreuses défenses ne protègent que les entrées ou les étiquettes, ou des phases spécifiques (entraînement vs inférence), laissant les utilisateurs vulnérables aux attaques de reconstruction de données (DRA) avancées telles que SIP (inversion directe), TAG/LAMP (correspondance de gradient inverse) et BiSR (bidirectionnelle).
• Efficacité et Stabilité : Les approches cryptographiques (ex. : chiffrement homomorphe) engendrent un surcoût prohibitif, tandis que d'autres défenses légères échouent souvent à maintenir une performance stable à travers diverses tâches, particulièrement la génération de texte complexe.

Méthodologie : MIXGUARD
Le document propose MIXGUARD, un nouveau cadre qui adapte la technique d'augmentation de données mixup pour la préservation de la vie privée dans le Split Learning en forme de U (U-shaped SL). Au lieu d'ajouter du bruit (ce qui provoque des décalages de distribution), MIXGUARD obscurcit les données en combinant linéairement plusieurs représentations, préservant ainsi la structure sémantique sous-jacente tout en cachant l'échantillon cible. Le cadre opère en deux étapes :

1. Obscurcissement au niveau des Tokens :
   Le client insère des tokens secrets, échantillonnés de manière aléatoire, dans la séquence d'entrée avant le traitement. Cela perturbe la correspondance directe entre l'entrée originale et les représentations intermédiaires sans modifier de manière significative le vocabulaire des tokens.

2. Obscurcissement au niveau des Représentations (Mixup) :
   Le client encode l'échantillon cible ($x^*$) aux côtés de $k-1$ échantillons de support provenant d'un ensemble de support secret. Ces représentations cachées sont combinées linéairement à l'aide de vecteurs et de matrices secrets :

   • Vecteur de Signe ($v$) : Un vecteur secret de valeurs $\{-1, +1\}$.
   • Matrice de Mélange ($A$) : Une matrice de valeurs positives qui garantit que la représentation cible est préservée avec un poids unitaire tout en annulant les représentations non cibles lors de l'agrégation.
   • Matrice d'Aveuglement ($B$) : Une matrice inversible appliquée pour obscurcir davantage les messages mélangés avant la transmission.
     Les "données broyées" (smashed data) résultantes sont envoyées au serveur. Le serveur traite ces activations mélangées via le modèle de tronc (trunk model) et renvoie les résultats. Le client peut ensuite décoder la réponse en utilisant l'inverse de la matrice d'aveuglement et le vecteur de signe pour récupérer une représentation approximative de la cible.

3. Modèle de Calibration :
   En raison des transformations non linéaires dans les LLM, la représentation approximée dévie de la vérité terrain réelle. MIXGUARD utilise un Modèle de Calibration léger (un réseau résiduel) entraîné sur des données publiques pour affiner cette approximation. Ce modèle apprend à minimiser l'erreur quadratique moyenne (MSE) entre la représentation approximée et la représentation réelle, garantissant une haute utilité pour le calcul de la perte du modèle de queue (tail model).

4. Perturbation Adaptative du Gradient :
   Pendant la rétropropagation, le client applique un bruit adaptatif aux gradients avant de les envoyer au serveur. L'échelle de la perturbation est déterminée par le résidu de calibration (l'erreur entre la représentation calibrée et la représentation réelle). Les échantillons présentant des résidus plus élevés (indiquant une rétention accrue d'informations privées) reçoivent une perturbation plus forte, atténuant ainsi les fuites par rétropropagation.

Principales Contributions

• Premier Mixup-based SL pour les LLM : Le document présente le premier cadre de Split Learning basé sur le mixup spécifiquement conçu pour les LLM, étendant le concept de l'augmentation de données à l'obscurcissement de la vie privée.
• Mécanismes d'Obscurcissement Conjoints : Il intègre l'obscurcissement au niveau des tokens, le mixup au niveau des représentations et la perturbation adaptative des gradients pour protéger simultanément les entrées et les ét labels dans un contexte de SL en forme de U.
• Stratégie de Calibration : Il propose un modèle de calibration léger pour corriger les erreurs d'approximation introduites par le processus de mixup, comblant l'écart entre les signaux obscurcis et les gradients utilisables.
• Évaluation Complète : Le cadre est évalué à travers quatre tâches de classification et quatre tâches de génération de texte, couvrant plusieurs familles de LLM (Qwen, Llama), des tailles de modèles (de 1B à 30B) et des architectures (Dense, MoE), ainsi que le fine-tuning efficace en paramètres (LoRA).

Résultats Expérimentaux

• Préservation de l'Utilité : MIXGUARD atteint une utilité de fine-tuning en aval comparable aux bases de référence d'entraînement non-partitionné (non-split). Par exemple, sur la tâche CoLA avec Llama 3.2-1B, il a atteint une précision de 0,839 contre 0,845 pour l'entraînement non-split (un écart de <1 %). En revanche, les bases de référence comme SnD et Naive Mix ont subi des chutes d'utilité significatives (ex. : 0,309 et 0,498 respectivement).
• Protection de la Vie Privée : La méthode surpasse systématiquement les défenses existantes (DP-Forward, DP-SGD, SnD) contre les DRA de pointe. Sur le jeu de données CoLA, MIXGUARD a réduit les scores de reconstruction SIP d'environ 0,54 (non-split) à environ 0,02, et les scores BiSR à environ 0,08, alors que les autres méthodes échouaient souvent à réduire significativement les scores de reconstruction ou provoquaient l'effondrement des performances du modèle.
• Robustesse : Le cadre reste efficace à travers différentes échelles de modèles, architectures (incluant MoE) et stratégies de fine-tuning (Full vs LoRA). Il démontre également sa résilience face aux attaques adaptatives où l'attaquant connaît le mécanisme de défense.

Signification et Revendications
Le document affirme que MIXGUARD résout avec succès le trilemme "utilité-vie privée-efficacité" dans le Split Learning pour les LLM. En exploitant l'obscurcissement par mixup plutôt que l'injection de bruit ou la cryptographie lourde, il maintient la stabilité des signaux d'entraînement tout en empêchant efficacement la reconstruction de données. Les auteurs positionnent MIXGUARD comme une solution pratique pour les utilisateurs aux ressources limitées souhaitant entraîner des LLM sur des données privées sans exposer les entrées ou les étiquettes sensibles au serveur, atteignant de fortes garanties de confidentialité sans la dégradation sévère de l'utilité observée dans les travaux antérieurs. Ce travail souligne que la préservation de l'intégrité structurelle des représentations par un mélange contrôlé est une voie viable pour un apprentissage collaboratif sécurisé et à grande échelle.