🤖 machine learning

Reconstructing Training Data from Adapter-based Federated Large Language Models

Auteurs originaux : Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

Auteurs originaux : Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Une fuite de « recette secrète »

Imaginez que vous et vos amis essayez tous de cuisiner ensemble un gâteau spécifique (un Grand Modèle de Langage ou LLM), mais que vous ne voulez partager vos recettes de famille secrètes (vos données privées) avec personne. Pour résoudre ce problème, vous utilisez une astuce ingénieuse appelée Apprentissage Fédéré (Federated Learning). Au lieu d'envoyer tout votre livre de recettes à une cuisine centrale, vous n'envoyez que les modifications que vous avez apportées à une petite partie détachable du moule à gâteau (appelée un Adaptateur). Le moule principal reste figé et intact.

La croyance était la suivante : « Puisque nous n'envoyons que de minuscules changements à une petite partie du moule, et que le moule principal est verrouillé, personne ne peut découvrir quelle était votre recette secrète. »

Cet article dit : « Pas si vite. »

Les chercheurs ont découvert que même avec ces changements minuscules et verrouillés, un boulanger rusé (l'attaquant) peut toujours observer les miettes laissées derrière lui dans les mises à jour de gradients et reconstruire parfaitement votre recette secrète. Ils ont construit un nouvel outil appelé UTR (Reconstruction de texte basée sur un sac de mots non ordonnés) qui fait précisément cela.

Les trois grands obstacles (et comment ils les ont franchis)

Les chercheurs savaient qu'il s'agissait d'une énigme difficile en raison de trois problèmes spécifiques :

Le problème du « Signal Minuscule » : Les changements envoyés sont si petits (de faible dimension) que les méthodes traditionnelles, qui tentent de deviner la recette en plissant les yeux devant des photos floues, échouent complètement.
- La solution : Au lieu de plisser les yeux, UTR agit comme un détecteur de métaux. Il scanne les parties « figées » du modèle (que tout le monde connaît) pour voir quels mots spécifiques (tokens) du dictionnaire ont probablement été utilisés. Il ne cherche pas à deviner la phrase entière d'un coup ; il construit simplement un « Sac de Mots » — une liste d'ingrédients qui doivent avoir été présents dans la recette.
Le problème de la « Cuisine Verrouillée » : Le cerveau principal du modèle (le backbone) est figé. Les attaquants ont généralement besoin de voir comment le cerveau traite l'information pour rétro-concevoir l'entrée. Ici, ce cerveau est hors de portée.
- La solution : UTR réalise que même si le cerveau est verrouillé, le petit module « adaptateur » agit comme un théâtre d'ombres. En analysant la forme spécifique des ombres projetées par les minuscules changements de l'adaptateur, UTR peut déterminer quelles phrases correspondent aux données, même sans voir le cerveau complet.
Le Problème du « Cauchemar Combinatoire » : Si vous avez un sac de 10 mots, il existe des millions de façons de les arranger en phrases. Essayer toutes les combinaisons est impossible pour un ordinateur.
* La solution : UTR utilise un filtre intelligent. Il ne tente pas toutes les combinaisons aléatoires. Il utilise des règles de grammaire et du bon sens (comme « un enfant » a du sens, mais « enfant le » non) pour éliminer les mauvaises options. Il vérifie ensuite les candidats restants par rapport à l'« empreinte digitale » mathématique laissée par l'adaptateur pour trouver la correspondance exacte.

Les Résultats : Une reconstruction parfaite

Les chercheurs ont testé leur outil de « Sac de Mots » (UTR) sur différents modèles (comme GPT-2, BERT et Qwen) et différents types de textes (critiques de films, tests de grammaire, etc.).

Le chiffre magique : Dans de nombreux cas, UTR a reconstruit le texte original avec une précision de 99 % à 100 %.
L'échelle : Les méthodes précédentes échouaient lamentablement lorsque la « taille de lot » (le nombre de recettes envoyées à la fois) devenait importante. UTR a fonctionné parfaitement même en envoyant 128 recettes à la fois.
La surprise : Ils ont découvert que certains modèles (comme GPT-2) étaient légèrement plus difficiles à craquer pour les phrases longues en raison de la façon dont ils lisent le texte (un mot à la fois), mais que les modèles plus récents (comme Qwen) étaient presque parfaitement décryptés.

Le contrôle de la « Défense »

L'article a également testé si les mesures de sécurité courantes pouvaient arrêter cela :

L'élagage de gradient (Jeter les petits nombres) : C'était comme essayer de cacher un secret en arrachant quelques pages du livre. Cela n'a pas bien fonctionné. L'attaquant pouvait toujours lire l'histoire même avec 99 % des pages manquantes, tant que les mots clés restaient.
La confidentialité différentielle (Ajouter du « Bruit ») : Cela revient à ajouter des parasites à un signal radio. Les chercheurs ont constaté que pour arrêter l'attaque, il faut ajouter tellement de parasites que la radio devient inutilisable. Le modèle ne peut plus rien apprendre d'utile.

La conclusion à retenir

L'article conclut qu'il existe une tension fondamentale entre efficacité et confidentialité. Le fait de rendre un modèle « léger » et « efficace » en figeant la majeure partie de celui-ci et en n'entraînant qu'un petit adaptateur ne garantit pas automatiquement sa sécurité.

En fait, les chercheurs soutiennent que ces adaptateurs efficaces créent de nouveaux canaux cachés de fuite de données qui sont tout aussi dangereux que les anciens. Si vous utilisez ces systèmes pour protéger des données privées, vous ne pouvez pas compter sur le fait que « nous n'avons mis à jour qu'une petite partie du modèle » comme une garantie de sécurité.

Résumé Technique : Reconstruction des Données d'Entraînement à partir de Modèles de Grands Langages Fédérés basés sur des Adaptateurs

Énoncé du Problème

Les modèles de grands langages fédérés (FedLLMs) utilisant l'ajustement fin par adaptateurs (par exemple, LoRA) sont devenus une approche dominante pour l'apprentissage collaboratif respectueux de la vie privée. En figeant les paramètres massifs de l'ossature (backbone) des LLM pré-entraînés et en entraînant uniquement des modules adaptateurs de rang faible et compacts, ces systèmes visent à réduire les coûts de calcul, de stockage et de communication. L'hypothèse prédominante est que cette efficacité paramétrique renforce intrinsèquement la sécurité en limitant la fuite d'informations disponibles via les gradients partagés, neutralisant ainsi les attaques d'inversion de gradient (GIA) existantes.

Cependant, cet article remet en question cette hypothèse. Il postule que les FedLLMs basés sur des adaptateurs restent vulnérables à de graves attaques sur la vie privée. Le problème central traité est la reconstruction de textes d'entraînement privés et sensibles à partir des gradients partagés des couches d'adaptateurs, malgré trois défis spécifiques qui rendent les GIA traditionnelles inefficaces :

Faible Dimensionnalité des Mises à Jour : Les adaptateurs ne mettent à jour qu'une petite fraction des paramètres, réduisant considérablement la dimensionnalité des gradients et obscurcissant l'information brute par rapport à un ajustement fin de tous les paramètres.
Ossature Figée : L'ossature pré-entraînée du LLM reste figée, ce qui signifie que les attaquants ne peuvent pas accéder aux gradients des couches critiques d'attention et de transformer qui facilitent habituellement la reconstruction de texte dans les configurations à paramètres complets.
Espace de Solutions Étendu : L'espace combinatoire des reconstructions de texte possibles est vaste, rendant la traversée directe ou la recherche en faisceau (beam search) informatiquement infaisable, surtout avec de grands lots (batches).

Méthodologie : L'Attaque UTR

Les auteurs proposent l'attaque Unordered-word-bag-based Text Reconstruction (UTR), un nouveau pipeline en deux étapes conçu pour exploiter les propriétés structurelles uniques des FedLLMs basés sur des adaptateurs.

Étape 1 : Inférence du Sac de Mots (Word Bag Inference)

Cette étape cible l'adaptateur d'embedding pour inférer un ensemble non ordonné de jetons (tokens) du vocabulaire présents dans l'entrée privée du client, contournant ainsi l'optimisation continue.

Mécanisme : La méthode exploite la nature déterministe des couches d'embedding figées. Elle analyse les gradients de la couche de sous-échantillonnage (downsampling) entièrement connectée (FC) de l'adaptateur d'embedding.
Intuition Mathématique : En calculant le Ratio du Gradient du Poids par rapport au Biais (RWBG) pour les neurones de la couche FC, les auteurs construisent un sous-espace linéaire de rang faible $S$ . Ce sous-espace est engendré par les vecteurs d'embedding cachés des jetons d'entrée réels.
Inférence : L'attaque itère sur le vocabulaire du modèle, vérifiant si l'embedding caché d'un jeton candidat appartient au sous-espace $S$ dérivé des gradients du client. Si c'est le cas, le jeton est inclus dans le « sac de mots ». Cela transforme le problème d'un ajustement de vecteur en un test d'appartenance d'algèbre linéaire.

Étape 2 : Inférence de Données

Cette étape assemble le « sac de mots » non ordonné en séquences de texte cohérentes.

Mécanisme : Elle emploie une stratégie de recherche gloutonne contrainte guidée par des filtres grammaticaux, sémantiques et contextuels (EICW, CG, CS) pour élaguer les combinaisons de jetons invalides.
Inférence d'Appartenance : Pour valider les phrases candidates, la méthode utilise les gradients de l'adaptateur de couche. Elle injecte les séquences candidates à travers le modèle pour générer des embeddings cachés et vérifie si ces embeddings se situent dans le sous-espace de rang faible $S_{LA}$ engendré par les gradients de l'adaptateur de couche.
Adaptation de l'Architecture : La méthode tient compte des différences d'architecture des LLM. Pour les modèles bidirectionnels (ex: BERT), le texte complet peut être reconstruit en une seule étape. Pour les modèles unidirectionnels (ex: GPT), la reconstruction est effectuée par préfixe, nécessant plus d'échantillons candidats pour assembler la séquence complète.

Contributions Clés

Divulgation de Vulnérabilité : L'article démontre que les FedLLMs basés sur des adaptateurs ne sont pas immunisés contre les attaques d'inversion de gradient, même lorsque la plupart des paramètres du modèle sont figés. Il révèle que les adaptateurs de faible rang créent de nouveaux canaux de fuite exploitables.
Cadre d'Attaque UTR : Les auteurs introduisent l'UTR, une attaque sur mesure qui surmonte les défis des mises à jour de faible dimension et des ossatures figées. Elle combine de manière unique l'analyse de sous-espace des gradients d'embedding avec un décodage contraint pour atteindre une reconstruction de haute fidélité.
Analyse Théorique de la Fuite : L'article fournit une évaluation théorique des limites de l'attaque, définissant le nombre maximum de jetons récupérables ( $k_{max}$ ) comme étant borné par le rang du sous-espace engendré par les gradients de l'adaptateur ( $rank(S) \leq d_{bottleneck}$ ).
Évaluation Complète : L'étude évalue l'attaque sur divers modèles (BERT, GPT2-Large, Qwen2.5-7B) et jeux de données (CoLA, SST-2, Rotten Tomatoes) sous différents tailles de lots et mécanismes de défense.

Résultats Expérimentaux

Les expériences démontrent que l'UTR atteint une précision de reconstruction quasi parfaite, surpassant de manière significative les lignes de base de pointe comme LAMP et DAGER.

Précision de Reconstruction : L'UTR atteint des scores ROUGE-1/2 supérieurs à 99 % sur tous les modèles et jeux de données testés, même avec des tailles de lots allant jusqu'à 128. En revanche, les bases comme DAGER échouent complètement dans les configurations d'ossature figée, et LAMP se dégrade considérablement à mesure que la taille du lot augmente.
Scalabilité : L'attaque reste efficace pour de grands lots (jusqu'à 128) sur Qwen2.5-7B et BERT. Sur GPT2-Large, les performances chutent sur certains jeux de données (SST, RT) pour des lots supérieurs à 32, en raison des difficultés de reconstruction de séquences longues avec des mécanismes d'attention unidirectionnels.
Évaluation de la Défense :
- Confidentialité Différentielle (DP) : La DP s'avère être une défense efficace, réduisant le succès de l'attaque à près de 0 % avec des niveaux de bruit modérés ( $\sigma \geq 1.5$ ). Cependant, les auteurs notent que de tels niveaux de bruit rendent le modèle inutilisable pour des tâches pratiques.
- Élagage de Gradient (GP) : Le GP offre une protection fragile. Même avec un élagage agressif (99,9 %), une certaine fuite persiste, et des taux d'élagage élevés sont nécessaires pour atténuer l'attaque, ce qui impacte sévèrement l'utilité du modèle.

Signification et Revendications

L'article conclut qu'il existe une tension fondamentale entre l'efficacité des paramètres et la confidentialité dans les FedLLMs. La croyance prédominante selon laquelle l'adaptation légère améliore intrinsèquement la sécurité est remise en question par ces résultats.

Compromis Confidentialité-Performance : L'étude souligne que si les adaptateurs réduisent les coûts de communication, ils ne garantissent pas automatiquement la confidentialité. La nature de faible rang des mises à jour, destinée à l'efficacité, crée par inadvertance un sous-espace spécifique qui peut être mathématiquement inversé pour récupérer des données d'entrée discrètes.
Implications pour la Conception : Les résultats suggèrent que se fier uniquement à l'ajustement fin par adaptateur pour la confidentialité est insuffisant. Les auteurs soulignent la nécessité d'une évaluation systématique des risques de reconstruction dans les paradigmes de FedLLM efficaces et indiquent que les défenses efficaces (comme la DP) peuvent se faire au détriment de l'utilité du modèle.

Ce travail sert d'avertissement critique à la communauté : les garanties de sécurité des FedLLMs basés sur des adaptateurs ne sont pas aussi robustes qu'elles le paraissent, nécessitant de nouvelles stratégies défensives qui ne compromettent pas les avantages d'efficacité offerts par ces modèles.