💬 NLP

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning

Cet article propose un cadre novateur pour quantifier à la fois la mémorisation des données d'entraînement intra-client et inter-client dans l'apprentissage fédéré en adaptant des techniques de mesure fine entre échantillons issues de l'apprentissage centralisé, révélant que les modèles d'apprentissage fédéré présentent des risques de mémorisation significatifs influencés par des facteurs spécifiques d'entraînement et d'inférence.

Auteurs originaux : Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe d'amis qui souhaitent apprendre à cuisiner ensemble un plat complexe, mais qui sont trop timides pour partager leurs recettes de famille secrètes. Au lieu d'envoyer leurs recettes réelles à une cuisine centrale, chacun entraîne sa propre version du plat dans sa cuisine personnelle et n'envoie que les leçons apprises (les « poids » ou ajustements) à un chef central. C'est l'Apprentissage Fédéré (FL). C'est une manière d'apprendre de façon collaborative sans jamais partager les ingrédients bruts (vos données privées).

Cependant, il existe un danger caché : même si vous ne partagez pas la recette, le chef pourrait mémoriser accidentellement vos ingrédients spécifiques et commencer à les réciter plus tard lorsqu'on lui demandera de cuisiner autre chose. Cela s'appelle la mémorisation.

Cet article est comme un nouveau « détective de la vie privée » qui enquête sur le fait que cette mémorisation accidentelle se produit dans l'Apprentissage Fédéré, et sur la façon dont elle diffère de l'ancienne méthode d'apprentissage (où tout le monde partageait ses recettes dans un seul grand chaudron).

Voici le détail de leur enquête utilisant des analogies simples :

1. Le Vieux Détective vs Le Nouveau Détective

L'Ancienne Méthode (Apprentissage Centralisé) : Auparavant, les chercheurs vérifiaient si un modèle mémorisait des données en demandant : « Si je vous donne cette phrase spécifique (l'invite), réciteriez-vous cette phrase exacte (la réponse) ? » Ils supposaient que l'invite et la réponse devaient provenir de la même recette originale.
Le Nouveau Problème (Apprentissage Fédéré) : Dans le scénario des « amis timides », un ami pourrait poser une question au chef basée sur sa recette, et le chef pourrait accidentellement répondre avec un détail de la recette secrète d'un autre ami. Le vieux détective a manqué cela car il ne regardait qu'une seule recette à la fois.
Le Nouveau Cadre : Les auteurs ont construit un nouvel outil qui vérifie la mémorisation inter-client. Ils demandent : « Si l'ami A donne une invite, le modèle révèle-t-il accidentellement un secret de l'ami B ? »

2. L'Enquête : Qu'ont-ils Découvert ?

Les chercheurs ont mis en place une simulation avec quatre « tâches de cuisine » différentes (Résumer, Discuter, Répondre à des Questions, et Classifier) et trois « amis » (clients) avec des ensembles de données différents. Ils ont utilisé un « détecteur de plagiat » (un outil qui vérifie si un texte est copié, paraphrasé ou s'il partage simplement la même idée) pour voir si le modèle fuyait des secrets.

Découverte Clé A : Le Biais « Domicile »
Le modèle était beaucoup plus susceptible de divulguer les propres secrets d'un ami à ce même ami (Intra-client) que de divulguer les secrets de l'ami A à l'ami B (Inter-client).

Analogie : Si vous demandez au chef à propos de votre propre recette de famille, il pourrait accidentellement réciter un détail de vos propres notes. Mais si vous demandez à propos de votre recette, il est moins susceptible de révéler accidentellement un secret de la recette de votre voisin. Cependant, le secret du voisin a tout de même été divulgué, juste moins souvent.

Découverte Clé B : Le Piège de la « Courte Invite »
Ils ont constaté que la longueur de la question (le « préfixe ») comptait beaucoup.

Analogie : Si vous donnez au chef une invite très courte et vague (comme « Parlez-moi de la soupe »), le modèle est plus susceptible de saisir un détail mémorisé aléatoire dans les données d'entraînement pour combler les blancs. Si vous donnez une invite longue et détaillée, le modèle a plus de contexte pour travailler et s'appuie moins sur des fragments mémorisés.
Résultat : Invites plus courtes = Plus de mémorisation.

Découverte Clé C : Le « Style de Cuisine » Compte
La manière dont le modèle « décide » quel mot dire ensuite (la stratégie de décodage) changeait les résultats.

Analogie : Certains styles de cuisine sont plus « créatifs » et risqués. L'utilisation de certaines méthodes (comme le décodage « top-p » ou « top-k ») rendait le modèle plus susceptible de réciter des secrets mémorisés, de la même manière qu'un chef qui essaie d'être trop créatif pourrait accidentellement utiliser un ingrédient du garde-manger du voisin.

Découverte Clé D : Le Type de « Recette » Compte
Ils ont remarqué que certains types de tâches étaient sûrs, tandis que d'autres étaient risqués.

La Zone Sûre : Dans la tâche de « Classification » (où la réponse est juste un seul mot comme « Oui » ou « Non »), le modèle ne mémorisait rien.
Pourquoi ? Le « détecteur de plagiat » a besoin d'une certaine quantité de texte pour fonctionner. Si le modèle ne génère qu'un seul mot, le détecteur ne peut pas trouver de correspondance. C'est comme essayer d'attraper un voleur qui ne vole qu'un seul grain de riz ; la caméra de sécurité (le détecteur) n'est pas assez sensible pour le voir.

Découverte Clé E : Le Choix de l'« Algorithme »
Ils ont testé deux façons différentes dont les amis pourraient partager leurs leçons (FedAvg vs FedProx).

Résultat : Une méthode (FedProx) a fait en sorte que le modèle mémorise plus de secrets que l'autre. C'est comme un groupe d'amis qui partage ses notes de manière plus agressive, entraînant plus de fuites accidentelles.

3. Ce Qu'ils N'ont Pas Trouvé

Taille du Modèle : Rendre le chef plus intelligent (en utilisant un modèle plus grand) n'a pas clairement fait mémoriser plus ou moins.
Tours de Pratique : Le fait que les amis s'entraînent plus de fois (plus de tours de communication) n'a pas montré de modèle clair d'augmentation ou de diminution de la mémorisation.

Le Bilan

L'article conclut que l'Apprentissage Fédéré n'est pas un bouclier magique contre la mémorisation. Même si les données brutes ne sont pas partagées, le modèle apprend tout de même à « se souvenir » de détails spécifiques des données d'entraînement.

Il se souvient de vos propres données plus que des données des autres, mais il se souvient aussi des données des autres.
Les questions courtes et certains paramètres « créatifs » aggravent cette fuite.
La façon dont les amis partagent leurs leçons (l'algorithme) change la quantité fuite.

Les auteurs mettent en garde : le simple fait de ne pas partager les données brutes ne signifie pas que le modèle ne conserve pas nos secrets. Ils ont publié leur « outil de détective » (code) afin que d'autres puissent vérifier ces fuites dans leurs propres systèmes.

Résumé technique : Exploration de la mémorisation inter-client des données d'entraînement dans les grands modèles de langage pour l'apprentissage fédéré

Énoncé du problème

L'apprentissage fédéré (FL) permet l'entraînement collaboratif de grands modèles de langage (LLM) sans partager les données brutes, visant à préserver la vie privée. Cependant, le FL n'élimine pas le risque de mémorisation, où les modèles encodent et reproduisent involontairement des données d'entraînement sensibles. Les techniques de détection existantes pour le FL reposent principalement sur l'injection de balises (intégration de phrases hors distribution) ou se concentrent sur la mémorisation littérale au sein d'un seul échantillon. Ces approches échouent à capturer la mémorisation inter-échantillons, où un modèle pourrait reproduire un suffixe d'un échantillon d'entraînement lorsqu'il est sollicité avec un préfixe provenant d'un échantillon différent. Dans le contexte du FL, ce risque s'étend à la mémorisation inter-client, où un préfixe d'un client pourrait déclencher la génération d'un suffixe privé d'un autre client. Les méthodes actuelles pour mesurer la mémorisation inter-échantillons dans l'apprentissage centralisé (CL) supposent un accès centralisé aux données et ne peuvent pas être directement appliquées au contexte décentralisé du FL.

Méthodologie

Les auteurs proposent un cadre pour quantifier la mémorisation intra-client (au sein du même client) et inter-client (à travers différents clients) dans le FL en adaptant des techniques de mesure fine inter-échantillons issues du CL.

Conception du cadre

Définition de la mémorisation : L'article généralise la définition de la mémorisation en distribution au FL. Un préfixe $p_j$ provenant du client $C_j$ induit la mémorisation des données du client $C_k$ si le modèle $M(p_j)$ génère un texte suffisamment similaire à un suffixe $s_k$ de $C_k$ , déterminé par une fonction discriminative $F$ .
Mesure par paires : Le cadre calcule un ratio de mémorisation par paires ( $MR_{j \to k}$ $M R_{j \to k}$ ), représentant la fraction de préfixes de $C_j$ $C_{j}$ qui déclenchent la mémorisation de suffixes de $C_k$ $C_{k}$ .
- Intra-client ( $MR_{Intra}$ ) : Ratio moyen où $j=k$ .
- Inter-client ( $MR_{Inter}$ ) : Ratio moyen où $j \neq k$ .
Processus d'estimation :
- Échantillonnage : De petits sous-ensembles de préfixes ( $\tilde{P}_j$ ) et de suffixes ( $\tilde{S}_k$ ) sont échantillonnés auprès des clients.
- Génération : Le modèle génère du texte $M(\tilde{p})$ pour chaque préfixe échantillonné.
- Récupération : Les textes générés sont interrogés contre l'ensemble de suffixes $\tilde{S}_k$ en utilisant Elasticsearch pour récupérer les $n'$ suffixes les plus similaires.
- Détection de similarité : Le détecteur de plagiat PAN2014 est utilisé comme fonction discriminative $F$ . Il évalue la similarité à trois niveaux de granularité : littérale, paraphrasée et au niveau de l'idée.
- Calcul : Si l'un des $n'$ suffixes supérieurs correspond au texte généré selon n'importe quelle granularité, le préfixe est compté comme induisant une mémorisation.

Configuration expérimentale

Ensembles de données : Quatre tâches ont été évaluées : Résumé (ArxivAbstract), Dialogue (MedDialog), Réponse à des questions (PubMedQA) et Classification (PubMed 200k RCT). Les données ont été partitionnées de manière non-IID à travers trois clients par tâche.
Modèles : Les expériences principales ont utilisé Qwen2.5-3B, avec des résultats complémentaires pour Llama3.2-3B et GPT-2.
Variables : L'étude a analysé l'impact des stratégies de décodage (température, top-k, top-p), des longueurs de préfixe (10, 30, 50, 100 jetons), des algorithmes fédérés (FedAvg, FedProx), des tailles de modèles et des rounds de communication.

Contributions clés

Formulation du problème : Les auteurs formulent le défi de la détection de la mémorisation subtile et inter-échantillons dans le FL en adaptant les méthodes d'évaluation du CL.
Cadre novateur : Ils ont conçu un cadre capable de mesurer la mémorisation intra- et inter-client dans le FL, permettant la quantification des fuites de confidentialité entre clients.
Insights empiriques : Grâce à des études d'ablation extensives, l'article identifie des facteurs spécifiques influençant les taux de mémorisation dans les environnements FL.

Résultats et constatations

Existence de la mémorisation : Les modèles FL mémorisent effectivement les données d'entraînement. Crucialement, la mémorisation intra-client ( $MR_{Intra}$ ) est constamment supérieure à la mémorisation inter-client ( $MR_{Inter}$ ) pour toutes les tâches évaluées (Résumé, Dialogue, QA).
Comportement spécifique à la tâche : La tâche de Classification a montré 0,000 % de mémorisation pour les scénarios intra- et inter-client. L'analyse a révélé que cela est dû à la courte longueur des sorties générées dans les tâches de classification, qui tombent souvent en dessous du seuil de correspondance minimum (50 caractères) requis par le détecteur PAN2014.
FL vs CL : Contrairement à certains travaux antérieurs suggérant que le FL réduit la mémorisation, cette étude n'a trouvé aucune tendance claire indiquant que le FL entraîne une mémorisation plus faible que le CL lors de la mesure de données en distribution. Les ratios totaux de mémorisation ($MRTotal$) étaient comparables entre les configurations CL et FL.
Facteurs d'influence :
- Stratégie de décodage : Des stratégies sophistiquées comme le décodage top-k et top-p ont tendance à augmenter la mémorisation par rapport au décodage par température.
- Longueur du préfixe : Les préfixes plus courts induisent généralement des taux de mémorisation plus élevés.
- Algorithme fédéré : FedProx a entraîné des taux de mémorisation plus élevés que FedAvg et a été le seul algorithme à induire une mémorisation dans la tâche de Classification.
- Caractéristiques des suffixes : Certains groupes d'ensembles de données (par exemple, le Groupe 3 dans la tâche de Dialogue) étaient plus susceptibles à la mémorisation que d'autres, suggérant que les propriétés des ensembles de données jouent un rôle.
- Taille du modèle et rounds : Aucune corrélation claire n'a été observée entre la taille du modèle ou le nombre de rounds de communication et les taux de mémorisation.

Importance et affirmations

L'article prétend combler le fossé entre l'évaluation de la mémorisation centralisée et l'apprentissage fédéré en fournissant une méthode pour mesurer les fuites inter-client. L'importance principale réside dans la démonstration que le FL n'élimine pas intrinsèquement les risques de mémorisation ; les modèles encodent toujours des données privées, en particulier au sein de la distribution d'un même client.

Les auteurs soulignent que si les fuites inter-client constituent une violation directe de la vie privée, les fuites intra-client (exposant des dommages) présentent également des risques si les préfixes sont publics. Les résultats suggèrent que les mécanismes de préservation de la vie privée dans le FL doivent prendre en compte la mémorisation inter-échantillons en distribution, et pas seulement l'extraction littérale. L'étude conclut que des facteurs tels que les stratégies de décodage, la longueur des préfixes et le choix de l'algorithme fédéré influencent considérablement la mémorisation, nécessitant une configuration prudente pour atténuer les risques de confidentialité dans l'entraînement décentralisé de LLM.

Les auteurs notent modestement des limitations, notamment la dépendance au détecteur PAN2014 (qui peut mal classifier des sorties incohérentes) et la restriction au texte anglais. Ils identifient également l'explication théorique de la raison pour laquelle la mémorisation intra-client dépasse la mémorisation inter-client comme une direction pour les recherches futures.