💬 NLP

LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs

Cet article introduit PropMe et SimpleTrace pour démontrer que si les grands modèles de langage possèdent la capacité de reproduire des données d'entraînement sous des attaques adverses, ils présentent une propension nettement plus faible à le faire dans des contextes ordinaires et non adverses, suggérant que les audits de mémorisation devraient rapporter à la fois l'extractibilité dans le pire des cas et la propension typique à la fuite.

Auteurs originaux : Gianluca Barmina, Peter Schneider-Kamp, Lukas Galke Poech

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gianluca Barmina, Peter Schneider-Kamp, Lukas Galke Poech

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un étudiant hyper-obsessif qui aurait lu une bibliothèque entière de livres et en aurait mémorisé d'énormes pans.

Pendant longtemps, les chercheurs se sont demandé : « Est-ce que cet étudiant peut réciter un livre si on le piège pour qu'il le fasse ? » La réponse était toujours « Oui ». Mais cet article pose une question différente, plus pratique : « Cet étudiant a-t-il réellement envie de réciter le livre quand on lui pose simplement une question normale ? »

Voici une décomposition des conclusions de l'article en utilisant des analogies simples.

1. Les deux façons de tester l'étudiant

Les auteurs ont créé un nouveau cadre de test appelé PROPME pour observer la mémorisation sous deux angles différents :

Le test de « Capacité » (L'attaque adverse) : Imaginez un détective tendant au étudiant la première phrase d'un roman célèbre en lui disant : « Termine cette histoire. » Comme l'étudiant a le livre mémorisé, il peut facilement terminer la phrase parfaitement. Cela teste ce que le modèle peut faire s'il est poussé.
Le test de « Propension » (L'usage ordinaire) : Imaginez poser une question normale à l'étudiant, du type : « Écris une histoire sur un chat. » La question n'est pas conçue pour le piéger. Cela teste ce que le modèle fait réellement dans la vie de tous les jours.

La grande découverte : L'article a révélé un écart massif entre ces deux points. L'étudiant peut réciter le livre si vous lui donnez l'indice approprié (Capacité), mais il ne le fait presque jamais lorsqu'on lui demande simplement d'écrire une histoire (Propension).

2. Le nouvel outil : SIMPLETRACE

Pour prouver cela, les auteurs ont construit un outil appelé SIMPLETRACE.

L'analogie : Considérez les données d'entraînement comme un immense entrepôt poussiéreux contenant des millions de documents. Lorsque le modèle génère du texte, SIMPLETRACE est comme un bibliothécaire super rapide qui vérifie instantanément chaque mot que le modèle prononce par rapport à l'entrepôt entier.
Ce qu'il fait : Il ne devine pas ; il trouve des correspondances exactes. Il peut vous dire : « Cette phrase que le modèle vient d'écrire est une copie parfaite de la page 42 du Document n°892 de l'entrepôt. » Cela élimine toute incertitude et toute ambiguïté.

3. Les expériences : Deux étudiants, deux bibliothèques

Les chercheurs ont testé deux modèles (étudiants) sur deux ensembles de données différents (bibliothèques) :

Comma : Un modèle entraîné sur une immense bibliothèque anglaise.
DFM Decoder : Un modèle qui était initialement Comma, mais qui a ensuite été « ré-entraîné » sur une plus petite bibliothèque danoise (Dynaword) mélangée à un peu d'anglais.

Ils ont demandé aux deux modèles de générer du texte en utilisant trois types de prompts :

Générique : « Raconte-moi une blague. » (Normal)
Spécifique : « Raconte-moi une blague sur la culture danoise. » (Légèrement ciblé, mais pas un piège)
Préfixe : « Voici le début d'une blague de la bibliothèque : [Exact les 50 premiers mots d'une vraie blague]. Termine-la. » (Le piège)

4. Ce qu'ils ont trouvé

Le « Piège » fonctionne le mieux : Lorsqu'ils ont utilisé le piège du « Préfixe », les modèles ont divulgué des données d'entraînement fréquemment. Ils pouvaient réciter de longs segments exacts des livres.
La vie normale est sûre : Lorsqu'ils utilisaient des prompts normaux (Générique ou Spécifique), les modèles ne divulgaient presque jamais le texte exact. La « propension » (la probabilité de fuite) était très faible.
L'effet de « Ré-entraînement » : Le second modèle (DFM Decoder), qui a été ré-entraîné sur une nouvelle langue (le danois), est devenu en fait moins bon pour divulger les livres anglais originaux. C'est comme si l'étudiant était devenu si occupé à étudier la nouvelle bibliothèque danoise qu'il avait commencé à oublier les détails spécifiques de l'ancienne bibliothèque anglaise.

5. La conclusion principale

L'article soutient que nous devons arrêter de regarder uniquement le « pire scénario possible » (ce que le modèle peut faire s'il est piégé). C'est comme dire qu'une voiture est dangereuse simplement parce qu'elle peut rouler dans le ravin si on la dirige vers celui-ci.

Au lieu de cela, nous devons mesurer le « risque ordinaire » (ce que le modèle fait lorsqu'il est conduit normalement).

Les audits actuels : Vérifient principalement si le modèle peut être piégé.
Les audits proposés : Devraient vérifier à la fois la « piégeabilité » et la probabilité quotidienne de fuite de données.

En bref : Ces modèles sont comme des étudiants qui ont mémorisé toute la bibliothèque. Si vous leur mettez un pistolet sur la tempe (ou si vous leur donnez un prompt spécifique), ils réciteront le texte. Mais si vous leur demandez simplement de discuter, ils ne le feront généralement pas. L'article suggère que nous devrions mesurer à la fois le risque du « pistolet sur la tempe » et le risque de la « discussion décontractée » pour obtenir une image réelle de la sécurité.

Résumé technique : Une évaluation de la propension à la mémorisation dans les LLM

Énoncé du problème

Il est largement documenté que les grands modèles de langage (LLM) reproduisent les données d'entraînement, y compris des œuvres protégées par le droit d'auteur et des identifiants personnels sensibles. Cependant, les évaluations actuelles de la mémorisation se concentrent principalement sur la capacité : la capacité des modèles à être forcés de reproduire des données d'entraînement via des attaques adverses (ex. : attaques par préfixe, inférence d'appartenance ou requêtes faisant référence à des ressources). Il existe un écart important dans la compréhension de la propension : si les modèles reproduisent naturellement les données d'entraînement dans des conditions d'utilisation ordinaires et non adverses.

La littérature actuelle confond souvent ces deux concepts. Si les évaluations de capacité établissent la limite supérieure de la capacité d'un modèle à divulguer des données, elles peuvent surestimer le risque pratique lors d'un déploiement réel, où les utilisateurs n'emploient pas de techniques d'élicitation adverses. De plus, les études non adverses existantes (ex. : Aerni et al., 2024) sont souvent limitées aux modèles fermés, reposent sur des extraits web plutôt que sur une comparaison directe avec les données d'entraînement, ou ne parviennent pas à contraster l'usage ordinaire avec les contextes adverses, ce qui limite la précision et la portée de leur analyse.

Méthodologie

Les auteurs proposent PROPME, un cadre d'évaluation de la mémorisation sensible à la propension, et SIMPLETRACE, un pipeline de traçage léger.

1. Cadre PROPME

PROPME introduit une approche d'évaluation multiniveau contrastant deux scénarios de prompting distincts :

Paramètres de Propension (Propensity Settings) : Prompts plausibles, ancrés dans le monde réel (Génériques et Spécifiques) présentant un faible chevauchement lexical avec les données d'entraînement. Ceux-ci visent à mesurer la tendance naturelle du modèle à divulguer des données.
Paramètres de Capacité (Capability Settings) : Attaques par préfixe où le modèle est conditionné par les 50 premiers jetons de séquences extraites directement de l'ensemble d'entraînement. Ceux-ci visent à mesurer la capacité maximale du modèle à reproduire le contenu mémorisé.

2. Transformation de la métrique de propension

Pour quantifier la différence entre capacité et propension, les auteurs introduisent une nouvelle transformation de métrique. Étant donné une métrique de base $f_b \in [0, 1]$ (ex. : taux de mémorisation), un paramètre de propension $p$ , et un paramètre de capacité $c$ , la métrique sensible à la propension $PM_{f_b}$ est calculée comme suit :

$PM_{f_b}(M, x) = \frac{1}{2} \left( 1 + \frac{f_b^p(M, x) - f_b^c(M, x)}{f_b^p(M, x) + f_b^c(M, x)} \right)$

(Avec $PM_{f_b} = 0$ si $f_b^p = 0$ ).

Cette transformation produit un score où :

Les scores faibles indiquent une capacité élevée mais une faible propension (le modèle peut divulguer s'il est forcé, mais le fait rarement naturellement).
Les scores élevés indiquent une faible capacité mais une forte propension (le modèle divulgue spontanément même sans élicitation forte).
Les scores neutres (0,5) indiquent un comportement cohérent entre les paramètres.

3. Pipeline SIMPLETRACE

Pour permettre une attribution déterministe des générations du modèle aux corpus d'entraînement, les auteurs ont développé SIMPLETRACE, basé sur le moteur infini-gram. Contrairement aux méthodes de détection probabilistes, SIMPLETRACE effectue une recherche directe sur le corpus d'entraînement. Le pipeline comprend :

Extraction de l'étendue maximale (Maximal Span Extraction) : Itération sur les suffixes d'une génération pour trouver le plus long préfixe verbatim dans le corpus.
Filtrage par rareté des unigrammes (Unigram Rarity Filtering) : Filtrage des correspondances de type "boilerplate" en ne conservant que les segments les plus rares.
Récupération de documents (Document Retrieval) : Récupération des documents sources pour les segments retenus, classification des correspondances en "full raw", "full normalized" ou "partial".
Fusion de segments (Span Merging) : Regroupement des segments chevauchants en segments non redondants.

SIMPLETRACE calcule des métriques telles que l'Étendue Longue Moyenne (ALS), le Ratio de Correspondances Totales des Générations (FMR) et le Rappel Quasi-Verbatim Moyen (NVR).

4. Configuration expérimentale

L'évaluation a été menée sur deux modèles entièrement ouverts et deux jeux de données :

Modèles :
- Comma : Un modèle monolingue anglais pré-entraîné sur le jeu de données Common Pile.
- DFM Decoder : Un modèle issu d'un pré-entraînement continu de Comma sur un mélange de Common Pile et du jeu de données danois Dynaword.
Jeux de données : Common Pile (anglais, ~460B de jetons) et Dynaword (danois, ~6,8B de jetons).
Prompts : Trois ensembles (Générique, Spécifique, Préfixe) comprenant chacune 100 échantillons, générés pour garantir un faible chevauchement pour les paramètres de propension et un chevauchement élevé pour les paramètres de capacité.

Résultats clés

1. Écart entre Capacité et Propension

Un écart constant et substantiel existe entre la capacité de mémorisation et la propension.

Les attaques par préfixe ont suscité des signaux de mémorisation nettement plus forts que les prompts génériques ou spécifiques sur tous les modèles et jeux de données. Par exemple, sur le DFM Decoder avec Dynaword, le Rappel Quasi-Verbatim (NVR) sous attaque par préfixe était de 0,036, contre 0,001 pour les prompts génériques (une différence de 36x).
Les scores de propension sont restés globalement bas. Même lorsque les modèles démontraient la capacité de reproduire des données sous élicitation adverse, ils le faisaient rarement dans des conditions de prompting ordinaire.

2. Impact du pré-entraînement continu

L'étude a observé que le pré-entraînement continu peut réduire la mémorisation des données antérieures.

DFM Decoder vs Comma : Le DFM Decoder, qui a subi un entraînement continu sur un mélange incluant Dynaword, a présenté une mémorisation réduite du corpus original Common Pile par rapport à son modèle parent, Comma.
Décalage de métrique : Alors que la propension verbatim a chuté de manière significative (de 0,5 à 0,0 en FMR), la propension quasi-verbatim a connu une augmentation plus faible, suggérant un passage d'une mémorisation verbatim forte à des motifs quasi-verbatim plus faibles.
Stabilité : Les profils de mémorisation sont restés stables à travers les trois étapes d'entraînement du DFM Decoder, indiquant que la composition du mélange de données (deux tiers Dynaword, un tiers Common Pile) atténue progressivement l'accessibilité du contenu de Common Pile sans augmenter davantage la mémorisation du nouveau corpus.

3. Caractéristiques des jeux de données

Common Pile (Anglais) : La mémorisation s'est manifestée par des fragments verbatim localisés plus longs (ALS élevé).
Dynaword (Danois) : La mémorisation a produit des segments plus courts mais a occasionnellement abouti à des reproductions complètes au niveau de la génération (FMR élevé sous attaque par préfixe).

Signification et revendications

L'article soutient que les audits de mémorisation doivent rapporter à la fois la extractibilité dans le pire des cas (capacité) et la propension de fuite ordinaire pour fournir une vue complète du comportement du modèle.

Évaluation des risques : Se fier uniquement aux évaluations de capacité (attaques par préfixe) surestime le risque pratique de fuite de données dans des scénarios réels. Inversement, se fier uniquement à la propension pourrait occulter la capacité latente d'un modèle à divulguer des données si un adversaire le cible.
Conformité légale et éthique : Les auteurs soulignent que des cadres tels que le RGPD et l'IA Act de l'UE exigent des tests réguliers des mesures de sécurité et de gestion des risques. L'évaluation de la propension lors d'un usage ordinaire fournit des preuves des risques de fuite prévisibles, soutenant ainsi les efforts de conformité.
Dynamique d'entraînement : Les résultats confirment que la capacité de mémorisation n'est pas statique ; elle peut diminuer lorsque les entraînements ultérieurs mettent l'accent sur des données partiellement différentes, suggérant que la composition du mélange de données est un facteur critique pour gérer les risques de mémorisation.

Les auteurs concluent que bien que les modèles puissent révéler des données d'entraînement lorsqu'ils sont directement sollicités, ils le font rarement dans les contextes courants non adverses, et qu'une évaluation sensible à la propension est essentielle pour une compréhension nuancée de ce phénomène.