🤖 machine learning

Dataset Watermarking for Closed LLMs with Provable Detection

Cet article présente la première méthode de filigrane de jeu de données prouvable pour les grands modèles de langage fermés, qui intègre des signaux détectables en augmentant la fréquence de co-occurrence de paires de mots sélectionnées aléatoirement et les identifie avec succès dans les sorties du modèle même lorsque les données filigranées ne représentent que 1 % des tokens de fine-tuning, tout en préservant l'utilité du jeu de données.

Auteurs originaux : Pengrun Huang, Kamalika Chaudhuri, Yu-Xiang Wang

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pengrun Huang, Kamalika Chaudhuri, Yu-Xiang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un boulanger ayant passé des années à perfectionner une recette de famille secrète pour un gâteau spécial. Vous décidez de partager cette recette avec le monde afin que d'autres puissent en apprendre. Cependant, vous craignez qu'une grande chaîne de boulangeries fancy ne s'empare de votre recette secrète, ne l'incorpore à son propre pétrin massif, puis prétende que son nouveau gâteau est entièrement son invention. Pire, ils pourraient même utiliser votre recette pour rendre leurs gâteaux « meilleurs » de manières spécifiques, trompant les juges en les faisant croire que leur chaîne est la meilleure au monde.

Ce papier présente un « tag d'ingrédient » intelligent et invisible qui vous permet de prouver que votre recette a été utilisée, même si la chaîne de boulangeries refuse de vous montrer ses bols à mélanger ou ses livres de recettes.

Voici comment la méthode du papier fonctionne, décomposée en concepts simples :

Le Problème : La Boulangerie « Boîte Noire »

Dans le monde de l'IA, les entreprises construisent d'énormes « modèles de langage » (comme des chatbots intelligents) en les nourrissant de quantités massives de texte. Parfois, elles utilisent accidentellement ou intentionnellement des ensembles de données spécifiques (comme des questions d'examen ou des articles propriétaires) pour entraîner ces modèles. Cela s'appelle la « contamination ».

Le problème est que la plupart de ces modèles sont des Boîtes Fermées. Vous pouvez leur parler (poser des questions), mais vous ne pouvez pas voir à l'intérieur de leur cerveau pour observer comment ils traitent l'information. Les méthodes précédentes pour attraper les tricheurs nécessitaient d'espionner les « logits » internes du modèle (son mathématique interne), ce qui est impossible pour les modèles fermés.

La Solution : Le Tag « Paire de Mots Secrets »

Les auteurs proposent une nouvelle façon de marquer un filigrane un ensemble de données avant même sa publication. Pensez-y ainsi :

Le Code Secret : Avant de publier un ensemble de données, le propriétaire choisit une liste aléatoire de paires de mots qui ne vont pas habituellement ensemble souvent dans une conversation normale (par exemple, « magnésium » et « parapluie »).
Le Reformulage : Ils utilisent une IA pour réécrire l'ensemble de données. Le but n'est pas de changer le sens des phrases, mais de faire en sorte que ces paires de mots spécifiques apparaissent ensemble légèrement plus souvent qu'elles ne le feraient naturellement. C'est comme arranger subtilement les ingrédients de la recette pour que « magnésium » et « parapluie » apparaissent dans le même paragraphe quelques fois de plus.
Le Signal Invisible : Pour un lecteur humain, le texte semble normal. Mais statistiquement, ces paires de mots spécifiques sont désormais « collantes » dans cet ensemble de données.

La Détection : Le « Test de Dégustation »

Plus tard, si une entreprise prétend avoir entraîné son modèle uniquement sur ses propres données, vous pouvez la tester :

La Requête : Vous demandez au modèle de générer un tas de texte (comme lui demander d'écrire une histoire ou de répondre à des questions).
Le Comptage : Vous vérifiez le texte généré pour voir si ces paires de mots « collantes » (magnésium + parapluie) apparaissent ensemble plus souvent qu'elles ne le devraient par pur hasard.
Le Verdict : Si le modèle utilise les données marquées, ces paires de mots apparaîtront ensemble fréquemment. Si le modèle n'a pas utilisé vos données, les paires de mots seront dispersées au hasard.

Le papier prouve mathématiquement que si vous voyez ce motif, c'est presque certainement parce que le modèle a été entraîné sur votre ensemble de données spécifique, et non à cause d'une chance aléatoire.

Pourquoi C'est Important

Le papier met en avant trois avantages majeurs :

Cela Fonctionne sur les Modèles Fermés : Vous n'avez pas besoin de voir le code interne du modèle. Vous avez juste besoin de lui parler comme un utilisateur normal. C'est comme détecter un ingrédient secret simplement en goûtant le gâteau, sans avoir besoin de voir la cuisine.
C'est Résilient (Le Test de « Dilution ») : Imaginez que la boulangerie mélange votre recette avec 99 autres recettes. Le papier montre que même si votre ensemble de données marqué ne représente que 1 % des données d'entraînement totales, les paires de mots « collantes » sont toujours détectables. Le signal est assez fort pour survivre à être noyé par un océan massif d'autres données.
Cela Survit à l'Édition : Si la boulangerie tente de « nettoyer » la recette en supprimant des mots au hasard, en échangeant des synonymes ou en ajoutant des émojis, le signal survit généralement. D'autres méthodes qui reposent sur de minuscules changements spécifiques à des mots individuels se brisent facilement lorsque le texte est édité, mais cette méthode de « paire de mots » est plus robuste.

Est-ce que Cela Gâche le Gâteau ?

Une préoccupation majeure concernant le filigrane est : « Est-ce que cela change tellement les données qu'elles ne sont plus utiles pour tester l'IA ? »

Les auteurs l'ont testé de manière extensive. Ils ont constaté que :

Le Sens Reste : Le texte réécrit signifie toujours la même chose que l'original.
Le Test Fonctionne Toujours : Si vous utilisez cet ensemble de données marqué pour tester l'intelligence d'une IA, l'IA obtient toujours les mêmes scores que si elle avait été testée avec le texte original. Le « classement » de l'IA la plus intelligente ne change pas.
C'est Mieux que les Alternatives : Comparé à d'autres méthodes de filigrane qui réécrivent des phrases entières (ce qui peut rendre le texte robotique), cette méthode effectue des modifications plus petites et localisées, gardant le texte naturel à la vue et au toucher.

Les Limites

Le papier est honnête sur ce qu'il ne peut pas faire :

Pas de Voyage dans le Temps : Vous devez appliquer ce filigrane avant de publier les données. Vous ne pouvez pas revenir en arrière et marquer un filigrane un ensemble de données qui a déjà été publié il y a des années.
Pas un Bouclier : C'est un outil pour détecter le vol ou la contamination après coup, pas un bouclier pour empêcher que cela se produise dès le départ.
Échelle d'Entraînement : Les tests ont été effectués sur le « fine-tuning » (enseigner une compétence spécifique à un modèle), ce qui est une échelle plus petite que la phase massive de « pré-entraînement » où les modèles apprennent tout. Détecter la contamination dans cette phase massive de pré-entraînement reste un défi ouvert.

En bref, ce papier offre une « empreinte digitale » statistique qui permet aux propriétaires de données de prouver que leur travail a été utilisé pour entraîner un modèle d'IA fermé, même si ce modèle tente de cacher les preuves.

Résumé Technique : Filigrane de Jeux de Données pour LLM Fermés avec Détection Prouvable

Formulation du Problème

Les grands modèles de langage (LLM) sont fréquemment entraînés sur d'immenses jeux de données faiblement curatés, qui peuvent inclure par inadvertance des données propriétaires ou des benchmarks d'évaluation. Ce phénomène, souvent exacerbé par le « benchmaxxing » (optimisation des performances sur les benchmarks durant le post-entraînement), soulève des préoccupations concernant la contamination des données et la fiabilité des évaluations de modèles. Bien que des travaux récents aient exploré le filigrane de jeux de données — l'incorporation de signaux détectables dans les jeux de données avant leur publication afin d'auditer leur utilisation dans l'entraînement de modèles — les méthodes existantes souffrent de deux limitations critiques :

Exigences d'Accès : Les approches antérieures (par exemple, STAMP, Radioactive) reposent sur un accès au modèle ouvert, nécessitant une visibilité sur les internals du modèle tels que les log-probabilités, les distributions du prochain token ou les scores de perplexité. Elles sont inefficaces face à un accès au modèle fermé (API boîte noire), qui est la norme pour la plupart des chatbots commerciaux.
Absence de Garanties Théoriques : Les méthodes existantes manquent souvent de bornes théoriques rigoureuses et sans hypothèse de distribution sur le taux de faux positifs (FPR) de la détection.

Ce papier adresse le problème de la détection de l'utilisation d'un jeu de données spécifique pour l'entraînement d'un LLM cible, étant donné uniquement un accès API boîte noire aux sorties du modèle, tout en fournissant des garanties statistiques prouvables sur la fiabilité de la détection.

Méthodologie

Le cadre proposé opère en deux étapes : Incorporation et Détection. L'intuition centrale exploite la tendance connue des modèles d'apprentissage profond à mémoriser des caractéristiques spuriaires et des corrélations statistiques présentes dans les données d'entraînement.

1. Étape d'Incorporation (Injection du Filigrane)

Le propriétaire des données reformule le jeu de données pour injecter un signal statistique détectable sans altérer l'utilité du jeu de données :

Génération de Clé Secrète : Une clé secrète ($sk$) est formée en échantillonnant aléatoirement un ensemble de paires de mots dans le vocabulaire du jeu de données.
Construction de Variantes Lexicales : Pour chaque mot de la clé, un ensemble de variantes lexicales (synonymes, termes co-occurrents) est généré.
Reformulation pour Co-occurrence : Le jeu de données est reformulé à l'aide d'un LLM (par exemple, ChatGPT) pour augmenter la fréquence de co-occurrence des paires de mots sélectionnées.
- Les échantillons contenant des variantes des deux mots d'une paire sont conservés ou renforcés.
- Les échantillons contenant un mot mais pas son paire sont modifiés pour inclure la paire.
- Crucialement, la co-occurrence est définie au niveau de l'échantillon ; les mots n'ont pas besoin d'être consécutifs, seulement présents au sein du même échantillon.
  Ce processus introduit des corrélations artificielles contrôlées, peu susceptibles de survenir naturellement dans des données non filigranées.

2. Étape de Détection (Test Statistique)

Étant donné un modèle cible $M$ et la clé secrète $sk$, l'auditeur interroge le modèle pour générer du texte et analyse les statistiques de co-occurrence des paires de mots.

Mesure de Corrélation : La méthode calcule la corrélation de Pearson entre des variables indicatrices pour la présence de paires de mots dans le texte généré.
Calcul de Déviation : Elle calcule la déviation ( $A_{w_i, w_j}$ ) entre le comportement de co-occurrence dans la sortie du modèle et un jeu de données de référence (non filigrané).
Score de Détection : Un score est calculé en comparant la fraction de paires de clés secrètes dépassant un seuil de déviation $\tau$ à la fraction de paires non-clés dépassant le même seuil.
Règle de Décision : Si le score de détection dépasse un seuil $t$ , la présence du filigrane est déclarée.

Garanties Théoriques

Le papier fournit une borne supérieure sans hypothèse de distribution et agnostique au modèle sur le taux de faux positifs (FPR).

Théorème 4.1 : Sous l'hypothèse nulle (le modèle n'a pas été entraîné sur les données filigranées), la probabilité d'un faux positif est bornée par $e^{-2t'^2d}$ , où $d$ est la taille de la clé secrète et $t'$ est une fonction du seuil de détection.
Cette garantie s'applique à toute architecture LLM fixe ou procédure d'entraînement, ne nécessitant aucune hypothèse sur la distribution sous-jacente des données ou les internals du modèle.

Contributions Clés

Premier Filigrane de Jeux de Données pour Modèle Fermé : Les auteurs introduisent la première méthode de filigrane de jeux de données capable de détecter l'utilisation de données d'entraînement en utilisant uniquement un accès API boîte noire, éliminant le besoin de log-probabilités ou d'états internes du modèle.
Détection Prouvable : La méthode offre des garanties théoriques sur le taux de faux positifs qui sont indépendantes de l'architecture du modèle ou de la distribution des données.
Robustesse dans les Mélanges de Données : L'approche reste efficace même lorsque le jeu de données filigrané ne constitue qu'une petite fraction (environ 1 %) des tokens de fine-tuning totaux.
Préservation de l'Utilité : Le processus de filigranage maintient l'intégrité sémantique et l'utilité des jeux de données de benchmark, garantissant qu'ils restent valides pour l'évaluation des modèles.

Résultats Expérimentaux

La méthode a été évaluée sur LLaMA-3-8B et Gemma-2-2B à travers trois benchmarks : MMLU, ARC-easy et ARC-challenge.

Configuration Vanilla : La méthode a obtenu une détection statistiquement significative ( $p < 0.01$ ) sur tous les modèles et jeux de données. En revanche, la baseline « Radioactive » n'a pas produit de signaux significatifs sous accès au modèle fermé ( $p \approx 0.2\text{--}0.3$ ).
Contamination Partielle (Mélange de Données) : La méthode a détecté avec succès les filigranes lorsque les données filigranées ne représentaient que 1,1 %–1,3 % des tokens de fine-tuning totaux. À un ratio plus extrême de 0,5 %, LLaMA-3-8B a maintenu une détection significative, tandis que Gemma-2-2B a montré une sensibilité réduite, suggérant que les modèles plus grands pourraient mieux conserver les signaux statistiques injectés.
Robustesse aux Modifications : Le filigrane a démontré une robustesse supérieure face aux modifications légères de texte (suppression aléatoire, substitution de synonymes, insertion d'emojis) par rapport aux baselines. Alors que des baselines comme Radioactive ont vu leurs valeurs p augmenter au-delà des seuils de significativité après 20 % de modification, la méthode proposée a maintenu de faibles valeurs p.
Préservation de l'Utilité :
- Performance des Benchmarks : Les modèles évalués sur des jeux de données filigranés ont montré des performances comparables à ceux sur les jeux de données originaux, préservant le classement relatif des modèles.
- Similarité Sémantique : Les jeux de données reformulés ont maintenu une haute similarité sémantique (scores SBERT) avec les originaux.
- Chevauchement Lexical : La méthode proposée a atteint un chevauchement n-gramme significativement plus élevé (3-gramme, 4-gramme) par rapport au filigranage basé sur KGW, indiquant une réécriture moins agressive.

Signification et Limites

Le papier positionne ce travail comme un outil pour l'audit de l'utilisation des jeux de données, permettant aux fournisseurs de données de vérifier si leurs données propriétaires ou de benchmark ont été incorporées dans l'entraînement de modèles via des requêtes boîte noire.

Limites reconnues par les auteurs :

Exigence Proactive : La méthode nécessite de reformuler le jeu de données avant sa publication ; elle ne peut pas être appliquée rétroactivement à des jeux de données déjà publiés et non filigranés.
Robustesse Adversariale : La méthode n'est pas conçue pour résister à des transformations entièrement adversariales destinées à éliminer les signaux statistiques, car des garanties de filigranage fortes sont théoriquement impossibles sous une réécriture arbitraire.
Portée de l'Évaluation : Les expériences étaient limitées à l'étape de post-entraînement (fine-tuning). Évaluer l'efficacité à l'échelle du pré-entraînement reste un problème ouvert en raison des contraintes computationnelles.

En conclusion, ce travail établit un nouveau paradigme pour le filigranage de jeux de données compatible avec l'écosystème des modèles fermés, offrant des capacités de détection prouvables tout en préservant l'utilité des benchmarks sous-jacents.