💬 NLP

TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection

TextSeal est un schéma de tatouage d'LLM de pointe et sans distorsion qui garantit une détection robuste de la provenance et une protection contre la distillation grâce à une génération de double clé et une localisation multi-régions, tout en maintenant la qualité de la sortie et en prenant en charge des optimisations de service sans surcharge d'inférence.

Auteurs originaux : Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre Fernandez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un boulanger qui fabrique chaque jour des milliers de délicieux pains. Vous voulez savoir si un pain dans un épicerie a été cuit par vous, ou si quelqu'un d'autre a copié votre recette et l'a cuit lui-même. Mais voici le hic : vous ne pouvez pas simplement apposer un tampon « Fabriqué par le boulanger Tom » sur le pain, car cela gâcherait le goût et la texture. Vous avez besoin d'un ingrédient secret invisible pour la langue humaine, mais qui laisse une empreinte digitale unique et détectable pour votre scanner spécial.

C'est exactement le problème que TextSeal résout pour les grands modèles de langage (IA). Il s'agit d'une nouvelle « filigrane invisible » haute technologie qui prouve qui a écrit un texte sans modifier son apparence ni sa sonorité.

Voici comment TextSeal fonctionne, décomposé en concepts simples :

1. L'ingrédient secret (Génération à double clé)

Les filigranes plus anciens étaient comme un tampon qui apposait toujours la même marque au même endroit. Si vous posiez la même question à l'IA deux fois, elle vous donnait exactement la même réponse à chaque fois. C'est ennuyeux pour les utilisateurs et peut même faire que l'IA se bloque dans des boucles répétitives (comme une chanson en boucle).

La solution de TextSeal : Il utilise deux clés secrètes au lieu d'une. Chaque fois que l'IA choisit un mot, elle lance une pièce pour décider quelle clé utiliser.

L'analogie : Imaginez que vous avez deux épices secrètes différentes. Parfois vous saupoudrez l'épice A, parfois l'épice B. Pour le mangeur, le pain a exactement le même goût (aucune distorsion), mais pour votre scanner, le motif des épices crée une empreinte digitale unique et variée qui prouve qu'il vient de vous. Cela maintient les réponses de l'IA fraîches et diversifiées tout en restant traçables.

2. Le scanner intelligent (Détection pondérée par l'entropie)

Détecter un filigrane est difficile car l'IA écrit parfois des choses très prévisibles (faible « entropie ») et parfois des choses très créatives et imprévisibles (forte entropie).

Le problème : Si l'IA est sûre à 99 % que le mot suivant est « le », ajouter un filigrane là-dessus revient à essayer de cacher un murmure dans un ouragan. C'est difficile à entendre. Mais si l'IA hésite entre plusieurs mots, le signal du filigrane est beaucoup plus fort.
La solution de TextSeal : Il utilise un « scanner intelligent » qui sait prêter une attention particulière aux parties du texte où l'IA était incertaine (forte entropie). Il ignore les parties ennuyeuses et prévisibles et se concentre sur les parties créatives où le signal du filigrane est le plus fort. Cela rend la détection beaucoup plus précise, même dans de longs documents.

3. Trouver l'aiguille dans la botte de foin (Détection localisée)

Imaginez que quelqu'un prenne un paragraphe que vous avez écrit, le mélange dans un essai de 50 pages écrit par un humain, et prétende que tout est de lui. Les anciens filigranes regarderaient l'ensemble de l'essai, seraient confus par tout l'écriture humaine et diraient : « Je ne peux pas trouver le filigrane ».

La solution de TextSeal : Il ne regarde pas seulement le document entier ; il scanne des régions spécifiques.

L'analogie : Au lieu d'essayer de trouver un seul grain de sable sur une plage, TextSeal cherche de petites zones spécifiques de sable ayant une couleur unique. Même si le texte de l'IA ne représente que 5 % d'un énorme document, TextSeal peut isoler ces 5 %, ignorer le reste et dire : « Aha ! Ce paragraphe spécifique est définitivement généré par une IA ». Cela fonctionne même si le texte de l'IA est découpé et dispersé dans tout le document.

4. L'effet « radioactif » (Protection contre la distillation)

C'est peut-être la fonctionnalité la plus puissante. Si un concurrent tente de voler le « cerveau » de votre IA en entraînant son propre modèle sur vos sorties filigranées, le filigrane ne reste pas seulement dans le texte ; il est appris.

L'analogie : Imaginez que votre épice secrète est si puissante que si un concurrent essaie de cuire du pain en utilisant vos anciens pains comme référence, leur nouveau pain porte encore une trace faible de votre épice, même s'ils n'ont jamais vu votre recette secrète.
L'affirmation : L'article montre que si un modèle étudiant est entraîné sur des données filigranées par TextSeal, ce modèle étudiant devient « radioactif ». Vous pouvez tester le modèle étudiant, et il affichera toujours le signal du filigrane, prouvant qu'il a été entraîné sur vos données. Cela empêche les concurrents de copier secrètement les connaissances de votre modèle.

Pourquoi est-ce une grande nouvelle ?

C'est invisible : L'article a testé cela avec des humains lisant des milliers d'exemples. Ils ne pouvaient pas faire la différence entre un texte filigrané et un texte non filigrané. Cela ne rendait pas l'IA robotique ni ne provoquait d'erreurs.
C'est rapide : Il ajoute presque aucun temps au processus de réflexion de l'IA, il peut donc être utilisé dans des applications en temps réel.
C'est robuste : Il bat les méthodes précédentes (comme SynthID de Google) dans la détection des filigranes, même lorsque le texte est fortement dilué ou mélangé à de l'écriture humaine.

En bref, TextSeal est un moyen de signer le travail de votre IA avec une encre invisible et incassable qui survit à la copie, au mélange et même à l'« apprentissage » par d'autres modèles, le tout sans gâcher la qualité du texte.

Résumé Technique : TextSeal

Énoncé du Problème

Le déploiement rapide des grands modèles de langage (LLM) dans des systèmes de production nécessite des mécanismes fiables pour la provenance du contenu. Le filigranage vise à intégrer un signal imperceptible et détectable algorithmiquement dans le texte généré afin d'identifier l'origine IA, de se conformer aux réglementations émergentes (par exemple, l'AI Act de l'UE) et de prévenir des utilisations non autorisées telles que la distillation de modèles ou l'auto-apprentissage sur des données synthétiques.

Les méthodes existantes de l'état de l'art font face à un compromis critique entre détectabilité et diversité. Alors que les méthodes sans distorsion, telles que l'échantillonnage Gumbel-max, préservent la distribution de sortie originale du modèle (garantissant aucune dégradation de la qualité), elles sont entièrement déterministes : un prompt fixe et une clé secrète produisent toujours la même sortie. Cela élimine la diversité de génération, conduisant à des boucles répétitives et à une mauvaise expérience utilisateur. À l'inverse, les méthodes qui introduisent de l'aléatoire pour restaurer la diversité compromettent souvent la force statistique du filigrane ou introduisent une distorsion (biaisant la distribution de sortie). De plus, les détecteurs existants peinent avec la dilution, échouant à identifier le contenu filigrané lorsqu'il est mélangé à de grands volumes de texte écrit par des humains ou fragmenté à travers un document.

Méthodologie : TextSeal

TextSeal est un schéma de filigranage sans distorsion et non déterministe construit sur le cadre Gumbel-max. Il introduit trois innovations techniques principales pour répondre aux limites des travaux antérieurs :

1. Génération à Double Clé pour la Diversité

Pour surmonter le déterminisme du Gumbel-max standard, TextSeal emploie un Routage à Double Clé.

Mécanisme : À chaque étape de génération, le système sélectionne aléatoirement l'une des deux clés secrètes, $k^{(1)}$ ou $k^{(2)}$ , avec des probabilités respectives de $1-\alpha$ et $\alpha$ . Le jeton est sélectionné via l'astuce Gumbel-max en utilisant la valeur de la fonction pseudo-aléatoire (PRF) dérivée de la clé choisie.
Impact : Cela restaure la diversité de sortie (brisant les boucles déterministes) tout en maintenant la propriété sans distorsion.
Optimisation : La probabilité de routage $\alpha$ peut être alignée dynamiquement avec les taux d'acceptation du décodage spéculatif (par exemple, dans les scénarios de prédiction multi-jetons), assurant la compatibilité avec les optimisations de service sans ajouter de latence d'inférence.

2. Détection Pondérée par l'Entropie

Les scores de détection standards traitent tous les jetons de manière égale, mais le signal du filigrane est intrinsèquement plus faible dans les régions de faible entropie (où le modèle est très confiant et où le jeton supérieur domine indépendamment de la PRF).

Mécanisme : TextSeal pondère le score de détection de chaque jeton par son entropie locale, estimée via un modèle proxy léger. Les positions à haute entropie, où le filigrane a plus d'influence, contribuent davantage à la statistique finale.
Calibration Statistique : La somme pondérée des scores suit une distribution hypoexponentielle. Pour calculer efficacement les valeurs p calibrées, TextSeal utilise une approximation Gamma par appariement de moments, qui gère l'hétérogénéité des poids et la variance du routage à double clé.

3. Détection Localisée Multi-Régions

Les détecteurs globaux échouent lorsque le texte filigrané représente une petite fraction d'un long document (dilution) ou est dispersé sur des segments non contigus (fragmentation).

Mécanisme : TextSeal emploie une recherche de couverture géométrique pour identifier les segments filigranés. Au lieu de tester tous les intervalles possibles ( $O(n^2)$ ), il recherche une grille dyadique de longueurs de fenêtre ( $L, 2L, 4L, \dots$ ).
Extraction : Un algorithme glouton extrait des intervalles disjoints avec les valeurs p les plus faibles, les agrégeant tout en appliquant des corrections de Bonferroni rigoureuses pour contrôler le taux d'erreur familiale.
Ensemble Adaptatif : Le système sélectionne adaptativement le résultat le plus significatif parmi trois stratégies : un test global sur le texte complet, une seule meilleure fenêtre, ou une agrégation multi-régions. Cela assure la robustesse que le texte soit purement filigrané ou fortement mélangé.

Contributions Clés

Compromis de l'État de l'Art : TextSeal domine strictement la frontière de Pareto diversité-détectabilité, surpassant SynthID-text et le Gumbel-max standard. Il atteint une haute détectabilité tout en restaurant une diversité comparable à une génération sans filigrane.
Robustesse à la Dilution : Grâce à la détection localisée, TextSeal maintient une détection confiante même lorsque le contenu filigrané est dilué par un facteur de 10x ou fragmenté en plusieurs petites régions au sein de longs documents, là où les bases globales échouent.
Surcharge d'Inférence Nulle : Le schéma ajoute une surcharge d'échantillonnage négligeable ( $\le 0,3\%$ ) et est pleinement compatible avec le décodage spéculatif et la prédiction multi-jetons (MTP) sans nécessiter de modifications des paramètres du modèle ou du cache KV.
Radioactivité par Distillation : TextSeal démontre que son signal de filigrane est « radioactif ». Lorsqu'un modèle étudiant est distillé à partir de sorties de modèle enseignant filigranées, l'étudiant hérite d'un biais de jeton détectable, permettant la détection de distillations non autorisées même sans accès au contexte de génération original.
Préservation des Capacités : Des évaluations approfondies sur 12 benchmarks (mathématiques, code, raisonnement, connaissances) et des évaluations humaines multilingues confirment que TextSeal préserve les performances des modèles en aval et n'introduit aucune dégradation de qualité perceptible.

Résultats Expérimentaux

Détectabilité vs Diversité : Dans les évaluations sur le jeu de données ELI5, TextSeal (avec $\alpha=0,1$ ) atteint des valeurs p significativement plus faibles (détectabilité plus élevée) que SynthID et Gumbel-max à des scores de diversité Self-BLEU équivalents.
Résistance à la Dilution : L'ensemble adaptatif de TextSeal maintient une détection forte ( $-\log_{10} p > 4$ ) même lorsque 400 jetons de texte filigrané sont intégrés dans 12 000 jetons de texte non filigrané (fraction filigranée de 3,3 %). Les bases globales chutent en dessous des seuils de signification à des niveaux de dilution beaucoup plus faibles.
Préservation des Performances : Sur des benchmarks incluant AIME, MATH, GSM8K et HumanEval, TextSeal ne montre aucune baisse de performance statistiquement significative par rapport à une génération vanilla. Les fluctuations mineures observées sur les benchmarks de code ont été attribuées au bruit de formatage plutôt qu'à une dégradation du raisonnement.
Perception Humaine : Une évaluation humaine multilingue (6 000 comparaisons A/B dans 5 langues) n'a trouvé aucune différence de qualité perceptible. Les tests d'équivalence (TOST) ont confirmé que la différence de préférence entre les sorties filigranées et non filigranées est bornée dans $\pm 5\%$ .
Transfert par Distillation : Dans les expériences de distillation (DeepSeek-R1 vers Qwen2.5-3B), les traces filigranées ont transféré avec succès le signal au modèle étudiant. TextSeal a obtenu le signal de détection le plus fort dans la configuration originale en raison d'une rétention de données plus élevée, tandis que Gumbel-max a montré un signal par jeton plus fort sous un volume de données contrôlé.

Signification et Revendications

L'article positionne TextSeal comme une solution pratique et prête pour la production pour le filigranage des LLM. Sa signification principale réside dans la résolution de la tension de longue date entre diversité et détectabilité sans sacrifier l'absence de distorsion.

Les auteurs affirment que TextSeal fournit une sauvegarde « radioactive » contre la distillation de modèles non autorisée, une préoccupation critique à mesure que les modèles à poids ouverts sont de plus en plus entraînés sur des données synthétiques. En permettant la détection de traces filigranées dans les modèles étudiants, TextSeal offre un mécanisme pour surveiller l'utilisation des modèles et protéger la propriété intellectuelle.

L'article reste modeste concernant les limites : il reconnaît que si le filigrane est sans distorsion pour des générations uniques, la réduction de la diversité (via le mécanisme à double clé) peut affecter les flux de travail dépendant de sorties diverses (par exemple, le reclassement best-of-N). Cependant, il note que les modèles de raisonnement modernes présentent souvent une entropie effondrée naturellement, atténuant potentiellement cette perte marginale. Ce travail établit une nouvelle référence pour le filigranage qui est théoriquement solide, empiriquement robuste et compatible avec l'infrastructure d'inférence moderne.