💻 computer science

MirrorMark: A Distortion-Free Multi-Bit Watermark for Large Language Models

MirrorMark est une technique de tatouage numérique multi-bit novatrice pour les grands modèles de langage qui intègre des messages robustes et détectables sans déformer la distribution de probabilité des jetons, préservant ainsi la qualité du texte tout en surpassant significativement les méthodes existantes en termes de précision et de taux de détection.

Auteurs originaux : Ya Jiang, Massieh Kordi Boroujeny, Surender Suresh Kumar, Kai Zeng

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ya Jiang, Massieh Kordi Boroujeny, Surender Suresh Kumar, Kai Zeng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un boulanger qui vient d'inventer une nouvelle recette de pain parfaite. Vous voulez vous assurer que, si quelqu'un vend votre pain sous son propre nom, vous pouvez prouver qu'il est à vous. Mais voici le hic : vous ne pouvez pas simplement apposer un gigantesque « MIEN » sur la miche, car cela gâcherait l'apparence et le goût. Et vous ne pouvez pas non plus chuchoter un code secret dans la pâte, car si quelqu'un coupe une tranche ou ajoute une miette, le chuchotement se perd.

C'est le problème que MirrorMark résout pour les grands modèles de langage (LLM) — les systèmes d'IA qui écrivent du texte pour nous.

Voici comment MirrorMark fonctionne, décomposé en concepts simples :

1. Le problème des « filigranes » actuels

Pensez aux méthodes de filigranage actuelles comme à deux types de tampons défectueux :

Le tampon « Déformant » : Certaines méthodes tentent de modifier légèrement la recette pour y cacher un secret. Par exemple, elles pourraient forcer l'IA à choisir des mots légèrement différents de ceux qu'elle choisirait normalement. C'est comme ajouter une épice étrange au pain pour le marquer. Cela fonctionne, mais le pain a un goût différent (la qualité du texte diminue).
Le tampon « Fragile » : D'autres méthodes tentent de cacher le secret sans changer le goût. Mais elles sont comme un chuchotement dans une pièce bondée. Si quelqu'un modifie le texte (ajoute une phrase, supprime un mot ou le reformule), le chuchotement se perd, et vous ne pouvez plus prouver que le pain est à vous.

2. La solution MirrorMark : « Le reflet parfait »

MirrorMark est une nouvelle façon de cacher un message secret qui est sans distorsion (elle ne change pas le goût du pain) et robuste (elle résiste aux modifications).

Elle utilise une astuce ingénieuse appelée Mirroring Mod-1.

L'analogie : Imaginez que l'IA choisit un mot en fonction d'un lancer de dé qui tombe quelque part entre 0 et 1.
L'astuce : Au lieu de modifier le lancer de dé, MirrorMark prend ce nombre et le « plie » sur une ligne spécifique (un miroir) en fonction du message secret qu'elle veut envoyer.
La magie : Si vous pliez une feuille de papier parfaitement, la forme du papier ne change pas ; elle semble simplement différente de l'autre côté. De même, MirrorMark réorganise les nombres aléatoires utilisés par l'IA, mais le modèle global de ces nombres reste exactement le même.
Le résultat : L'IA écrit un texte qui sonne à 100 % naturel et de haute qualité, tout comme elle le ferait sans filigrane. Mais caché au sein des choix spécifiques de mots se trouve un code multi-bit (comme une empreinte digitale numérique) qui peut être récupéré plus tard.

3. Le « Planificateur Équilibré Ancré au Contexte » (CABS)

Même avec un miroir parfait, il y a un risque : et si quelqu'un découpait un morceau du texte ? Si le message secret était réparti uniformément, couper un morceau pourrait effacer tout le message.

MirrorMark introduit un gestionnaire intelligent appelé CABS (Context-Anchored Balanced Scheduler).

L'analogie : Imaginez que vous cachez 100 petits mots dans un long livre. Si vous les cachez tous dans le premier chapitre, et que quelqu'un arrache ce chapitre, vous perdez tout. Si vous les cachez au hasard, les mots pourraient se regrouper, laissant d'autres pages vides.
Comment fonctionne CABS : CABS agit comme un bibliothécaire attentif. Il examine le texte en cours d'écriture et s'assure que les mots secrets sont répartis uniformément sur tout le livre.
Le filet de sécurité : Il crée également des « cadres » ou des chapitres. Si quelqu'un arrache une page, CABS s'assure que les dégâts sont contenus dans ce seul cadre. Le reste du livre reste synchronisé, de sorte que le message caché peut toujours être reconstitué à partir des mots restants. Cela rend le filigrane très difficile à détruire par des attaques de copier-coller ou de suppression.

4. Ce que les expériences ont révélé

Les chercheurs ont testé MirrorMark contre d'autres méthodes de premier plan en utilisant des modèles d'IA comme LLaMA-2.

Qualité : Le texte généré par MirrorMark était indiscernable du texte IA normal. Il ne sonnait pas robotique ou étrange.
Détection : Il était beaucoup plus facile de détecter MirrorMark que les autres méthodes. Même avec une petite quantité de texte (300 mots), il pouvait identifier le contenu filigrané avec une grande précision.
Robustesse : Lorsque des attaquants ont tenté de « briser » le filigrane en supprimant des mots, en ajoutant de nouveaux, ou en copiant-collant des parties du texte, MirrorMark a mieux résisté que la concurrence.
Capacité : Il peut cacher beaucoup d'informations (multi-bit), pas seulement un simple signal « oui/non ». Cela signifie qu'il peut porter des détails comme « Qui a fait cela ? » ou « Quand a-t-il été fait ? ».

Résumé

MirrorMark est comme une signature fantôme. Elle ne laisse pas de marque visible sur le texte, ne change pas la saveur des mots et ne se brise pas si vous arrachez une page du livre. Elle utilise un « miroir » mathématique pour cacher un code complexe au sein de l'aléatoire naturel de la façon dont une IA pense, garantissant que la sortie de l'IA reste de haute qualité tout en restant traçable jusqu'à sa source.

1. Énoncé du problème

À mesure que les grands modèles de langage (LLM) deviennent omniprésents dans la création de contenu, le besoin d'une attribution fiable des contenus (provenance) est devenu crucial pour lutter contre la désinformation et protéger la propriété intellectuelle. Les techniques de filigrane existantes font face à un compromis fondamental :

Méthodes basées sur la distorsion : Elles modifient la distribution de probabilité des tokens (par exemple, via un biais de logit) pour intégrer des signaux. Bien que robustes, ces méthodes dégradent la qualité du texte (en augmentant la perplexité) et ne supportent souvent que la détection binaire (zéro-bit).
Méthodes sans distorsion : Elles préservent la distribution originale des tokens pour maintenir la qualité du texte. Cependant, les approches sans distorsion existantes souffrent souvent d'une faible détectabilité, d'une mauvaise robustesse face aux attaques par édition (insertions/suppressions), ou manquent de la capacité d'intégrer des métadonnées riches (charges utiles multi-bits).
Le vide : Il manque une méthode offrant simultanément un intégration multi-bit (pour des métadonnées comme l'ID du modèle ou l'horodatage), une génération sans distorsion (préservant la qualité du texte) et une haute robustesse face aux attaques par édition.

2. Méthodologie : MirrorMark

MirrorMark répond à ces défis grâce à trois composants principaux :

A. Miroir Mod-1 (Le mécanisme d'intégration)

Au lieu de biaiser les logits des tokens, MirrorMark manipule l'aléa d'échantillonnage d'une manière préservant la mesure.

Mécanisme : Il utilise l'astuce Gumbel-max (utilisée dans AA) ou l'échantillonnage par tournoi (utilisé dans SynthID). Ces méthodes génèrent une valeur aléatoire $u \sim \text{Uniforme}(0,1)$ pour déterminer le token suivant.
Transformation : Pour intégrer un message $M$ de $m$ bits, le système réfléchit la valeur aléatoire $u$ autour d'un pivot spécifique au message $\psi_M = M / 2^{m+1}$ en utilisant une opération de miroir mod-1 :
$\Psi(u; \psi_M) = (2\psi_M - u) \mod 1$
Garantie sans distorsion : Mathématiquement, cette transformation est une involution préservant la mesure. Si $u$ est uniformément distribué, la valeur miroir $\Psi(u; \psi_M)$ reste uniformément distribuée. Par conséquent, la probabilité de sélection du token $p(x)$ reste inchangée, assurant une distorsion nulle pour la qualité du texte.
Séparation des hypothèses : Contrairement aux méthodes de décalage cyclique (comme ThreeBricks) qui créent des hypothèses symétriques, le miroir crée des distributions complémentaires. Pour le message correct, les valeurs transformées sont biaisées vers 1 ; pour les messages incorrects, elles sont biaisées vers 0. Cela maximise la séparation statistique entre le vrai message et les fausses hypothèses par token.

B. Ordonnanceur équilibré ancré au contexte (CABS)

Pour gérer les charges utiles multi-bits de manière robuste face aux éditions (insertions/suppressions), MirrorMark introduit le CABS pour gérer la façon dont les tokens sont assignés aux positions du message.

Problème de l'allocation naïve : Une affectation pseudo-aléatoire simple peut entraîner une distribution inégale des tokens à travers les positions du message (certaines positions ne reçoivent aucun token) et une désynchronisation lors de l'édition.
Solution CABS :
- Allocation équilibrée : Elle mappe les tokens vers les positions du message en fonction de la fenêtre de contexte, garantissant que chaque position reçoit un nombre suffisant de tokens pour un décodage fiable.
- Encadrement ancré au contexte : La séquence est divisée en "trames". Une nouvelle trame commence lorsque le hachage de la fenêtre de contexte remplit une condition spécifique (par exemple, les $f$ bits les plus bas sont nuls).
- Robustesse : Si une insertion ou une suppression se produit, elle n'affecte que la trame actuelle et potentiellement la frontière de la suivante. Cela empêche la propagation d'erreurs à travers toute la séquence, permettant au décodeur de récupérer le filigrane même si des parties du texte sont altérées.

C. Décodage et détection

Décodage : Pour chaque position du message, le décodeur agrège les valeurs $u$ miroir des tokens assignés. Il utilise une fonction de score (LogScore pour Gumbel-max, WeightedMeanScore ou BayesianScore pour l'échantillonnage par tournoi) pour déterminer le symbole $M$ le plus probable.
Détection : Les symboles décodés sont utilisés pour reconstruire la distribution attendue. Un score global est calculé ; s'il dépasse un seuil, le texte est identifié comme filigrané.

3. Contributions clés

Filigranage multi-bit sans distorsion : MirrorMark est le premier cadre à étendre les paradigmes d'échantillonnage sans distorsion (AA, SynthID) aux charges utiles multi-bits sans altérer la distribution de sortie du LLM.
Miroir Mod-1 : Une transformation mathématique novatrice qui intègre des informations en réfléchissant l'aléa d'échantillonnage, maximisant explicitement le contraste entre les hypothèses correctes et incorrectes tout en préservant la distribution uniforme.
Ordonnanceur CABS : Un mécanisme d'ordonnancement robuste qui équilibre l'allocation des tokens à travers les positions du message et localise l'impact des attaques par édition, améliorant considérablement la résilience face aux insertions et suppressions.
Analyse théorique : Les auteurs fournissent une caractérisation théorique du taux d'erreur égal (EER), le reliant à l'entropie de la séquence et au nombre de tokens, ce qui correspond étroitement aux résultats empiriques.

4. Résultats expérimentaux

Les expériences ont été menées avec LLaMA-2-7B et Gemma-7B-it sur les jeux de données C4 et ELI5.

Qualité du texte : MirrorMark atteint des scores de perplexité et de qualité GPT-4o indistinguables du texte non filigrané. En revanche, les bases de référence basées sur la distorsion (MPAC, RSBH) montrent une dégradation significative de la perplexité (par exemple, perplexité RSBH ~32 contre ~7,2 pour MirrorMark).
Détectabilité :
- Avec 54 bits intégrés dans 300 tokens, MirrorMark améliore la précision des bits de 8 à 12 % par rapport aux méthodes de l'état de l'art.
- Il identifie correctement jusqu'à 11 % de plus de textes filigranés à un taux de faux positifs (FPR) de 1 % par rapport aux bases de référence.
- Le MirrorMark basé sur Gumbel-max surpasse généralement les variantes basées sur le tournoi en précision des bits, tandis que les deux maintiennent un AUC élevé (~1,0).
Robustesse :
- Attaques par copier-coller : MirrorMark maintient des taux de détection élevés (AUC > 0,99) même avec 40 % du texte remplacé par du contenu non filigrané.
- Paraphrase : Bien que la précision des bits diminue (comme prévu pour les dépendances au niveau des tokens), MirrorMark maintient une forte séparation AUC, surpassant les bases de référence zéro-bit en taux de détection.
Comparaison : MirrorMark surpasse nettement ThreeBricks (extension de décalage cyclique) en précision des bits grâce à une meilleure séparation des hypothèses. Il surpasse RSBH et MPAC en qualité de texte tout en égalant ou dépassant leur robustesse.

5. Importance

MirrorMark représente une avancée significative dans la provenance du contenu IA. En découplant la détectabilité de la distorsion du texte, il permet l'intégration de métadonnées riches (multi-bits) sans compromettre la fluidité ou le naturel du texte généré. Ceci est crucial pour le déploiement réel où la génération de texte de haute qualité est primordiale. De plus, l'introduction du CABS répond à la vulnérabilité critique des filigranes existants face aux attaques par édition, rendant la technologie viable pour la protection du contenu dans des environnements dynamiques et édités par les utilisateurs. L'ancrage théorique de l'EER fournit un cadre prévisible pour régler les paramètres du filigrane en fonction de l'entropie et de la longueur de la séquence.