🤖 machine learning

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

Le document introduit dgMARK, une méthode de tatouage numérique « plug-and-play » pour les modèles de langage à diffusion discrète qui exploite leur sensibilité à l'ordre de masquage des jetons pour intégrer des signaux détectables via une sélection de candidats sous contrainte de parité, assurant ainsi une robustesse contre diverses opérations d'édition de texte.

Auteurs originaux : Pyo Min Hong, Albert No

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pyo Min Hong, Albert No

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : « Qui a écrit ceci ? »

Imaginez les modèles de langage de grande taille (LLM) comme des prête-plumes incroyablement talentueux. Ils peuvent écrire des histoires, du code et des essais qui ressemblent et sonnent exactement comme s'ils avaient été écrits par des humains. Mais cela crée un problème : si un acteur malveillant utilise ces modèles pour rédiger de fausses informations ou des e-mails de phishing, comment savoir s'il ne s'agit pas d'une personne réelle ?

Nous avons besoin d'un moyen de marquer le texte afin de pouvoir prouver : « Hé, un ordinateur a écrit ceci. » C'est ce qu'on appelle le tatouage numérique (watermarking).

L'ancienne méthode vs La nouvelle méthode

La plupart des méthodes de tatouage actuelles fonctionnent comme un lancer de pièce biaisé.

L'analogie : Imaginez un chef (l'IA) qui choisit habituellement ses ingrédients en fonction de ce qui a le meilleur goût. L'ancienne méthode de tatouage force le chef à choisir un ingrédient « vert » (comme un type spécifique de poivron) 60 % du temps, même si un ingrédient « rouge » (comme une tomate) aurait eu meilleur goût.
La faille : Cela change la saveur du plat. Le texte peut paraître légèrement robotique ou de qualité inférieure car l'IA est forcée de faire des choix non naturels juste pour cacher un code secret.

La nouvelle méthode : dgMARK (Le « Contrôleur de trafic »)

L'article présente dgMARK, une nouvelle méthode conçue spécifiquement pour un nouveau type d'IA appelé Modèles de Langage de Diffusion (dLLM).

Qu'est-ce qu'un modèle de diffusion ?
Contrairement aux anciens modèles « autorégressifs » qui écrivent des phrases strictement de gauche à droite (comme un dactylo), les modèles de diffusion ressemblent davantage à des résolveurs de puzzles.

Ils commencent par une page blanche remplie de points d'interrogation (masques).
Ils remplissent les mots un par un, mais ils peuvent les remplir dans n'importe quel ordre. Ils peuvent remplir le dernier mot en premier, puis le premier mot, puis le milieu.

L'intuition secrète
Les auteurs ont réalisé que, bien que ces modèles devraient théoriquement fonctionner de la même manière quel que soit l'ordre dans lequel ils remplissent les blancs, en réalité, ils sont sensibles à l'ordre. L'ordre dans lequel ils révèlent les mots modifie légèrement le résultat final.

L'analogie : Le Contrôleur de trafic
Au lieu de forcer le chef à choisir un ingrédient spécifique (ce qui change la saveur), dgMARK agit comme un Contrôleur de trafic.

L'IA regarde tous les espaces vides sur la page et dit : « Je pense que je pourrais mettre un "chat" ici, ou un "chien" là. »
Le Contrôleur de trafic (dgMARK) a une règle secrète : « Si le mot que tu veux mettre correspond à un motif secret (comme un contrôle de parité), tu peux passer en premier. »
L'IA choisit toujours le meilleur mot pour cet endroit (la saveur ne change pas), mais l'ordre dans lequel les mots apparaissent sur la page est subtilement guidé par la règle secrète.

Comment fonctionne le code secret

La « règle secrète » est basée sur une astuce mathématique simple appelée parité (nombres impairs vs pairs).

Imaginez que l'IA est en train de remplir une phrase. Pour chaque position (1er mot, 2e mot, etc.), il y a une liste secrète de mots « approuvés ».
Si l'IA veut remplir le 3e mot, et que le mot qu'elle veut est sur la liste des « approuvés » pour le 3e emplacement, dgMARK dit : « Super ! Remplis celui-là maintenant ! »
Si le mot n'est pas sur la liste, l'IA peut attendre un moment et remplir un autre emplacement d'abord.

Au fil d'un paragraphe entier, cela crée un motif statistique. Si vous vérifiez le texte, vous constaterez que les mots apparaissent dans des positions qui correspondent au motif secret plus souvent que le ne le permettrait le hasard. C'est comme découvrir qu'un jeu de cartes a été subtilement mélangé de sorte que chaque 4e carte est toujours un Cœur.

Pourquoi est-ce meilleur ?

Pas de changement de saveur : Comme l'IA choisit toujours le meilleur mot pour la tâche, le texte semble tout aussi naturel et de haute qualité qu'avant. L'article montre que la « perplexité » (une mesure de la confusion du texte) change à peine.
Difficile à supprimer : Si quelqu'un essaie de modifier le texte (ajouter, supprimer ou échanger des mots), la logique du « Contrôleur de trafic » laisse une empreinte. L'article utilise un détecteur à fenêtre glissante (comme regarder le texte à travers une loupe mobile) pour trouver ces motifs, même si le texte a été édité.
Prêt à l'emploi (Plug-and-Play) : Cela fonctionne avec la façon de penser existante de l'IA. Vous n'avez pas besoin de réentraîner le modèle ; vous ajoutez simplement cette couche de « Contrôleur de trafic » sur le processus de décodage.

Les résultats

Les auteurs ont testé cela sur plusieurs modèles avancés (comme LLaDA et Dream).

Détectabilité : Ils pouvaient identifier le texte tatoué avec une très grande précision, même lorsque le texte était édité ou paraphrasé.
Qualité : Le texte tatoué était presque indiscernable du texte non tatoué en termes de qualité.
Robustesse : Même si quelqu'un essayait de « paraphraser » le texte (réécrire le texte pour masquer le tatouage), la méthode restait efficace, surtout en utilisant une fonction de « lookahead » (où l'IA planifie un pas en avant pour s'assurer que le motif continue).

Résumé

dgMARK est une façon ingénieuse de tatouer le texte d'une IA en orchestrant l'ordre dans lequel les mots sont révélés, plutôt qu'en forçant l'IA à choisir des mots spécifiques. C'est comme diriger un orchestre : vous ne dites pas aux musiciens de jouer les mauvaises notes (ce qui gâcherait la musique) ; vous leur dites simplement quand jouer leurs meilleures notes afin que le rythme suive un motif secret et détectable.

Résumé technique : dgMARK – Filigranage guidé par le décodage pour les modèles de langage de diffusion

Énoncé du problème
Les grands modèles de langage (LLM) présentent des risques significatifs en matière de désinformation, de plagiat et de violation du droit d'auteur, nécessissant des outils de provenance fiables pour distinguer le texte généré par machine du contenu écrit par l'humain. Bien que le filigranage (watermarking) soit une solution pratique, les méthodes existantes sont principalement conçues pour les modèles autoregressifs (ARM) qui génèrent du texte strictement de gauche à droite. Ces méthodes biaisent généralement les probabilités des jetons (par exemple, via le partitionnement en listes « verte/rouge ») pour incorporer des signaux. Cependant, les modèles de langage de diffusion discrète (dLLM) fonctionnent différemment : ils dénoisent de manière itérative des séquences masquées et peuvent finaliser les jetons dans des ordres arbitraires. Dans les dLLM, le contexte du « jeton précédent » requis par les ARM est souvent indéfini pendant le décodage, rendant les filigranages classiques basés sur le biais de probabilité inefficaces ou nécessitant des adaptations complexes qui altèrent la distribution de sortie du modèle. De plus, bien que les dLLM idéaux devraient être invariants à l'ordre, les modèles pratiques présentent une sensibilité à l'ordre de décodage, créant un écart entre l'invariance théorique et le comportement pratique qui reste sous-exploité pour le filigranage.

Méthodologie : dgMARK
Les auteurs proposent dgMARK (Decoding-Guided Watermarking), une méthode qui incorpore des filigranes en orientant l'ordre de décodage plutôt qu'en repondérant les probabilités apprises du modèle. Le principe central est que les dLLM sélectionnent des jetons candidats à haute récompense à chaque étape ; dgMARK exploite cela en priorisant le démasquage des positions où le jeton candidat satisfait une contrainte de parité spécifique.

Contrainte de parité : Étant donné une clé secrète $\xi$ , une fonction de hachage déterministe $f(v, \xi)$ associe à chaque jeton $v$ une valeur binaire. Pour une position de décodage $i$ , l'« ensemble de correspondance » $G_i$ contient les jetons où $f(v, \xi) \equiv i \pmod 2$ .
Stratégie de décodage : Pendant le processus de décodage, l'algorithme identifie les jetons candidats pour toutes les positions non révélées. Il priorise les positions $j$ où le jeton prédit $v_j$ appartient à l'ensemble de correspondance $G_j$ . Parmi ces candidats valides, la position présentant la récompense la plus élevée (basée sur la stratégie de décodage sous-jacente, par exemple la confiance, l'entropie ou la marge) est sélectionnée pour le démasquage. Si aucun candidat ne satisfait la condition de parité, le système revient au processus de sélection standard.
Anticipation à un pas (One-Step Lookahead) : Pour éviter que des choix gloutons n'épuisent les opportunités futures de correspondance de parité, dgMARK propose une variante utilisant une recherche par faisceau (beam search) top- $k$ avec une anticipation à un pas. Cette variante évalue combien de positions futures resteraient alignées avec la parité si un jeton spécifique était engagé, sélectionnant le chemin qui maximise l'alignement futur.
Détection : La détection repose sur des tests statistiques du taux de correspondance de parité. Puisque la fonction de hachage est équilibrée, un texte non filigrané devrait présenter un taux de correspondance proche de 0,5. Un texte filigrané présente un taux nettement élevé. Pour garantir la robustesse face aux post-éditions (insertions, suppressions, substitutions), le détecteur utilise une approche par fenêtre glissante, agrégeant les statistiques $z$ sur des fenêtres chevauchantes pour gérer les décalages d'index.

Contributions clés

Filigranage indépendant de l'ordre : dgMARK est la première méthode à utiliser l'ordre de décodage lui-même comme canal principal de filigranage pour les dLLM, évitant la modification directe des probabilités de jetons.
Compatibilité Plug-and-Play : La méthode fonctionne comme une enveloppe (wrapper) autour des stratégies de décodage existantes (basées sur la confiance, l'entropie ou la marge) et ne nécessite pas de réentraînement du modèle ni de modification de ses paramètres internes.
Robustesse : Le mécanisme de détection par fenêtre glissante garantit que le filigrane reste détectable même après des modifications de texte importantes, incluant la paraphrase et les éditions au niveau du jeton.
Préservation de la qualité : En ne biaisant pas explicitement la distribution de probabilité (logits), dgMARK vise à minimiser la dégradation de la qualité du texte par rapport aux bases de comparaison basées sur le décalage de probabilité.

Résultats expérimentaux
Les auteurs ont évalué dgMARK sur des jeux de données de référence (C4, Writing Prompts) en utilisant des dLLM de pointe (LLaDA, LLaDA 1.5, LLaDA 2.0, Dream).

Détectabilité : dgMARK atteint une forte détectabilité. Avec une recherche par faisceau à 3 étapes (3-beam search lookahead), il atteint des taux de vrais positifs (TPR) proches de 100 % à des taux de faux positifs (FPR) de 0,01 % sur le jeu de données C4, surpassant ou égalant les bases de comparaison comme KGW (Kirchenbauer et al., 2023) et PATTERN-MARK.
Qualité du texte : La méthode entraîne une dégradation minimale de la qualité du texte. Les augmentations de perplexité (PPL) sont systématiquement plus faibles que celles observées avec KGW et PATTERN-MARK. Les performances sur les benchmarks en aval (MMLU, GSM8K, HumanEval) montrent des baisses mineures, dgMARK préservant généralement mieux les capacités que les méthodes de biais de probabilité.
Robustesse : Sous des attaques au niveau du jeton (insertion, suppression, substitution) avec des budgets de modification allant jusqu'à 40 %, dgMAX maintient des scores AUC élevés. Il démontre également une résilience face aux attaques de paraphrase utilisant DIPPER et Llama 3, particulièrement lorsqu'il est combiné à la recherche par faisceau.
Scalabilité : La détectabilité s'améliore avec la longueur de la séquence, rendant la méthode particulièrement efficace pour les tâches de génération de longs formats.

Signification et affirmations
L'article affirme que dgMARK établit l'ordre de décodage comme un canal de filigranage pratique et complémentaire pour les dLLM. Les auteurs soulignent que leur approche offre un avantage distinct par rapport aux paradigmes existants : elle parvient à une provenance fiable sans la distorsion directe des probabilités conditionnelles apprises par le modèle. Ce travail met en évidence que la sensibilité intrinsèque à l'ordre des dLLM pratiques, souvent perçue comme une limitation ou un effet secondaire, peut être exploitée comme un levier de contrôle pour la sécurité. Les auteurs notent modestement que l'efficacité de la méthode repose sur l'imperfection empirique des modèles actuels (c'est-à-dire leur sensibilité à l'ordre de décodage), reconnaissant qu'un dLLM parfaitement entraîné et invariant à l'ordre rendrait théoriquement cette approche de filigranage inefficace. Néanmoins, pour les dLLM actuels et futurs proches, dgMARK fournit une solution robuste et à faible distorsion pour la provenance du contenu.