🤖 AI

ChainMark: Model-Free LLM Watermarking with Closed-Form Calibration

ChainMark introduit un schéma de tatouage numérique actif et sans modèle qui partitionne le vocabulaire en états clés pour imposer des transitions de Markov strictes, permettant un étalonnage par forme fermée des paramètres de détection et atteignant une robustesse prouvable contre les attaques de translation et de substitution sans nécessiter l'accès au modèle de langage générateur.

Auteurs originaux : Chengheng Li-Chen, Kyuhee Kim

Publié 2026-07-22

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chengheng Li-Chen, Kyuhee Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous déambulez dans une bibliothèque géante où des robots écrivent des histoires. Parfois, ces robots sont si doués qu'on ne peut pas dire si une histoire a été écrite par un humain ou par une machine. C'est un problème majeur pour l'avenir : si les robots peuvent tout écrire, comment saurons-nous ce qui est réel ? Les scientifiques tentent de résoudre ce problème en donnant aux robots un moyen secret de marquer leur travail, comme une signature cachée que seul un détecteur spécial peut voir. On appelle cela le « tatouage numérique » (watermarking). Considérez cela comme un code secret caché dans l'ADN d'une phrase.

Cependant, vérifier ces codes a été difficile. La plupart des anciennes méthodes ressemblent à un jeu de « deviner le mot de passe » qui nécessite la présence du robot lui-même pour vérifier l'œuvre. Si le robot est parti, ou si quelqu'un modifie légèrement l'histoire (comme en la traduisant dans une autre langue), les anciens codes se cassent souvent ou disparaissent. De plus, les régulateurs (les personnes qui établissent les règles) veulent un moyen simple de dire : « J'ai besoin d'un code qui se trompe moins de 1 % du temps, qui fonctionne sur des textes courts et qui survit aux modifications », mais ils n'avaient pas de formule claire pour dire précisément aux ingénieurs comment construire ce code.

Ce document présente une nouvelle solution appelée ChainMark. C'est un tatouage numérique « sans modèle » (model-free) très astucieux, ce qui signifie que vous n'avez pas besoin du robot pour vérifier le travail — vous avez juste besoin d'une clé secrète. Les auteurs ont trouvé un moyen de créer un code qui agit comme une danse secrète. Ils démontrent que cette danse est très difficile à briser contre certains types d'attaques, et ils fournissent une recette mathématique claire pour permettre aux régulateurs de dire exactement comment le mettre en place.

La Danse Secrète : Comment fonctionne ChainMark

Imaginez le vocabulaire du robot (tous les mots qu'il peut utiliser) comme une immense boîte de tuiles colorées. ChainMark prend une clé secrète et trie chaque tuile dans l'un des cinq bacs de couleur (disons Rouge, Bleu, Vert, Jaune et Violet). Ces bacs sont disposés en cercle, comme le cadran d'une horloge : Rouge → Bleu → Vert → Jaune → Violet → Rouge.

Lorsque le robot écrit une histoire, ChainMark ne le laisse pas choisir n'importe quel mot. À certains endroits de l'histoire (environ la moitié du temps), le robot est contraint de choisir un mot qui appartient à la couleur suivante dans le cercle. Si le dernier mot était Rouge, le suivant doit être Bleu. Si le dernier était Bleu, le suivant doit être Vert. Le robot choisit toujours le meilleur mot qu'il puisse trouver, mais il n'est autorisé à choisir que dans le bac « Bleu ».

Cela crée un chemin caché, ou une « chaîne », à travers le texte. L'histoire est essentiellement une marche autour de cet horloge de couleurs.

Le Détective sans Robot

Voici la partie magique : pour vérifier si une histoire est tatouée, vous n'avez pas besoin du robot. Vous avez juste besoin de la clé secrète et du texte. Un vérificateur (le détective) prend le texte, cherche la clé secrète et re-trie chaque mot dans ses bacs de couleur. Ensuite, il compte simplement combien de fois les couleurs suivent l'ordre correct (Rouge vers Bleu, Bleu vers Vert, etc.).

Si l'histoire a été écrite par un humain ou par un robot sans le secret, les couleurs sauteront de manière aléatoire. La chance d'obtenir l'ordre par accident est très faible (seulement 1 sur 5, soit 20 %). Mais si l'histoire a été écrite avec ChainMark, les couleurs suivront la chaîne presque parfaitement. Le détective effectue ce calcul en un clin d'œil, sans jamais avoir besoin de demander de l'aide au robot.

Pourquoi est-ce important

Le document montre que ChainMark résout trois problèmes majeurs rencontrés par les autres méthodes :

Pas de robot nécessaire : Les anciennes méthodes nécessitaient souvent le « cerveau » du robot pour vérifier le travail. ChainMark n'a besoin que du texte et de la clé. Cela signifie qu'un tiers, comme un régulateur ou un éditeur de presse, peut vérifier si une histoire est générée par une IA sans avoir accès au modèle d'IA secret de l'entreprise.
La recette parfaite : Les auteurs ont dérivé une formule « de forme fermée » (closed-form). C'est une façon élégante de dire qu'ils ont trouvé une équation mathématique directe. Si un régulateur dit : « J'ai besoin d'un taux de fausse alerte de 1 % pour un texte de 200 mots », l'ingénieur peut injecter ces chiffres dans la formule et savoir instantanément combien de bacs de couleur utiliser. Plus de tâtonnements ou d'essais et d'erreurs.
Il survit à l'« attaque de traduction » : L'une des principales façons de briser les anciens tatouages numériques est de traduire un texte dans une autre langue (comme le chinois) puis de le retraduire. Cela brouille généralement le code secret. Le document a testé ChainMark contre cela et a constaté qu'il est incroyablement robuste. Même après avoir traduit le texte en chinois puis de nouveau en français, ChainMark a toujours identifié correctement le texte tatoué 72,8 % du temps. En revanche, d'autres méthodes populaires (appelées KGW et SWEET) sont tombées en dessous de 20 % de taux de réussite dans les mêmes conditions.

Le Compromis

Le document est honnête sur le coût. Pour faire fonctionner cette danse secrète, le robot doit être légèrement plus restreint lors du choix des mots. Cela rend le texte un peu moins « fluide » ou naturel par rapport à un robot totalement libre. Les auteurs ont mesuré cela à l'aide d'un score appelé « perplexité ». Le score de ChainMark est d'environ 3,66, tandis que celui des autres méthodes se situe entre 1,80 et 1,93. Cela signifie que ChainMark est environ deux fois plus « rigide » que les autres, mais le compromis est qu'il est beaucoup plus difficile à briser et beaucoup plus facile à vérifier sans le robot.

Le Filet de Sécurité « Universel »

Le document a également découvert quelque chose de surprenant concernant la quantité de modifications qu'un code peut supporter face à un attaquant « aveugle » (celui qui ne possède pas la clé secrète). Ils ont prouvé mathématiquement que si quelqu'un remplace des mots de manière aléatoire (comme une attaque de type « copier-coller »), le code survivra tant que les modifications représentent moins de 29,3 % du texte. Ce chiffre est une « constante universelle », ce qui signifie qu'il ne importe pas le nombre de bacs de couleur que vous utilisez ou la longueur du texte ; le code tient bon jusqu'à ce que vous atteigniez ce mur spécifique de 29,3 %.

Cependant, les auteurs sont prudents et notent que ce filet de sécurité a des limites. Il s'applique aux échanges aléatoires et à la traduction, mais il ne garantit pas la survie face à un hacker très intelligent qui connaît la clé secrète ou qui peut poser des questions répétées au détecteur pour découvrir le motif. De plus, le document n'a pas encore testé les réécritures complexes préservant la grammaire (où le sens reste exactement le même mais les mots changent), donc bien que le code soit très fort contre la traduction et les échanges aléatoires, il reste du travail à faire sur d'autres types d'attaques.

Ce que ce n'est pas

Les auteurs précisent avec soin ce que leur méthode ne fait pas. Ils admettent que si un hacker très intelligent connaît la clé secrète ou peut poser des questions au détecteur de nombreuses fois pour comprendre le motif, il pourrait être capable de briser le code. Le document se concentre sur un attaquant « aveugle » qui ne possède pas la clé. De plus, ils n'ont pas testé tous les types de réécriture (comme les réécritures grammaticales complexes qui conservent exactement le même sens), donc bien que le code soit très robuste contre la traduction et les échanges aléatoires, il reste du travail à faire sur d'autres types d'attaques.

L'essentiel

ChainMark est comme donner aux rédacteurs IA un mouvement de danse secret, difficile à briser, qui laisse des traces de pas — à condition que l'attaquant soit aveugle à la clé et que l'attaque soit aléatoire ou translationnelle. Même si quelqu'un essaie d'effacer les traces en traduisant l'histoire ou en échangeant des mots, le motif reste visible pour quiconque possède la clé secrète. Plus important encore, cela donne aux régulateurs un manuel d'instructions mathématiques clair pour configurer ces tatouages numériques exactement comme ils le souhaitent, sans avoir besoin de deviner ou de dépendre de l'entreprise d'IA pour effectuer la vérification. C'est un pas vers un avenir où nous pourrons faire confiance à nos textes numériques, en sachant exactement qui (ou quoi) les a écrits.

Résumé Technique : ChainMark : Filigranage d'un LLM sans modèle avec étalonnage à forme fermée

1. Énoncé du Problème

L'article traite des défis techniques de la mise en œuvre d'un filigranage (watermarking) lisible par machine pour les textes générés par les modèles de langage de grande taille (LLM), spécifiquement dans le contexte des mandats réglementaires comme l'IA Act de l'UE (Article 50). Les auteurs identifient trois déficiences structurelles dans les schémas de filigranage existants (ex: KGW, SWEET, EWD) qui entravent les audits destinés aux régulateurs :

Détection liée au modèle (Model-Bound Detection) : Les méthodes existantes nécessitent souvent l'accès au modèle générateur ou à son état interne (ex: logits, entropie) lors de la détection, ce qui empêche les auditeurs tiers de vérifier le texte sans le modèle.
Absence d'étalonnage à forme fermée : Aucun schéma existant ne fournit de correspondance mathématique entre les cibles spécifiques d'un régulateur (taux de faux positifs $\alpha$ , longueur minimale du texte $n_{min}$ et budget de filigranage $\rho$ ) et les paramètres de configuration concrets (ex: force du filigrane) requis pour le déploiement.
Robustesse fragile : Les schémas actuels souffrent d'une dégradation significative des taux de vrais positifs (TPR) sous des attaques courantes comme la traduction (ex: rétro-traduction de chinois) et la substitution aléatoire, tombant souvent en dessous de 20 % de TPR pour des budgets équivalents.

2. Méthodologie : Le Schéma ChainMark

ChainMark est un schéma de filigranage actif conçu pour être sans modèle (model-free) lors de la détection et étalonné via des mathématiques à forme fermée.

Mécanisme Central

Partitionnement d'état : Une clé secrète $\kappa$ est utilisée avec une fonction de hachage (SHA-256) pour mapper chaque jeton (token) du vocabulaire $v$ à l'un des $S$ états discrets : $\sigma_\kappa(v) = \text{SHA-256}(\kappa \parallel v) \mod S$ . Cela partitionne le vocabulaire en $S$ ensembles disjoints $V_0, \dots, V_{S-1}$ .
Transition d'horlogerie (Clockwork Transition) : Les états sont disposés selon un cycle fixe ( $s \to (s+1) \mod S$ ).
Génération (Incrustation) : À une fraction $\rho$ des positions de jetons (déterminée par une porte d'entropie), le modèle est contraint d'émettre un jeton de l'état suivant dans le cycle. Plus précisément, les logits pour les jetons ne faisant pas partie de l'ensemble d'état cible sont masqués à $-\infty$ , et le modèle sélectionne l'argmax parmi les jetons valides restants. Aux positions non filtrées, le modèle échantillonne librement.
Détection (Vérification) : Un vérificateur, possédant uniquement la clé secrète et le tokenizer (sans accès au LLM), re-calcule l'état pour chaque jeton du texte. Le vérificateur calcule la fraction de transitions valides $\phi$ $ϕ$ où la séquence d'états suit le cycle.
- Hypothèse nulle ( $H_0$ ) : Pour un texte non filigrané, les transitions sont aléatoires, produisant un taux attendu de $p_0 = 1/S$ (pour une chaîne d'horlogerie 1-régulière).
- Hypothèse alternative ( $H_1$ ) : Un texte filigrané présente un taux valide de $\approx 1/S + \rho(1 - 1/S)$ .
- Test statistique : Un test $z$ standard est effectué sur $\phi$ pour déterminer si le texte est filigrané. La complexité de détection est de $O(n)$ opérations de hachage.

Étalonnage et Robustesse

Étalonnage à forme fermée : Les auteurs dérivent une formule $S^\star(n, \rho, \alpha)$ qui mappe directement les cibles du régulateur au nombre minimal d'états $S$ requis pour garantir un taux de faux positifs (FPR) $\le \alpha$ .
Recalibrage empirique : Pour tenir compte de la distribution non uniforme des jetons du langage naturel à travers les états de hachage, un pas de recalibrage sur un corpus est proposé. Cela ajuste le seuil de détection basé sur la moyenne empirique et l'écart-type du score $z$ sur du texte non filigrané, rétablissant le FPR cible sans modifier la configuration du filigrane.
Seuil de robustesse universel : L'article prouve que sous une substitution aléatoire uniforme, le filigrane survit jusqu'à une fraction d'édition $\delta^\star = 1 - 1/\sqrt{2} \approx 29,3\%$ . Crucialement, ce seuil est invariant aux paramètres $S$ , $\rho$ , et $n$ .

3. Contributions Clés

Détection sans modèle : ChainMark permet l'audit par des tiers en utilisant uniquement la clé secrète et le tokenizer, supprimant le besoin du LLM générateur lors de l'inférence.
Étalonnage orienté opérateur : La dérivation de la carte à forme fermée $S^\star(n, \rho, \alpha)$ permet aux régulateurs de spécifier des cibles de détection qui se traduisent directement en configurations déployables.
Garanties de robustesse : Des preuves théoriques établissent un seuil de robustesse universel ( $\approx 29,3\%$ ) contre la substitution uniforme, indépendant des paramètres du système.
Généralisabilité : Le cadre s'étend à toute topologie de transition doublement stochastique $k$ -régulière, pas seulement à la simple chaîne d'horlogerie.

4. Résultats Expérimentaux

Des expériences ont été menées sur trois LLM ajustés par instruction (Llama-3.1-8B, Qwen-2.5-7B, Mistral-7B) à travers quatre domaines (code, factuel, wiki, écriture).

Performance à budget égal : Comparé à KGW et SWEET à un budget de filigranage fixe ( $\rho=0,5$ $ρ = 0, 5$ ), ChainMark surpasse significativement les bases de référence sous attaque.
- Texte propre : ChainMark a atteint 100 % de TPR.
- Substitution aléatoire ( $\delta=0,20$ ) : ChainMark a conservé 99,9 % de TPR, tandis que KGW et SWEET sont tombés respectivement à ~55 % et ~51 %.
- Rétro-traduction de Chinois : ChainMark a conservé un TPR de 72,8 %, alors que KGW et SWEET sont tombés en dessous de 20 % (19,4 % et 18,0 %).
Coût de Qualité : Cette robustesse s'accompagne d'un coût de auto-perplexité accru (ChainMark : 3,66 contre les bases de référence : ~1,80–1,93).
Validation de l'étalonnage : Les résultats empiriques ont confirmé que l'étalonnage à forme fermée fournit le bon ordre des comptes d'états, et que le recalibrage empirique a réussi à réduire le taux de faux positifs d'environ 2,0 % à la cible de 1 % sans sacrifier la détection des vrais positifs.

5. Signification et Revendications

L'article affirme que ChainMark fournit le substrat technique nécessaire aux cadres réglementaires tels que l'IA Act de l'UE en résolvant le problème de "l'auditabilité". Sa principale signification réside dans :

Cartographie Politique-vers-Configuration : Il traduit les exigences réglementaires abstraites (FPR, longueur du texte, budget) en paramètres de système concrets et auditables.
Auditabilité par des Tiers : En découplant la détection du modèle, il permet une vérification indépendante du contenu généré par l'IA, une condition préalable à une gouvernance transparente.
Compromis Robustesse vs Qualité : Les auteurs reconnaissent que ChainMark impose un coût de qualité mesurable (perplexité plus élevée), mais soutiennent qu'il s'agit d'un compromis nécessaire pour atteindre une haute robustesse contre les attaques de traduction et de substitution, là où les méthodes de pointe actuelles échouent.

Les auteurs restent modestes quant aux limites, notant que leurs revendications de robustesse actuelles concernent la traduction et la substitution uniforme, et que le schéma ne couvre pas encore les attaques de paraphrase préservant la grammaire (ex: DIPPER) ou les adversaires ayant un accès adaptatif au détecteur-requête. Ils soulignent également que les risques d'effet de gel (chilling effect) et de faux positifs sont des préjudices asymétriques qui doivent être gérés par un étalonnage de seuil prudent.