🤖 machine learning

Watermark Forensics for Generative Models: An Information-Theoretic Perspective

Cet article établit un cadre informationnel fondamental pour les tatouages numériques de modèles génératifs, prouvant que l'attribution multi-utilisateur et l'extraction de charge utile sans distorsion statistique nécessitent des longueurs d'échantillon proportionnelles à l'entropie du secret divisée par le taux d'entropie de la source, tout en révélant des compromis inhérents entre détection, attribution et localisation.

Auteurs originaux : Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez qu'une fontaine magique recrache des histoires, des images ou des chansons. Imaginez maintenant que le propriétaire de la fontaine veuille savoir : « Est-ce un humain qui a écrit ceci, ou une machine ? » Mieux encore, il voudrait savoir : « Quel humain spécifique a demandé à la machine de l'écrire ? » et « Pouvons-nous trouver le message secret caché par l'humain à l'intérieur ? »

Ce document traite ces questions comme une échelle de forensique. Vous pouvez grimper l'échelle échelon par échelon, mais voici le piège : chaque marche vers le haut coûte plus de « tokens » (les petits blocs de construction du texte ou des images). Plus vous voulez monter haut, plus l'histoire doit être longue.

Le Grand Livre Magique : Le « Profil d'Information »

Les auteurs ont découvert que toutes ces questions forensiques sont en réalité de différentes manières de lire une carte invisible appelée le Profil d'Information.

Imaginez que le secret (comme le nom d'un utilisateur ou un message caché) soit un sac à dos lourd. Le « Profil d'Information » est une carte montrant exactement où ce sac à dos est placé à l'intérieur de l'histoire.

La Masse : Quelle quantité du sac à dos est présente ? (Cela paie pour l'Attribution et l'Extraction).
La Forme : Où le sac à dos est-il assis ? Est-il étalé sur toute l'histoire, ou caché dans quelques endroits précis ? (Cela paie pour la Localisation).

L'article soutient que vous ne pouvez pas tricher avec les mathématiques. La quantité d'information que la machine met réellement dans l'histoire au moment de sa création est la seule monnaie que vous possédez. Vous ne pouvez pas dépenser plus que ce que vous avez déposé.

L'Échelle des Questions

Échelon 0 : Détection (Est-ce de l'IA ?)

La Question : « Cette histoire est-elle faite par une machine ? »
Le Coût : C'est l'échelon le moins cher. Cela ne coûte qu'une infime partie de « distorsion » (rendre l'histoire légèrement différente d'une version naturelle).
Le Piège : Ce n'est pas parce que vous pouvez détecter que c'est de l'IA que vous savez qui l'a fait. L'article prouve qu'il existe une fenêtre de « zone aveugle » : une histoire peut être assez bruyante pour hurler « Je suis une IA ! » tout en étant trop courte pour chuchoter « J'ai été faite par l'Utilisateur n°42 ».

Échelon 1 : Attribution (Qui l'a fait ?)

La Question : « Lequel des $N$ utilisateurs a généré ceci ? »
Le Coût : Cela devient cher très rapidement. Pour identifier un utilisateur parmi une foule de $N$ , l'histoire doit mesurer environ $\log N$ tokens.
La Surprise : L'article a découvert un « piège » dans la façon dont les gens comptent habituellement. Si vous cherchez simplement des clés qui correspondent parfaitement au texte, vous pourriez avoir besoin de 1,6 fois plus de tokens que nécessaire (plus précisément, le rapport entre le taux d'entropie de la source $h$ et son taux de Rényi-2 $r_2$ ). Les auteurs montrent une méthode plus intelligente de comptage qui vous fait économiser ce coût supplémentaire de 60 %.

Échelon 2 : Extraction (Quel est le secret ?)

La Question : « Quel est le message caché ? »
Le Coût : Similaire à l'attribution. Si vous voulez cacher un message de $\ell$ bits, vous avez besoin d'une histoire assez longue pour porter ce poids.

Échelon 3 : Localisation (Où se trouve la marque ?)

La Question : « Quelle partie spécifique de l'histoire détient le secret ? »
Le Coût : C'est la partie la plus difficile. L'article prouve une règle stricte : Vous ne pouvez pas avoir une marque minuscule et cachée qui survit au recadrage (cropping).
L'Analogie : Imaginez essayer de cacher un secret dans un seul grain de sable sur une plage. Si quelqu'un découpe un morceau de la plage (recadrage), il pourrait emporter votre grain et laisser le reste. Pour survivre à n'importe quelle coupe, votre secret doit être étalé sur l'ensemble de la plage. Si vous voulez localiser précisément où se trouve la marque, la marque doit être partout. Vous ne pouvez pas avoir une petite empreinte et une haute résolution en même temps.

Les Deux Types de Filigranes

L'article classe les filigranes en deux camps, qui agissent comme deux manières différentes de porter ce sac à dos :

Le Filigrane de « Biaisage » (La Répartition Fine) :
- Comment ça marche : Il murmure un petit secret dans chaque token de l'histoire. C'est subtil partout.
- Le Coût : Parce que le secret est si fin, vous avez besoin d'une histoire très longue pour l'entendre assez clairement afin d'identifier l'utilisateur. Le coût est lié à la quantité de distorsion que vous vous autorisez.
- Exemples concrets : La plupart des filigranes textuels actuels (comme la méthode de la « liste verte ») sont comme cela. Ils sont partout, mais nécessitent des textes longs pour fonctionner pour l'attribution.
Le Filigrane d'« Insertion » (Le Tampon Bruyant) :
- Comment ça marche : Il crie le secret bruyamment, mais seulement dans quelques endroits spécifiques (comme les premiers mots).
- Le Coût : C'est bon marché ! Vous pouvez identifier l'utilisateur avec un texte très court car le secret est fort et clair.
- Le Piège : C'est fragile. Si quelqu'un édite le texte ou recadre l'image, le secret disparaît.
- Exemples concrets : L'article a trouvé que presque aucun filigrane réel n'utilise efficacement cette astuce de la « petite empreinte ». La plupart des filigranes d'« insertion » (comme ceux pour les images) étalent en fait le secret sur toute l'image pour survivre aux modifications, ce qui les rend en réalité de type « biaisage ».

Ce que l'Article Écarte

La « Solution Miracle » : L'article affirme explicitement que vous ne pouvez pas avoir un filigrane qui soit à la fois minuscule (petite empreinte), invisible (sans distorsion) et capable de survivre aux modifications (robuste au recadrage) en même temps. Les mathématiques l'interdisent. Si vous voulez survivre au recadrage, la marque doit être grande.
Le « Repas Gratuit » : Vous ne pouvez pas obtenir l'attribution (identifier l'utilisateur) gratuitement. Cela coûte toujours plus de tokens que la simple détection. Il existe un écart garanti où un texte est détectable comme étant de l'IA mais impossible à attribuer à une personne spécifique.

À quel point sont-ils sûrs d'eux ?

Les auteurs sont très confiants quant aux mathématiques. Ils ont prouvé les coûts de l'échelle en utilisant la théorie de l'information stricte (comme on prouverait une loi de la physique).

Prouvé : Les coûts pour la détection, l'attribution et le « principe d'incertitude » entre l'empreinte et la localisation sont mathématiquement prouvés.
Simulé : Ils ont testé ces théories sur de vrais modèles d'IA (GPT-2, Pythia, Qwen2.5) et les chiffres correspondent parfaitement. Par exemple, ils ont confirmé le piège du « surcoût de 1,6x » dans les modèles de langage réels.
Question Ouverte : Ils admettent que bien qu'ils aient prouvé les mathématiques pour un texte « parfaitement aligné », ils n'ont pas encore totalement résolu la question de savoir comment cela fonctionne si le texte est édité (par exemple, si quelqu'un supprime une phrase). Cette partie reste un mystère sur lequel ils travaillent encore.

L'Essentiel à Retenir

Les filigranes ne sont pas des autocollants magiques que l'on peut coller n'importe où. C'est un compromis.

Vous voulez savoir si c'est de l'IA ? Facile, texte court.
Vous voulez savoir qui l'a fait ? Il vous faut un texte plus long.
Vous voulez savoir où se trouve la marque ? La marque doit être partout, sinon elle disparaîtra si le texte est coupé.

L'article nous donne la liste de prix exacte de ces secrets, montant que dans le monde de l'IA, on ne peut pas tout avoir sans payer la taxe des tokens.

Résumé technique : Forensique des tatouages numériques pour les modèles génératifs : une perspective informationnelle

Énoncé du problème
Le papier traite des capacités forensiques des tatouages numériques (watermarks) dans les modèles génératifs, en dépassant la question binaire « ce contenu est-il produit par une machine ? » (détection) pour aborder une hiérarchie de tâches plus complexes : l'attribution (identifier lequel de $N$ utilisateurs a généré le contenu), l'extraction (récupérer une charge utile cachée) et la localisation (identifier la région spécifique du contenu portant la marque). Les auteurs soutiennent que la littérature existante traite ces éléments comme des problèmes disparates avec des solutions ad hoc, confondant souvent le mécanisme d'encodage (ex: « incorporer » un motif vs « biaiser » une distribution) avec les limites informationnelles fondamentales de ce qui peut être récupéré. La question centrale est : quelle est la complexité d'échantillonnage (longueur $n$ ) requise pour chaque tâche forensique, et comment ces coûts sont-ils liés aux contraintes de qualité du tatouage (fidélité, budget de distorsion ou entropie) ?

Méthodologie et cadre théorique
Les auteurs introduisent un cadre unifié organisé autour d'un objet unique : le profil d'information $\nu(t)$ .

Définition : $\nu(t) := I(S; X_t | X_{<t})$ , où $S$ est le secret (identité de l'utilisateur ou charge utile), $X$ est le porteur généré (séquence de tokens), et $X_{<t}$ représente les tokens précédents. Cela mesure l'information sur $S$ révélée par le $t$ -ième token, conditionnellement au passé.
L'échelle forensique : Le papier modélise les tâches forensiques comme une échelle de problèmes statistiques :
- Niveau 0 (Détection) : La marque est-elle présente ? (Base indépendante du mécanisme).
- Niveau 1 (Attribution) : Lequel de $N$ utilisateurs ?
- Niveau 2 (Extraction) : Quelle est la charge utile de $\ell$ bits ?
- Niveau 3 (Localisation) : Où se trouve la marque ? (Robuste au recadrage/cropping).
Modèles de qualité : Le cadre unifie deux modèles de qualité distincts présents dans la littérature en tant que « plafonds de norme » sur le même profil $\nu$ $ν$ :
1. Distorsion bornée (Biaisage) $B(\Delta)$ : La marque est subtile sur chaque token, imposant une limite $L_\infty$ ( $\nu(t) \le \Delta$ ). Exemples : les tatouages de type "Green-list".
2. Empreinte (Incorporation) $E(m)$ : La marque est concentrée sur un petit ensemble de positions (empreinte $T$ avec $|T| \le m$ ), imposant une limite $L_0$ ( $\nu(t) = 0$ pour $t \notin T$ ). Exemples : Tree-Ring.
Le budget Forensique-Récupération : Par l'inégalité de traitement de l'information, l'information totale récupérable est bornée par la masse du profil : $\Phi(n) = \|\nu\|_1 = I(S; X)$ . Ce budget finance à la fois l'attribution et l'extraction.

Contributions clés et résultats

Combler la colonne d'entropie (Attribution dans les régimes sans distorsion) :
- Le papier établit la première loi de complexité d'échantillonnage serrée pour l'attribution multi-utilisateur dans les schémas statistiquement sans distorsion (où la sortie moyennée sur les clés est indiscernable de la distribution naturelle).
- Résultat : Pour une source stationnaire-ergodique avec un taux d'entropie $h$ , attribuer un texte à un utilisateur parmi $N$ coûte $n_{att} = \Theta(\log N / h)$ tokens.
- Mécanisme : Les auteurs proposent un décodeur à seuil de surprisal. Contrairement aux décodeurs de « cohérence » naïfs (qui comptent les correspondances de clés et souffrent du « piège de collision » et nécessitent $n \approx \log N / r_2$ , où $r_2$ est le taux de Rényi-2), le décodeur de surprisal n'accepte une clé que si la surprisal réalisée $-\log p_{nat}(X)$ dépasse un seuil $\tau = \log(N/\delta)$ . Cela atteint le taux de Shannon $h$ avec une garantie de faux positif par innocent exacte et non asymptotique ( $\delta/N$ ).
- Signification : Cela résout l'écart entre la borne de Fano (converse) et l'accessibilité (achievability), montrant que le taux d'entropie de Shannon, et non le taux de collision, régit la complexité de décision.
Le fossé forensique (Détection vs Attribution) :
- Le papier prouve que la détection et l'attribution ont des coûts fondamentalement différents. La détection est un test à deux points fixe coûtant $\Theta(1/\Delta)$ (ou $\Theta(\lambda/h)$ pour le cas sans distorsion), indépendant de $N$ . L'attribution nécessite l'extraction de $\log N$ nats d'identité.
- Résultat : Il existe une fenêtre de « fossé forensique » où un texte est détectable (erreur $\to 0$ ) mais non attribuable (erreur $\to 1$ ). Spécifiquement, pour les schémas de biaisage, l'attribution nécessite $n \approx \log N / \Delta$ , tandis que la détection sature bien plus tôt.
- Implication : Un texte peut être prouvé comme étant produit par une machine sans être attribuable à un utilisateur spécifique.
Découplage par l'empreinte (Les deux modèles de qualité) :
- Le papier formalise la distinction entre les schémas de « biaisage » (support complet) et d'« incorporation » (petite empreinte).
- Résultat :
  - Biaisage ( $B(\Delta)$ ) : L'attribution coûte $\Theta(\log N / \Delta)$ . Le coût est couplé au budget de distorsion ; rendre la marque plus furtive ( $\Delta \to 0$ ) rend l'attribution infiniment coûteuse.
  - Incorporation ( $E(m)$ ) : L'attribution coûte $\Theta(\log N / \log q)$ , indépendamment de tout plafond de distorsion par token. L'imperceptibilité est obtenue par une empreinte décroissante ( $m/n \to 0$ ), et non par une distorsion subtile par token.
- Limitation : Le papier note que bien que le découplage informationnel existe, le seul témoin connu (un « tampon numérique » ou digit stamp) n'est pas robuste aux éditions. Les schémas déployables qui localisent (ex: SEAL, EditGuard) sont identifiés comme étant à support complet (biaisage), mais atteignent la localisation via une lecture fine, et non par de petites empreintes.
Localisation et principe d'incertitude :
- Le papier dérive un principe d'incertitude empreinte-résolution pour une localisation robuste au recadrage (cropping).
- Résultat : Pour localiser une marque dans une fenêtre de taille $w$ de manière robuste contre le recadrage, l'empreinte du porteur doit satisfaire $|R| \cdot w = \Omega(n)$ .
- Implication : Un schéma d'incorporation à petite empreinte ( $m = o(n)$ ) ne peut pas être robuste au recadrage à haute résolution. Une localisation à haute résolution force la marque à avoir un support complet (biaisage), excluant de fait les schémas à petite empreinte pour les tâches de localisation robuste.
Validation empirique :
- Les auteurs valident le « piège de collision » sur des modèles de langage réels (GPT-2, Pythia-410M, Qwen2.5). Ils mesurent le ratio $h/r_2 \approx 1.6$ sur divers modèles, confirmant que les décodeurs de cohérence naïfs surchargent d'un facteur 1,6 par rapport au décodeur optimal à seuil de surprisal.
- Les expériences sur le tatouage de type "Green-list" confirment le fossé forensique : la détection sature à $\approx 28$ tokens, tandis que l'exactitude de l'attribution accuse un retard significatif, croissant linéairement avec $\log N$ .

Signification et revendications
Le papier prétend fournir les premiers lois informationnelles serrées et bilatérales pour la complexité d'échantillonnage de l'attribution et de l'extraction dans les modèles génératifs.

Unification : Il unifie les tâches forensiques disparates (détection, attribution, extraction, localisation) et les modèles de qualité (biaisage vs incorporation) sous une mesure unique : le profil d'information $\nu(t)$ .
Impact réglementaire : Les auteurs soutiennent que les réglementations actuelles (ex: l'IA Act de l'UE) présument souvent un « objet extractible » (ontologie d'incorporation). Les résultats du papier montrent que pour les tatouages de biaisage (la classe dominante en pratique), de tels mandats s'accompagnent d'un coût d'échantillonnage divergent ( $\Theta(\log N / \Delta)$ ) à mesure que la marque devient plus furtive, alors que les schémas d'incorporation offrent un coût fixe mais sont actuellement limités par des contraintes de robustesse.
Problèmes ouverts : Le papier identifie explicitement l'absence d'un schéma d'attribution sans distorsion et robuste aux éditions comme le problème ouvert le plus aigu. Bien que le taux théorique $\Theta(\log N / h)$ soit résolu, le témoin actuel (alignement exact) n'est pas robuste aux éditions. Il reste ouvert de savoir si un décodeur robuste aux éditions peut atteindre ce taux ou s'il est forcé de revenir au coût plus élevé de la Rényi-2.

En résumé, le papier pose que la puissance forensique d'un tatouage n'est pas déterminée par la mécanique de son incorporation, mais par l'information qu'il rend récupérable (le profil $\nu$ ) et la géométrie de son empreinte. Les « prix » des tâches forensiques sont strictement régis par ces quantités informationnelles.