🤖 AI

Every Bit, Everywhere, All at Once: A Binomial Multibit LLM Watermark

Ce papier présente un nouveau schéma de tatouage numérique pour les grands modèles de langage (LLM) basé sur un codage binaire multibit qui encode chaque bit d'une charge utile à chaque position de token à l'aide d'un encodeur étatique pour prioriser dynamiquement les bits sous-codés, atteignant une précision et une robustesse supérieures aux références existantes tout en proposant une métrique de notation de confiance par bit plus pratique pour l'évaluation.

Auteurs originaux : Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Cacher un Message Secret dans un Livre

Imaginez que vous êtes un auteur (une IA) écrivant un livre. Vous voulez prouver que vous avez écrit une page spécifique, ou peut-être souhaitez-vous cacher une note secrète à l'intérieur du texte, comme l'ID d'un utilisateur ou un horodatage.

Pendant longtemps, les chercheurs ont essayé de faire cela en cachant un seul bit d'information (un « oui » ou un « non ») dans chaque phrase. C'est comme apposer un petit « X » sur chaque page pour dire : « Cette page est réelle ». Cela fonctionne pour la détection, mais cela ne peut pas porter des messages complexes comme « L'utilisateur #1234 a écrit ceci ».

Pour cacher un message plus long (comme un code de 32 bits ou 64 bits), les méthodes précédentes tentaient une stratégie appelée « Allocation de Position ».

L'Ancienne Méthode : Imaginez que vous avez un code secret de 32 bits. L'ancienne méthode dit : « Pour le premier mot, je cacherai le premier bit du code. Pour le deuxième mot, je cacherai le deuxième bit. Pour le troisième mot, le troisième bit. »
Le Défaut : C'est comme essayer de porter une lourde valise en n'utilisant qu'un seul doigt à la fois. Si vous manquez un mot, vous perdez cette pièce spécifique du puzzle. De plus, parfois le « doigt » se fatigue, et le message devient incompréhensible. C'est inefficace et fragile.

La Nouvelle Solution : L'Approche « Binomiale »

Les auteurs proposent une façon fondamentalement nouvelle de cacher le message. Au lieu de cacher une pièce du puzzle à la fois, ils cachent l'ensemble du puzzle dans chaque mot.

L'Analogie : Le Chœur et le Chef d'Orchestre

Imaginez un chœur (l'IA) chantant une chanson.

Le Secret : Le chef d'orchestre a une mélodie secrète de 32 notes (le message) qu'il veut que le chœur chante.
L'Ancienne Méthode : Le chef pointe le premier chanteur et dit : « Chantez la note 1 ». Puis il pointe le deuxième chanteur : « Chantez la note 2 ». Si le deuxième chanteur oublie, la note 2 est perdue à jamais.
La Nouvelle Méthode (Encodage Binomial) : Le chef dit à chaque chanteur d'écouter la mélodie entière de 32 notes.
- Pour chaque mot qu'ils chantent, les membres du chœur ajustent subtilement leur hauteur de voix en fonction de toutes les 32 notes à la fois.
- C'est comme si chaque chanteur tenait une petite carte invisible de toute la mélodie.
- Si vous écoutez un seul mot, vous obtenez un indice vague de toute la mélodie. Si vous écoutez toute la chanson, vous pouvez reconstruire la mélodie parfaitement en prenant un « vote majoritaire » de tous les indices.

Pourquoi est-ce mieux ?
Parce que l'information est partout. Même si vous supprimez quelques mots (ou si l'IA fait une erreur), le reste du texte contient toujours le secret complet. Vous n'avez pas besoin de trouver le « bon » mot pour trouver le « bon » bit ; chaque mot contient une pièce du tableau entier.

La Mise à Niveau « Étatique » : Le Coach Intelligent

Les auteurs ont ajouté une deuxième couche d'intelligence appelée Encodeur Étatique.

Le Problème : Parfois, l'IA est très bonne pour cacher les premiers bits du secret, mais elle peine avec les derniers.
La Solution : Le « Coach » (l'encodeur) observe la chanson pendant qu'elle est écrite. Il réalise : « Hé, nous avons les 20 premières notes verrouillées, mais les 12 dernières sont instables. »
L'Action : Le Coach chuchote alors à l'IA : « Arrêtez de vous inquiéter des 20 premières notes. Concentrez toute votre énergie à rendre les 12 dernières notes parfaites. »
Résultat : Ce déplacement dynamique de l'attention garantit que l'ensemble du message ressort clairement, plutôt que de laisser les parties faibles entraîner tout le système vers le bas.

Une Nouvelle Façon de Mesurer le Succès

Le papier soutient également que nous mesurons mal ces filigranes numériques.

Ancienne Métrique : « Si nous savons que ce texte est filigrané, à quel point pouvons-nous bien lire le secret ? »
- Analogie : « Si je vous dis que ceci est un code secret, pouvez-vous le casser ? » Cela ignore le fait que, dans le monde réel, la plupart des textes ne sont pas des codes secrets.
Nouvelle Métrique (Confidence par Bit) : « Si nous regardons un texte aléatoire, pouvons-nous dire s'il y a un secret ? Et si oui, à quel point sommes-nous sûrs de chaque bit spécifique ? »
- Analogie : Au lieu de simplement deviner, le système vous donne un « score de confiance » pour chaque bit individuel. Il dit : « Je suis sûr à 99 % que le premier bit est un 1, mais je ne suis sûr qu'à 50 % du dernier. » Cela évite les fausses alarmes.

Les Résultats

Les auteurs ont testé leur méthode contre 8 autres méthodes de pointe utilisant des messages de 16, 32 et 64 bits.

Meilleure Précision : Leur méthode a décodé les messages secrets beaucoup plus précisément que les autres, en particulier pour les messages plus longs.
Plus Robuste : Même lorsque le texte était légèrement modifié (comme supprimer des mots ou remplacer des synonymes), leur méthode a mieux résisté que la concurrence.
Qualité : Le texte sonnait toujours naturel et n'a pas perdu beaucoup de qualité (il ne sonnait pas comme un robot qui en fait trop).

Résumé

Ce papier introduit une nouvelle façon de filigraner le texte généré par l'IA. Au lieu de cacher une petite pièce secrète dans chaque mot, il cache l'ensemble du message secret à l'intérieur de chaque mot. Il utilise un « coach intelligent » pour se concentrer sur les points faibles pendant la génération et introduit une nouvelle façon de mesurer le succès qui prend en compte le bruit du monde réel. Le résultat est un système plus fort, plus précis et meilleur pour cacher de longs secrets complexes à la vue de tous.

Résumé technique : Chaque bit, partout, tout à la fois : un filigrane multiniveau binaire pour les modèles de langage

Énoncé du problème

Le filigranage des modèles de langage (LLM) est passé de la recherche théorique au déploiement commercial, se concentrant principalement sur les filigranes zéro-bit qui répondent à une question binaire : « Ce texte a-t-il été généré par un modèle spécifique ? » Cependant, les applications pratiques émergentes nécessitent des filigranes multiniveaux capables d'encoder des charges utiles complexes (par exemple, identifiants d'utilisateur, horodatages, métadonnées de licence) directement dans le texte généré.

Les schémas multiniveaux existants reposent principalement sur l'allocation de positions (par exemple, MPAC, MirrorMark), où chaque étape de génération encode un seul bit de la charge utile à une position spécifique. Cette approche souffre de deux limitations majeures :

Sous-optimalité : L'encodage d'un seul bit par token est inefficace, et les positions allouées peuvent être inégalement réparties.
Évolutivité : Les approches alternatives évitant l'allocation de positions (par exemple, Cycle-Shift, ArcMark) sont limitées par le calcul à des charges utiles courtes, car le temps de décodage augmente de manière exponentielle avec la longueur du message.

Le défi central abordé par ce travail consiste à concevoir un schéma de filigranage multiniveau capable d'encoder efficacement de longues chaînes de bits sans recourir à l'allocation de positions, tout en maintenant une haute précision et une grande robustesse du message.

Méthodologie

Les auteurs proposent une approche fondamentalement nouvelle basée sur l'encodage binomial, qui encode la chaîne de bits complète du message à chaque position de token.

1. Encodage et décodage binomiaux

Contrairement aux travaux antérieurs qui sélectionnent un seul bit à encoder par token, cette méthode encode chaque bit de la charge utile de $m$ bits à chaque étape de génération.

Encodage : À chaque position de token $t$ , le système échantillonne $m$ vecteurs de scores indépendants suivant une loi de Bernoulli(0,5) ( $G^1_t, \dots, G^m_t$ ) à l'aide d'un générateur de nombres pseudo-aléatoires (PRNG) initialisé par le contexte et une clé privée. Pour chaque bit $M_i$ de la charge utile, le vecteur de score correspondant est inversé (complété) si $M_i = 1$ . Le vecteur de score final $\tilde{G}_t$ est la somme de ces $m$ vecteurs modifiés. La distribution des tokens est ensuite biaisée vers les tokens ayant des scores $\tilde{G}_t$ plus élevés.
Décodage : Pour décoder, le système recalculé les scores de Bernoulli pour chaque token du texte. Le bit décodé pour la position $i$ est déterminé par un vote majoritaire à travers tous les tokens. Crucialement, la méthode fournit un score de confiance par bit utilisant des tests binomiaux bilatéraux, permettant au système d'évaluer la signification statistique de chaque bit décodé sans supposer que le texte est filigrané.

2. Encodeur avec état

Pour améliorer la précision des bits, les auteurs introduisent un encodeur avec état qui redirige dynamiquement la pression d'encodage pendant la génération.

L'encodeur suit la statistique de décodage actuelle pour chaque bit basée sur la séquence partiellement générée.
Il calcule la précision attendue du pire cas pour chaque bit si les tokens restants sont générés sans filigranage.
La fonction de score est ajustée pour privilégier les bits actuellement sous-encodés (c'est-à-dire ceux dont les statistiques de décodage sont proches de la frontière de décision), maximisant ainsi la précision globale attendue des bits.

3. Métriques d'évaluation

L'article remet en question les métriques d'évaluation existantes (par exemple, la précision brute du message) qui supposent que le texte d'entrée est déjà connu comme étant filigrané. Les auteurs soutiennent que dans un déploiement réel, il faut d'abord détecter si un message existe. Ils introduisent la Précision des bits au taux de faux positifs $\alpha\%$ (BA@ $\alpha\%$ FPR) comme métrique plus pratique. Cette métrique mesure la probabilité de décoder correctement un bit tout en garantissant que le texte non filigrané n'est pas faussement signalé comme contenant un message plus de $\alpha\%$ du temps.

Contributions clés

Premier filigrane multiniveau sans allocation de positions : Les auteurs présentent le premier schéma qui encode la chaîne de bits complète du message à chaque position de token via l'encodage binomial, évitant ainsi les limites d'évolutivité et d'efficacité de l'allocation de positions.
Encodeur avec état : Un mécanisme novateur qui priorise dynamiquement les bits sous-performants pendant la génération, améliorant considérablement la précision des bits sans modifier la stratégie de décodage.
Nouveau cadre d'évaluation : L'article critique les métriques antérieures pour leur manque de pertinence pratique concernant les faux positifs et propose le score de confiance par bit (BA@ $\alpha\%$ FPR) comme norme pour évaluer les filigranes multiniveaux dans des scénarios réalistes.
Évaluation complète : Des expériences extensives contre 8 lignes de base sur des charges utiles de 16, 32 et 64 bits démontrent une performance supérieure en précision des bits, précision du message et robustesse, en particulier dans les régimes de faible distorsion et avec des charges utiles plus importantes.

Résultats

L'évaluation a été réalisée en utilisant LLAMA3.1-8B et MINISTRAL-3-14B avec des charges utiles de 16, 32 et 64 bits.

Précision du message : Le schéma proposé (spécifiquement la version avec état, « Ours+ ») surpasse les 8 lignes de base (y compris MPAC, MirrorMark, ArcMark et StealthInk) en précision du message, l'écart de performance s'élargissant pour les charges utiles plus longues (32 et 64 bits) et les paramètres de faible distorsion.
Précision basée sur la confiance (BA@1%FPR) : La version sans état de la méthode proposée atteint un BA@1%FPR significativement plus élevé que les lignes de base, indiquant une capacité supérieure à distinguer les bits filigranés du bruit aléatoire tout en contrôlant les faux positifs.
Robustesse : Bien que la robustesse reste un défi pour tous les filigranes multiniveaux (la précision chute brusquement avec une suppression ou un paraphrase de mots >10 %), la méthode proposée surpasse constamment les lignes de base face à diverses modifications de texte.
Passage à l'échelle : Le schéma évolue plus favorablement avec le nombre de tokens par rapport aux lignes de base ; à 500 tokens, la méthode proposée atteint une précision des bits >90 %, tandis que la meilleure ligne de base atteint ~80 %.

Importance et affirmations

L'article prétend ouvrir une nouvelle direction pour la recherche sur le filigranage multiniveau en démontrant que l'encodage binomial est un paradigme plus puissant que l'allocation de positions. Les auteurs affirment que leur approche encode efficacement de grandes charges utiles sans l'intratabilité computationnelle des méthodes précédentes sans allocation (comme Cycle-Shift).

De plus, ce travail met en évidence un écart critique dans le domaine : l'absence de métriques d'évaluation pratiques pour les filigranes multiniveaux. En introduisant le score de confiance par bit, les auteurs soutiennent que les recherches et déploiements futurs doivent tenir compte de la probabilité de faux positifs lors du décodage de messages à partir de texte arbitraire, et non uniquement de texte filigrané.

Les auteurs restent modestes concernant les limites, reconnaissant que la robustesse face aux modifications de texte (par exemple, le paraphrase) reste un problème ouvert et que, bien que leurs résultats empiriques montrent une supériorité sur l'allocation de positions, des preuves théoriques d'optimalité stricte pour les méthodes sans allocation de positions ne sont pas fournies. Ils notent également que l'encodeur avec état, bien qu'il améliore la précision du message, peut légèrement réduire les métriques basées sur la confiance car il optimise la précision attendue plutôt que la signification statistique par bit.