🔢 mathematics

Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach

Ce papier propose un nouveau cadre autorégressif par blocs pour le tatouage numérique des grands modèles de langage à plusieurs bits, qui exploite des principes de la théorie de l'information, notamment le codage de Gelfand-Pinsker et la synthèse de canal, pour réaliser une insertion discrète à haute capacité et faible distorsion grâce à un algorithme explicite basé sur les codes polaires.

Auteurs originaux : Sidong Guo, Tyler Kann, Teodora Baluta, Matthieu R. Bloch

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sidong Guo, Tyler Kann, Teodora Baluta, Matthieu R. Bloch

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un robot très intelligent capable d'écrire des histoires, des e-mails ou du code. Ce robot est si habile à imiter l'écriture humaine qu'il est difficile de déterminer si un texte a été rédigé par un humain ou par le robot. Les auteurs de cet article souhaitent résoudre un problème spécifique : Comment pouvons-nous marquer secrètement l'écriture du robot pour prouver qu'elle provient de lui, sans que le texte ne semble étrange ou ne perde en qualité ?

Ils appellent cela le « tatouage numérique » (watermarking). Pensez-y comme à un filigrane caché dans un billet de banque, invisible à l'œil nu, mais détectable par un scanner spécial.

Voici une explication simple de leur approche, utilisant des analogies du quotidien :

1. Le Problème : Le Robot est Trop Strict

Habituellement, lorsqu'un robot écrit, il choisit les mots un par un, strictement en fonction du mot qu'il vient d'écrire. C'est comme un train sur une voie unique : une fois qu'il a quitté la gare, il ne peut pas regarder en avant pour voir à quoi ressemble la prochaine station.

Les auteurs ont réalisé que si le robot pouvait regarder en avant — ne serait-ce qu'un tout petit peu — il pourrait cacher des messages secrets beaucoup plus efficacement. Ils proposent une nouvelle façon pour le robot de fonctionner : Autorégressif par Blocs.

L'Analogie : Au lieu de choisir un mot à la fois, imaginez que le robot choisit un petit « bloc » de 8 mots à la fois. Avant de figer ces 8 mots, il examine toutes les combinaisons possibles de ces 8 mots. Cela lui donne une vue « non causale » (un aperçu de l'immédiat futur) de ce à quoi le texte pourrait ressembler.

2. La Solution : Le « Menu Secret »

L'idée centrale est d'utiliser cet « aperçu » pour cacher un message secret (comme une étiquette d'identification numérique) à l'intérieur du texte.

La Configuration : Imaginez que le robot possède un « menu de base » définissant comment il choisit habituellement les mots.
L'Astuce : Les auteurs introduisent un « menu secret » (le tatouage numérique). Lorsque le robot s'apprête à choisir un bloc de mots, il consulte son menu secret.
- Si le message secret indique « 0 », il choisit une combinaison de mots légèrement plus susceptible d'être sélectionnée dans un groupe spécifique.
- Si le message secret indique « 1 », il choisit dans un groupe différent.
La Magie : Le robot fait cela de manière si subtile que la « saveur » globale du texte (son motif statistique) reste presque identique à celle du texte non tatoué. Pour un lecteur humain, l'histoire semble parfaite. Pour un décodeur spécial disposant de la clé secrète, le motif des choix révèle le message caché.

3. Les Mathématiques : L'« Équilibre Parfait »

L'article utilise des mathématiques complexes (Théorie de l'Information) pour prouver la quantité de données secrètes qu'ils peuvent cacher sans altérer le texte.

L'Analogie de Gelfand-Pinsker : Imaginez que vous essayez d'envoyer un message à travers un canal radio bruyant, mais que vous savez exactement à quoi ressemblera le bruit avant de parler. Vous pouvez ajuster votre voix pour annuler parfaitement le bruit. Les auteurs traitent les choix naturels de mots du robot comme du « bruit » et le message secret comme le signal. Parce que le robot connaît à l'avance son propre « bruit » (la probabilité des choix de mots), il peut cacher le message plus efficacement.
Le Résultat : Ils ont calculé la vitesse théorique maximale à laquelle ils peuvent cacher des données. Ils ont découvert qu'en utilisant cette méthode de « regard en avant », ils peuvent cacher environ 0,375 bit de données par mot généré. C'est comme cacher un tout petit mot secret à l'intérieur de chaque mot sans que le lecteur ne s'en aperçoive.

4. L'Algorithme : Le « Contrôleur de Trafic Intelligent »

Pour rendre cela fonctionnel dans la réalité, ils n'ont pas seulement fait des hypothèses ; ils ont construit un système intelligent utilisant deux outils principaux :

CMDP (Processus de Décision Markovien Contraint) : Pensez-y comme à un contrôleur de trafic pour le robot. Le contrôleur doit décider quels mots choisir pour cacher le message. Mais il a une règle : « Ne faites pas en sorte que le texte semble étrange. » Le contrôleur vérifie constamment : « Si je choisis ce mot pour cacher un « 1 », les 7 mots suivants sonneront-ils encore naturels ? » Il équilibre la nécessité de cacher des données avec la nécessité de maintenir une haute qualité de texte.
Codes Polaires : Il s'agit d'un type spécifique de code de correction d'erreurs (comme un filet de sécurité). Même si le texte est légèrement altéré plus tard (ou si le décodeur est un peu incertain), ce code garantit que le message caché peut toujours être récupéré correctement.

5. Les Résultats : Ça Marche !

Les auteurs ont testé leur système en utilisant un véritable modèle de langage (LLaMA).

Discrétion : Le texte tatoué était presque indiscernable du texte normal. La « perplexité » (une mesure de la confusion ou du caractère artificiel du texte) a à peine changé.
Fiabilité : Ils ont réussi à cacher des messages avec un taux d'erreur très faible (moins de 10 % des bits cachés étaient perdus).
La Contrainte : Le système fonctionne mieux avec de courts blocs de texte (comme 8 mots à la fois). S'ils essayaient de regarder trop loin en avant (blocs plus longs), les mathématiques deviennent trop lourdes pour que les ordinateurs puissent les traiter rapidement.

Résumé

L'article propose une méthode pour marquer secrètement la sortie des grands modèles de langage en permettant au modèle de « regarder » un petit groupe de mots futurs avant de décider quoi écrire. En utilisant cet aperçu pour légèrement orienter ses choix de mots, il peut intégrer un message d'identification caché. Les mathématiques prouvent que cela est possible sans gâcher la qualité de l'écriture, et leur algorithme informatique l'a démontré avec succès en pratique.

Ce que l'article NE prétend PAS :

Il ne prétend pas que cela fonctionne pour n'importe quelle longueur de texte instantanément (il rencontre des difficultés avec des blocs très longs).
Il ne prétend pas que c'est une défense parfaite contre tous les mauvais usages de l'IA, seulement une méthode de traçage et de datation.
Il ne discute pas des utilisations médicales ou cliniques ; il s'agit purement de génération de texte et de théorie de l'information.

Résumé Technique : Filigrane Multi-bit Covert pour les LLM : Une Approche par la Théorie de l'Information et le Codage

Énoncé du Problème
L'article aborde le défi du filigrane multi-bit pour les grands modèles de langage (LLM). Bien que le filigrane à taux nul (binaire) ait été largement étudié pour détecter les textes générés par l'IA, l'incorporation de messages plus riches (par exemple, pour le traçage de la source ou l'horodatage) nécessite des taux d'incorporation plus élevés sans compromettre la qualité du texte ni sa détectabilité. Les approches algorithmiques existantes manquent souvent d'une caractérisation information-théorique précise des taux réalisables, conduisant à des performances sous-optimales. De plus, les LLM standards fonctionnent sous des contraintes strictement autorégressives, ce qui empêche les encodeurs d'accéder aux distributions de jetons futures, limitant ainsi l'application des cadres information-théoriques classiques non-causaux comme le codage de Gelfand-Pinsker (GP).

Méthodologie et Modèle de Système
Les auteurs proposent un modèle par blocs autorégressifs inspiré des architectures de prédiction multi-jetons (par exemple, le décodage spéculatif auto). Dans ce modèle, l'encodeur bénéficie d'un accès non-causal limité aux distributions de jetons au sein d'un bloc de longueur $n$ avant l'échantillonnage, à condition que la vérification ait lieu avant la sélection finale du jeton. Cette abstraction comble le fossé entre les LLM pratiques et les modèles information-théoriques.

L'approche technique centrale comprend trois composants principaux :

Formulation Information-Théorique : Le problème est modélisé comme un canal avec état (la distribution de base des jetons $S$ ) connu de manière non-causale à l'encodeur mais pas au décodeur. Les auteurs combinent le codage de Gelfand-Pinsker (GP) (pour l'incorporation du message) avec le codage de résolvabilité de canal (pour garantir que la distribution filigranée reste statistiquement proche de la distribution de base, assurant ainsi la coverture).
Caractérisation de la Capacité : L'article dérive une caractérisation exacte de la capacité de filigrane multi-bit covert. La capacité est définie comme le taux maximal $R$ tel que la distance de variation totale (TV) entre la distribution filigranée et la distribution de base s'annule asymptotiquement, tandis que la probabilité d'erreur de décodage tend vers zéro.
Implémentation Algorithmique :
- Processus de Décision Markovien Contraint (CMDP) : Pour gérer les longueurs de bloc finies et les effets de mémoire des LLM, l'optimisation des distributions conjointes à travers les blocs est formulée comme un CMDP. Cela permet au système d'équilibrer les taux d'incorporation immédiats avec l'impact sur l'évolution future de l'état.
- Codage Polar : Une construction explicite basée sur les codes polaires est développée. L'encodeur utilise la distribution conjointe apprise pour sélectionner les ensembles d'indices pour les bits de message ( $H_{enc} \cap L_{dec}$ ) et emploie une règle de cancellation successive modifiée pour gérer les dépendances au niveau de la séquence (états non-i.i.d.).
- Utilisation d'une Clé Secrète : Une clé secrète est utilisée pour chiffrer par masque jetable (OTP) des bits de message spécifiques, fournissant le bruit nécessaire au recouvrement doux (soft-covering) pour satisfaire la contrainte de coverture.

Contributions Clés

Proposition de Modèle : Introduction d'un modèle par blocs autorégressifs permettant un accès non-causal aux distributions de jetons au sein des blocs, facilitant l'adaptation des schémas GP et de résolvabilité de canal pour les LLM.
Analyse de Capacité : Dérivation de la capacité information-théorique exacte pour le filigrane multi-bit covert sous accès non-causal à l'état, exprimée comme $\max_{p(u|s), W(x|u,s)} [I(U; X) - I(U; S)]$ soumis à des contraintes d'appariement de distribution.
Conception d'Algorithme : Développement d'un algorithme de filigrane pratique intégrant le CMDP pour optimiser les distributions d'encodage sur plusieurs blocs et les codes polaires pour une construction explicite atteignant la capacité.

Résultats
Des expériences numériques ont été menées avec LLaMA3.2 1B avec une longueur de bloc de $L=8$ et $B=2$ blocs.

Performance : L'algorithme proposé atteint un taux d'erreur binaire (BER) inférieur à 10 % à un taux d'incorporation de 0,375 bits/jeton sur de courtes longueurs de jetons.
Qualité : La méthode maintient une dégradation négligeable de la perplexité (PPL) et de la qualité du texte, telle que mesurée par le mécanisme de notation du modèle de base.
Coverture : L'étude démontre que l'augmentation du nombre de clés secrètes réduit la distance de Variation Totale (TV) moyenne, s'alignant sur les prédictions théoriques. Cependant, pour des longueurs de bloc finies ( $L=8$ ), la polarisation est insuffisante pour réaliser pleinement les contraintes TV théoriques à des taux plus élevés, conduisant à un compromis où le dépassement de certains seuils de taux de clés peut dégrader l'efficacité de la coverture.

Signification et Revendications
L'article revendique fournir la première caractérisation information-théorique exacte de la capacité de filigrane multi-bit pour les LLM sous un modèle qui prend en compte les contraintes pratiques des LLM (spécifiquement, l'assouplissement de l'autorégression stricte via la prédiction multi-jetons). En unifiant le codage GP et la résolvabilité de canal, le travail établit une borne supérieure théorique sur les taux réalisables tout en assurant la coverture statistique.

Les auteurs soulignent que leur approche offre un cadre principiel pour l'incorporation de messages équilibrant robustesse, distorsion et coverture. Ils reconnaissent que l'implémentation actuelle est limitée par la complexité computationnelle de l'optimisation des distributions d'encodage et du calcul des paramètres de Bhattacharyya pour des longueurs de bloc plus longues, identifiant la conception d'approximations évolutives (par exemple, le décodage inadapté ou des alternatives neuronales) comme une direction principale pour les travaux futurs. Le travail est présenté comme une étape fondamentale vers un filigrane rigoureux et haute capacité pour les architectures de LLM de nouvelle génération.