💻 computer science

Can we Watermark Low-Entropy LLM Outputs?

Cet article propose de nouvelles méthodes de filigrane pour les sorties des grands modèles de langage à faible entropie, garantissant leur indétectabilité et leur robustesse face aux substitutions et suppressions aléatoires, sans dépendre d'hypothèses restrictives sur la taille de l'alphabet ou le taux d'entropie constant.

Auteurs originaux : Noam Mazor, Andrew Morgan, Rafael Pass

Publié 2026-04-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Noam Mazor, Andrew Morgan, Rafael Pass

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'IA qui se fait passer pour un humain

Imaginez que les modèles de langage (comme les IA qui écrivent des textes) deviennent si bons qu'ils sont indistinguables des humains. C'est génial, mais dangereux : comment savoir si un article, un email ou un roman a été écrit par une machine ou par une personne ?

Les chercheurs veulent ajouter une "marque invisible" (un filigrane ou watermark) dans le texte généré par l'IA. C'est comme un tatouage secret sur la peau de l'IA. Si vous avez la clé secrète, vous pouvez voir le tatouage et dire : "Ah, c'est une IA !" Mais si quelqu'un d'autre regarde, il ne voit rien.

Le défi : Cette marque doit être indétectable (elle ne doit pas changer le style du texte) et robuste (elle ne doit pas disparaître si quelqu'un essaie de la retirer en modifiant le texte).

Le Problème Majeur : Les Textes "Ennuyeux" (Faible Entropie)

Jusqu'à présent, les méthodes pour ajouter cette marque invisible fonctionnaient bien seulement si l'IA écrivait des textes très variés et imprévisibles. En termes techniques, on dit que le texte doit avoir une "haute entropie".

L'analogie du désordre : Imaginez que vous essayez de cacher un message secret en mélangeant des cartes. Si vous avez un jeu de 52 cartes bien mélangées (haute entropie), c'est facile de cacher un message. Mais si l'IA répète toujours le même mot, comme "Le chat le chat le chat", c'est comme avoir un jeu de cartes où toutes les cartes sont des As. Il n'y a pas de place pour cacher le message sans que cela saute aux yeux.

Les méthodes précédentes échouaient dès que l'IA produisait des phrases simples, répétitives ou prévisibles (ce qui arrive souvent en réalité).

La Solution de ce Papier : Une Astuce de "Hachage"

Les auteurs (Mazor, Morgan, Pass) ont trouvé un moyen de mettre cette marque invisible même dans des textes très prévisibles (faible entropie).

Voici comment ils font, avec une analogie :

1. Le Problème du "Code Binaire"

Les anciennes méthodes essayaient de transformer chaque mot en une suite de 0 et de 1 (comme un code binaire) pour y cacher le message.

Le souci : Si le mot est "Le", il devient "01001100". Pour cacher le message, il faut changer un bit. Mais changer un bit peut transformer "Le" en un autre mot ou un charabia. C'est comme essayer de cacher un message en changeant une seule lettre d'un mot dans un dictionnaire : ça change tout le sens ou ça rend le mot bizarre.

2. L'Innovation : Le "Filtre Magique" (Hachage)

Au lieu de toucher aux mots eux-mêmes, les auteurs utilisent un filtre magique (une fonction de hachage).

L'analogie du tri : Imaginez que vous avez un tas de pommes (les mots de l'IA). Vous ne voulez pas changer la pomme elle-même. Au lieu de cela, vous avez un tamis spécial.
- Si la pomme tombe à gauche du tamis, c'est un "0".
- Si elle tombe à droite, c'est un "1".
La magie : Même si l'IA répète toujours le mot "Le", ce mot "Le" peut tomber à gauche ou à droite du tamis de manière aléatoire (selon le tamis utilisé).
L'astuce : Les auteurs utilisent plusieurs tamis différents pour différents blocs de texte. Ils ajustent subtilement le choix du mot final pour qu'il corresponde au "0" ou au "1" qu'ils veulent cacher, sans jamais changer la probabilité que l'IA choisisse ce mot.

C'est comme si vous aviez deux jumeaux identiques (deux mots possibles). L'IA en choisit un au hasard. Vous regardez le jumeau choisi, et vous dites : "Ah, celui-ci correspond à mon message secret !". Si ce n'est pas le bon, vous demandez à l'IA de choisir à nouveau (ou vous choisissez l'autre jumeau si cela ne change pas le sens global).

Pourquoi c'est génial ? (La Robustesse)

Le vrai génie de ce papier est que cette méthode résiste aux attaques.

L'ennemi : Imaginez un pirate qui lit le texte et essaie de supprimer la marque en changeant des mots (paraphrase) ou en en supprimant d'autres.
La résistance : Parce que la marque est cachée dans la structure de la sélection des mots (via le tamis) et non dans le mot lui-même, même si le pirate change 30% ou 40% des mots, la marque reste détectable.
L'analogie du message dans une bouteille : Les anciennes méthodes étaient comme un message écrit sur un papier fragile : si vous mouillez le papier (changez quelques mots), l'encre coule et le message disparaît. La nouvelle méthode est comme un message gravé dans la forme de la bouteille elle-même. Même si vous rayez la surface ou changez l'étiquette, la forme de la bouteille (la marque) reste reconnaissable.

En Résumé

Avant : On ne pouvait marquer les textes d'IA que s'ils étaient très créatifs et variés. Les textes simples échappaient à la détection.
Maintenant : Grâce à cette nouvelle technique, on peut marquer n'importe quel texte, même très simple et répétitif.
Comment ? En utilisant un système de "tamis" (hachage) qui permet de cacher le message dans la logique de sélection des mots, sans jamais altérer le style ou le sens du texte.
Résultat : Même si quelqu'un essaie de tricher en modifiant le texte, la marque invisible résiste et permet de prouver que c'est une IA.

C'est une avancée majeure pour la sécurité et la transparence de l'intelligence artificielle, car elle rend la détection beaucoup plus fiable, peu importe la qualité ou la complexité du texte généré.

1. Problématique et Contexte

L'émergence des modèles de langage (LLM) a rendu la distinction entre le contenu généré par l'IA et celui généré par l'humain de plus en plus difficile. Le filigranage (watermarking) est une solution prometteuse consistant à insérer un code caché dans le texte généré pour permettre sa détection ultérieure.

Cependant, les travaux récents sur le filigranage indétectable (où la distribution de sortie du modèle n'est pas altérée) et robuste (résistant aux attaques d'édition) se heurtent à une limitation majeure : l'hypothèse de haute entropie.

Les schémas existants (Christ et al., Golowich et al.) nécessitent qu'une fraction constante des tokens de la sortie ait une entropie empirique élevée (généralement logarithmique par rapport à la taille de l'alphabet des tokens, soit $O(\log |T|)$ ).
En pratique, les sorties naturelles des LLM contiennent souvent de nombreux tokens à faible entropie (mots très probables, structures répétitives), ce qui rend les schémas actuels inefficaces ou inapplicables sans hypothèses de distribution fortes.

La question centrale de l'article est : Peut-on concevoir un schéma de filigranage indétectable et robuste pour les LLM dont la sortie possède une entropie par token très faible (constante, voire proche de 1 bit), sans dépendre de la taille de l'alphabet ou d'hypothèses de distribution spécifiques ?

2. Méthodologie et Approche Technique

Les auteurs proposent une nouvelle construction basée sur des Codes Pseudo-Aléatoires (PRC - Pseudorandom Codes) binaires, adaptée aux grands alphabets de tokens via une technique de hachage.

A. Réduction de l'Alphabet par Hachage

Contrairement aux approches précédentes qui tentent d'encoder directement un PRC dans une représentation binaire des tokens (ce qui augmente artificiellement l'entropie requise), ou qui utilisent des PRC à grand alphabet (ce qui impose une entropie logarithmique), les auteurs adoptent une approche intermédiaire :

Hachage des Tokens : Chaque token $t$ généré par le LLM est haché via une fonction $h: T \to \{0, 1\}$ pour obtenir un bit.
Encodage du PRC : Le filigrane est un codeword binaire d'un PRC. L'algorithme tente d'aligner le bit haché du token généré avec le bit correspondant du codeword PRC.
Préservation de la Distribution : Pour garantir l'indétectabilité, l'algorithme ne force pas le token. Il échantillonne deux tokens candidats $t_0, t_1$ depuis la distribution du LLM. Si leurs hachages diffèrent ( $h(t_0) \neq h(t_1)$ ), il choisit celui qui correspond au bit du PRC. Sinon, il choisit aléatoirement l'un des deux. Cela préserve la distribution originale du LLM tout en insérant le signal.

B. Gestion des Attaques et de la Robustesse

Le défi principal est de maintenir la robustesse face aux substitutions et suppressions aléatoires tout en réutilisant la même fonction de hachage pour un bloc de tokens (nécessaire pour gérer les suppressions, contrairement à un hachage par token).

Analyse des erreurs : Les auteurs démontrent que si une fraction constante des tokens a une entropie d'au moins 1 bit, alors avec une probabilité constante, le hachage "sépare" les tokens ( $h(t_0) \neq h(t_1)$ ), permettant un encodage correct.
Résistance aux substitutions : Ils montrent que même si un adversaire remplace des tokens aléatoirement, l'erreur introduite dans le codeword binaire reste bornée, à condition que le PRC sous-jacent soit robuste contre une fraction d'erreurs inférieure à $1/2$ .
Gestion des suppressions : En divisant la sortie en blocs indépendants (chaque bloc utilisant une fonction de hachage différente), le schéma tolère la suppression de tokens, car la détection ne nécessite que la récupération d'un seul bloc intact.

3. Contributions Clés et Résultats

L'article établit plusieurs théorèmes et corollaires reliant la robustesse des PRC binaires à celle des schémas de filigranage pour grands alphabets à faible entropie.

A. Robustesse aux Substitutions Aléatoires

Résultat : En supposant l'existence d'un PRC binaire robuste contre une fraction $(1/2 - \delta)$ de substitutions adverses (basé sur la difficulté sous-exponentielle du problème LPN - Learning Parity with Noise), les auteurs construisent un schéma de filigranage indétectable.
Condition d'entropie : Le schéma fonctionne tant qu'une fraction constante des tokens dans une sous-chaîne suffisamment longue a une entropie empirique d'au moins 1 bit.
Avantage : Cela élimine la dépendance à la taille de l'alphabet $|T|$ requise par les travaux précédents (qui exigeaient $O(\log |T|)$ ).

B. Robustesse aux Substitutions et Suppressions Aléatoires

Approche 1 (Hypothèse heuristique) : En utilisant un PRC robuste aux substitutions et suppressions aléatoires, et en supposant que les erreurs d'encodage suivent une distribution "naturelle" (modélisable par un canal symétrique binaire, une hypothèse similaire à celle de Christ et Gunn), le schéma résiste aux deux types d'attaques.
Approche 2 (Sans hypothèse heuristique) : Si l'on dispose d'un PRC robuste aux substitutions adversaires et aux suppressions aléatoires, le schéma est robuste sans hypothèse supplémentaire sur la distribution des erreurs. Les auteurs notent que de tels PRC binaires ne sont pas encore connus pour des fractions élevées de suppressions, mais c'est une voie théorique ouverte.

C. Robustesse aux Éditions Adversaires (Insertions/Suppressions/Substitutions)

En s'appuyant sur une construction récente de PRC par [CGG+25] (basée sur l'hypothèse des "codes permuted"), les auteurs montrent qu'il est possible d'obtenir une robustesse contre une fraction constante d'éditions adverses (insertions, suppressions, substitutions).
Coût : Cette robustesse accrue impose que la fraction de tokens à haute entropie soit présente sur une plus grande portion de la sortie totale (une fraction constante de l'ensemble de la sortie, et non juste d'une sous-chaîne).

4. Tableau Comparatif des Résultats

Les auteurs comparent leur approche avec l'état de l'art (voir Figure 1 de l'article) :

[CG24] (Christ & Gunn) : Nécessite une entropie $O(\log |T|)$ .
[GM24] (Golowich & Moitra) : Nécessite une entropie $O(\log \lambda)$ (liée au paramètre de sécurité) et un grand alphabet pour le PRC.
Ce travail (Corollaires 1, 2, 3) : Réduit l'exigence d'entropie à $O(1)$ (constante, soit 1 bit), indépendamment de la taille de l'alphabet $|T|$ .

5. Signification et Impact

Praticité : Ce travail rend le filigranage indétectable applicable à des scénarios réalistes où les LLM génèrent du texte avec des structures prévisibles ou des mots très fréquents (faible entropie), là où les méthodes précédentes échouaient.
Modélisation des Attaques : Contrairement aux approches binaires qui modélisent les attaques au niveau des bits (ce qui ne correspond pas bien aux modifications sémantiques comme le paraphrase), cette méthode opère au niveau des tokens. Elle résiste donc mieux à des attaques réalistes comme le remplacement de mots par des synonymes ou la censure partielle.
Fondements Cryptographiques : L'article renforce le lien entre la cryptographie (PRC, LPN) et la sécurité des LLM, ouvrant la voie à des constructions plus efficaces en réduisant les hypothèses sur les données d'entrée.

En résumé, cet article démontre qu'il est théoriquement possible de créer des filigranes robustes et indétectables pour les LLM, même lorsque la sortie du modèle est très prévisible (faible entropie), en utilisant une astuce de hachage pour mapper les grands alphabets de tokens vers des codes binaires robustes.