💬 NLP

SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking

Ce papier propose SSG (**S**ort-then-**S**plit by **G**roups), une nouvelle méthode de partitionnement du vocabulaire qui améliore la détectabilité du tatouage numérique (watermarking) des LLM, particulièrement dans les contextes à faible entropie comme le code ou les mathématiques, en équilibrant les logit-probabilités des sous-ensembles de tokens.

Auteurs originaux : Chenxi Gu, Xiaoning Du, John Grundy

Publié 2026-04-27

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chenxi Gu, Xiaoning Du, John Grundy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Marquage Invisible" qui s'efface dans le noir

Imaginez que vous vouliez prouver qu'un texte a été écrit par une intelligence artificielle (IA). Pour cela, on utilise un "tatouage numérique" (le watermarking).

Le système le plus connu (appelé KGW) fonctionne comme un jeu de dés : à chaque fois que l'IA choisit un mot, on lui demande de privilégier discrètement les dés de couleur verte plutôt que les dés rouges. Si, à la fin de la lecture, on voit une montagne de dés verts, on sait que c'est l'IA qui a écrit le texte.

Le souci ? Ça marche très bien pour écrire des poèmes ou des articles (ce qu'on appelle la "haute entropie", où il y a plein de choix possibles). Mais dès que l'IA doit faire du code informatique ou des mathématiques, elle n'a plus vraiment le choix. Elle est obligée d'utiliser des mots très précis. C'est comme si, pour écrire une équation, on vous forçait à utiliser uniquement des chiffres, et qu'on vous demandait en plus de choisir entre des dés verts et rouges... ça ne change rien au résultat final ! Le "tatouage" devient invisible car l'IA est trop concentrée sur la précision technique.

La Solution : La méthode SSG (Le "Tri par Équilibre")

Les chercheurs ont inventé une nouvelle technique appelée SSG (Sort-then-Split by Groups).

Pour comprendre, oublions les dés et prenons une métaphore : Le Buffet de l'Équilibre.

Imaginez que l'IA est un chef cuisinier qui doit préparer un plat très strict (comme une recette de code informatique). Elle n'a que 3 ingrédients autorisés pour que le plat soit réussi.

L'ancienne méthode (KGW) : On lui dit : "Prends tes ingrédients, mais essaie de prendre ceux qui sont dans le panier vert". Le problème, c'est que par malchance, les 3 ingrédients indispensables se retrouvent tous dans le panier rouge. Le chef est coincé : soit il rate sa recette, soit il ne peut pas mettre son tatouage.
La nouvelle méthode (SSG) : Avant que le chef ne commence, on regarde les ingrédients les plus importants. On les classe par importance et on les répartit systématiquement : un dans le panier vert, un dans le panier rouge, un autre dans le vert, et ainsi de suite.

Résultat : Peu importe la difficulté de la recette, le chef aura toujours au moins un ingrédient "vert" à disposition. Le tatouage est donc garanti, même dans les tâches les plus rigides comme le code ou les maths, sans pour autant gâcher la qualité du travail.

En résumé (Ce qu'il faut retenir) :

Le constat : Les tatouages numériques actuels deviennent "aveugles" quand l'IA fait des choses très précises (code, maths).
L'innovation : Au lieu de choisir les mots au hasard, on trie les mots les plus probables et on les répartit équitablement entre le groupe "marqué" et le groupe "non-marqué".
Le bénéfice : On peut désormais tracer l'origine d'un texte technique (comme un programme informatique) de manière beaucoup plus fiable, sans que l'IA ne fasse d'erreurs de calcul ou de code.

C'est un peu comme si on avait trouvé un moyen de mettre une signature invisible sur un document écrit à la plume, même quand la plume est obligée de suivre des lignes extrêmement serrées !

Résumé Technique : SSG (Sort-then-Split by Groups)

1. Problématique (Le Problème)

Le tatouage numérique (watermarking) est essentiel pour tracer l'origine des contenus générés par les grands modèles de langage (LLM). La méthode de référence actuelle, le schéma KGW (Kirchenbauer et al.), consiste à partitionner le vocabulaire en deux ensembles (vert et rouge) via une fonction de hachage, puis à biaiser les probabilités des jetons (tokens) de l'ensemble "vert".

Cependant, les auteurs identifient une faille majeure : la dégradation de l'efficacité dans les environnements à faible entropie. Dans des tâches comme la génération de code ou le raisonnement mathématique, la distribution de probabilité du prochain jeton est très concentrée sur quelques candidats seulement. Dans ces cas, le partitionnement aléatoire du vocabulaire (utilisé par KGW) risque de placer tous les jetons à haute probabilité dans le même ensemble (soit tout dans le vert, soit tout dans le rouge). Cela réduit la capacité du modèle à injecter un signal statistique détectable sans altérer la qualité du texte, rendant le tatouage inefficace.

2. Méthodologie (L'Approche SSG)

Pour résoudre ce problème, les auteurs introduisent le concept de "Watermark Strength" (Force du tatouage), une métrique au niveau du jeton qui quantifie l'augmentation normalisée de la probabilité de l'ensemble vert.

La méthode proposée, SSG (Sort-then-Split by Groups), modifie l'algorithme d'injection de la manière suivante :

Tri par Logits : Au lieu d'un partitionnement aléatoire, les jetons sont triés par ordre décroissant de leurs valeurs de logits (scores de prédiction).
Partitionnement par Groupes : Les jetons triés sont regroupés par paires consécutives. Pour chaque paire, un générateur de nombres pseudo-aléatoires (basé sur une clé secrète) assigne un jeton à l'ensemble vert et l'autre à l'ensemble rouge.
Équilibrage des Logits : Cette approche garantit que les jetons ayant les probabilités les plus élevées sont répartis de manière équilibrée entre les deux ensembles.
Optimisation (Top-k) : Pour limiter le coût computationnel du tri, SSG peut être appliqué uniquement sur les $k$ jetons les plus probables, tandis que le reste du vocabulaire est partitionné de manière aléatoire.

3. Contributions Clés

Analyse Théorique : Identification de la limite inférieure de la "force du tatouage" imposée par la distribution de probabilité et démonstration que SSG lève cette limite.
Nouvelle Métrique : Introduction de la Watermark Strength pour mesurer finement l'efficacité de l'injection au niveau de chaque prédiction de jeton.
Algorithme SSG : Un nouveau schéma de partitionnement du vocabulaire qui est "équilibré par les logits" (logit-balanced).
Preuve de Généralisation : Démonstration que l'amélioration fonctionne aussi bien pour les tâches à faible entropie (code, maths) que pour les tâches à haute entropie (texte naturel).

4. Résultats Expérimentaux

Les tests ont été menés sur des modèles comme Qwen2.5-Coder, DeepSeekMath et LLaMA-3 sur des jeux de données tels que HumanEval (code) et GSM8K (mathématiques).

Détectabilité accrue : L'intégration de SSG avec les méthodes existantes (KGW, SWEET, EWD) augmente considérablement les taux de vrais positifs (TPR) et les scores F1, même avec un taux de faux positifs (FPR) très bas (1% ou 5%).
Préservation de la qualité : Contrairement à l'augmentation simple du biais ( $\delta$ ) qui dégrade la précision du modèle, SSG améliore la détectabilité sans compromettre la qualité du texte (mesurée par le Pass@1).
Efficacité : L'utilisation d'un paramètre $k$ restreint (ex: $k=2$ ou $k=4$ ) permet d'obtenir des gains de détection massifs avec un impact négligeable sur la vitesse de décodage.

5. Signification et Impact

Ce travail est crucial pour la sécurité des LLM. Il démontre que l'efficacité du tatouage numérique ne dépend pas seulement de la force du signal injecté, mais de la structure de la partition du vocabulaire par rapport à la distribution de probabilité du modèle. En rendant le tatouage robuste pour les tâches spécialisées (code et mathématiques), SSG ouvre la voie à une meilleure protection de la propriété intellectuelle et à une meilleure traçabilité des contenus générés par IA dans des domaines techniques critiques.