🔢 mathematics

LLM-Text Watermarking based on Lagrange Interpolation

Cet article présente un schéma de filigrane pour les textes générés par les grands modèles de langage (LLM) basé sur l'interpolation de Lagrange, permettant de récupérer l'identité de l'auteur même après une censure importante en cachant des points colinéaires dont les abscisses sont dérivées cryptographiquement et en résolvant le problème des points maximaux alignés lors de l'extraction.

Auteurs originaux : Jarosław Janas, Paweł Morawiecki, Josef Pieprzyk

Publié 2026-02-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jarosław Janas, Paweł Morawiecki, Josef Pieprzyk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Qui a écrit ce texte ?

Imaginez que vous recevez un magnifique poème ou un article de journal. C'est si bien écrit que vous ne pouvez pas dire s'il a été rédigé par un humain ou par une Intelligence Artificielle (IA). Aujourd'hui, les IA sont si douées qu'elles peuvent imiter n'importe quel style.

Le problème est le suivant : Comment prouver l'origine d'un texte ? Si quelqu'un utilise une IA pour répandre de fausses nouvelles ou voler le travail d'un écrivain, comment le démasquer ?

C'est là qu'intervient le concept de filigrane numérique (ou watermark). C'est comme une signature invisible cachée dans le texte, que seul le propriétaire de l'IA peut voir.

💡 L'Idée Géniale : La Ligne Magique

Les auteurs de ce papier (Jarosław, Paweł et Josef) ont inventé une nouvelle façon de cacher cette signature. Au lieu de cacher un simple code binaire (0 ou 1), ils utilisent les mathématiques pour dessiner une ligne droite invisible à travers le texte.

Voici l'analogie pour comprendre :

1. Le Dessin de la Ligne (L'Embedding)

Imaginez que vous voulez cacher un secret dans une ville. Vous choisissez deux nombres secrets, disons $a$ et $b$ . Ces deux nombres définissent une formule mathématique qui trace une ligne droite sur une carte (une équation du type $y = ax + b$).

Le Secret : Les nombres $a$ et $b$ sont votre "signature" (le filigrane).
Le Dessin : Pour chaque mot que l'IA écrit, elle calcule un point sur cette ligne.
- Elle choisit un point de départ (un nombre $x$ ) de manière aléatoire mais calculée.
- Elle utilise sa formule secrète pour trouver la hauteur du point ( $y$ ).
- L'astuce : Pour que le texte contienne ce point, l'IA va légèrement "pousser" ses choix de mots. Si le point $y$ correspond à un "0", elle favorisera certains mots. S'il correspond à un "1", elle favorisera d'autres mots.

Le résultat ? Le texte semble normal, mais il contient une succession de points qui, si on les reliait, formeraient une ligne droite parfaite.

2. La Chasse au Trésor (L'Extraction)

Maintenant, imaginez qu'un méchant (un pirate ou un adversaire) essaie de détruire ce filigrane. Il peut :

Changer quelques mots (remplacement).
Enlever des phrases (suppression).
Ajouter du texte (insertion).

C'est comme si quelqu'un prenait votre dessin de ligne sur la carte et effaçait la moitié des points, ou en ajoutait d'autres au hasard pour brouiller les pistes.

Comment retrouver la ligne ?
C'est là que l'algorithme devient un détective génial :

Il récupère tous les points qu'il peut trouver dans le texte (même ceux qui ont été modifiés ou ajoutés par le méchant).
Il se retrouve avec un nuage de points : certains sont sur la vraie ligne (les vrais), d'autres sont éparpillés au hasard (le bruit).
Il lance un défi mathématique appelé "Maximum Collinear Points" (Le plus grand nombre de points alignés).
Il cherche la seule ligne droite qui traverse le plus grand nombre de points.

Même si le méchant a effacé 50 % des points, tant qu'il reste assez de points sur la ligne originale pour qu'elle soit plus "populaire" que n'importe quelle ligne aléatoire, l'algorithme la retrouvera !

🛡️ Pourquoi c'est fort ?

Résistant aux attaques : Comme on l'a dit, même si on efface ou modifie une partie du texte, la "ligne" reste reconnaissable tant qu'il reste assez de points. C'est comme essayer de cacher une ligne droite en effaçant quelques points sur une feuille de papier : la ligne reste visible.
Pas besoin de réentraîner l'IA : Cette méthode est "agostique". Elle fonctionne avec n'importe quelle IA moderne (comme Llama ou Mistral) sans avoir besoin de toucher à son cerveau (ses poids internes). On agit simplement sur la façon dont elle choisit ses mots à la fin.
Rapide : Retrouver cette ligne est très rapide pour un ordinateur, même sur de longs textes.

⚠️ Les Limites (La réalité du terrain)

L'article est honnête sur ses faiblesses :

Les coupures brutales : Si quelqu'un coupe un paragraphe entier ou réécrit tout le texte de manière chaotique, l'ordre des points est perdu, et la ligne ne peut plus être reconstruite. C'est comme si on déchirait la carte en mille morceaux.
Le bruit : Si l'IA fait trop d'erreurs de calcul ou si le texte est trop court, il n'y a pas assez de points pour tracer la ligne.

🎯 En Résumé

Ce papier propose une méthode pour marquer les textes générés par IA comme on marque des billets de banque.

L'IA dessine une ligne invisible en choisissant ses mots avec une légère préférence.
Le vérificateur cherche la ligne droite qui traverse le plus de points dans le texte.
Le pirate peut effacer des points, mais ne peut pas effacer la ligne entière sans détruire le texte lui-même.

C'est une solution élégante, basée sur des mathématiques anciennes (l'interpolation de Lagrange) appliquées à la technologie la plus moderne, pour nous aider à distinguer la vérité de la fiction dans l'ère de l'IA.

1. Problématique

L'essor rapide des Modèles de Langage de Grande Taille (LLM) a transformé les interactions humain-ordinateur, mais a également créé un défi majeur : l'attribution de la paternité des textes générés. Il devient crucial de pouvoir distinguer un texte généré par une IA d'un texte humain, ou d'identifier le modèle spécifique ou l'utilisateur à l'origine de la génération. Cette capacité est essentielle pour lutter contre la désinformation, les fausses nouvelles, le plagiat et la manipulation de l'information.

Les méthodes existantes de filigranage (watermarking) souffrent souvent de limitations : certaines nécessitent un réentraînement du modèle, d'autres sont fragiles face aux modifications adverses (suppression, insertion de tokens) ou ne permettent pas d'encoder plus d'un bit d'information (binaire : filigrané/non-filigrané).

2. Méthodologie Proposée

Les auteurs proposent un schéma de filigranage sans réentraînement (training-free), agnostique du modèle et capable d'encoder un filigrane multi-bits. L'approche repose sur des concepts d'algèbre finie et de géométrie discrète.

A. Encodage du Filigrane (Embedding)

Représentation mathématique : Le filigrane $W$ est codé sous forme de coefficients d'un polynôme linéaire $f(x) = a_1x + a_0$ défini sur un corps fini $\text{GF}(2^n)$ .
Génération de points : Le système génère pseudo-aléatoirement une séquence de coordonnées $x$ (via une fonction de hachage cryptographique appliquée au token précédent et à une clé secrète). Pour chaque $x$ , il calcule $y = f(x)$ .
Intégration dans le texte : La valeur $y$ $y$ (un vecteur de $n$ $n$ bits) est encodée dans la séquence de tokens générés par le LLM.
- Pour chaque bit de $y$ , le vocabulaire du LLM est divisé aléatoirement en deux ensembles ( $V_0$ et $V_1$ ).
- Si le bit est 0, les logits des tokens de $V_0$ sont biaisés (augmentés) ; si le bit est 1, c'est $V_1$ qui est biaisé.
- Cela force le LLM à sélectionner des tokens correspondant au message caché tout en maintenant une qualité de texte acceptable (biais de logit $\delta$ ).

B. Extraction et Détection

Récupération des points : Lors de l'extraction, l'algorithme reconstruit les coordonnées $(x, y)$ à partir des tokens générés en utilisant la même clé secrète et la même logique de hachage.
Gestion du bruit : En raison du bruit stochastique de l'échantillonnage ou d'attaques adverses (modification du texte), certains points récupérés sont erronés (spuriaux).
Problème des Points Colinéaires Maximum (MCP) : Le cœur de la détection consiste à trouver la droite qui passe par le plus grand nombre de points récupérés. C'est une instance du problème Maximum Collinear Points (MCP).
Interpolation de Lagrange : Une fois la droite dominante identifiée (celle contenant le plus de points), l'algorithme applique l'interpolation de Lagrange sur ces points pour retrouver les coefficients $a_0$ et $a_1$ , qui constituent le filigrane extrait.

C. Correction d'erreurs

Pour pallier les erreurs de bits dans les blocs de $n$ tokens, une étape de correction légère est introduite. Elle génère des variantes du bloc récupéré dans un rayon de Hamming $c$ (ex: $c=1$ ) pour augmenter la probabilité de retrouver les points corrects avant de résoudre le problème MCP.

3. Contributions Clés

Schéma Multi-bits Efficace : Contrairement aux méthodes binaires classiques, ce système encode des informations complexes (plusieurs bits) directement dans les coefficients d'une fonction mathématique.
Robustesse aux Modifications Partielles : La méthode est intrinsèquement résiliente. Même si une partie du texte est modifiée ou supprimée (tant qu'un nombre suffisant de points valides subsiste), la droite peut être reconstruite grâce à la redondance des points.
Analyse Probabiliste Rigoureuse : Les auteurs fournissent une analyse théorique (Théorème 1) pour borner la probabilité de fausses détections (faux positifs) en fonction de la taille du corps fini et du nombre de points aléatoires.
Approche Légère et Pratique : Le système ne nécessite pas de modifier les poids du modèle, fonctionne en temps réel et l'extraction est rapide (quelques fractions de seconde).

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles Llama 2-7B, Llama 3.2-3B et Mistral-7B, utilisant les jeux de données OpenGen, Essays et HC3.

Taux de correspondance (Match Rate) :
- Pour des filigranes de 16 à 32 bits, la méthode atteint des taux de réussite élevés (ex: 98,6 % pour 16 bits, 85,9 % pour 32 bits).
- Ces performances sont comparables, voire supérieures, aux méthodes de l'état de l'art (comme celles de Qu et al. ou Fernandez et al.), tout en ayant un temps d'extraction bien inférieur (les méthodes concurrentes deviennent exponentiellement lentes avec la taille du filigrane).
Robustesse aux Attaques Adverses :
- Substitution : La méthode est très robuste car elle préserve l'alignement des blocs.
- Insertion/Suppression : Ces attaques sont plus destructrices car elles désynchronisent les blocs. Cependant, la méthode tolère jusqu'à 10 % de modifications de tokens avant que le taux de récupération ne chute drastiquement.
Qualité du Texte : Avec un biais de logit $\delta = 6$ , la dégradation de la qualité du texte (mesurée par la perplexité) est négligeable, et les juges humains ne perçoivent pas de différence notable.

5. Signification et Perspectives

Ce travail propose un nouveau paradigme pour le filigranage des LLMs en s'appuyant sur des structures algébriques (corps finis, interpolation) plutôt que sur des statistiques de tokens simples.

Avantages majeurs : Il offre un équilibre optimal entre sécurité (résistance au piratage), capacité (multi-bits) et efficacité computationnelle.
Extensibilité : Le schéma est conçu pour être étendu à des polynômes de degré supérieur (pour encoder plus de bits) ou à l'utilisation de multiples lignes pour des charges utiles plus longues.
Limites : La méthode n'est pas conçue pour résister à des réécritures massives, des traductions complètes ou des résumés agressifs qui détruiraient la structure des blocs de tokens.

En conclusion, cette approche fournit un outil robuste et pratique pour l'attribution de contenu généré par IA, répondant aux besoins urgents de traçabilité et de lutte contre la désinformation dans l'ère de l'IA générative.