💻 computer science

Synchronization-Free Algebraic Fingerprints for Large Language Models: From Autoregressive to Diffusion Models

Cet article propose un nouveau schéma de tatouage numérique sans synchronisation pour les grands modèles de langage qui incorpore des identités secrètes dans des paires de jetons à l'aide de polynômes de Reed-Solomon et de congruences binaires, permettant une attribution robuste qui résiste à l'édition, à la paraphrase et au réordonnancement des jetons sans nécessiter de synchronisation par blocs.

Auteurs originaux : Jaroslaw Janas, Josef Pieprzyk, Pawel Morawiecki

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaroslaw Janas, Josef Pieprzyk, Pawel Morawiecki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de laisser une signature secrète sur un tas de châteaux de sable construits par un robot très talentueux, mais légèrement malicieux. Ce robot est une Intelligence Artificielle (IA) qui écrit des histoires, répond à des questions et crée du code. Le problème est que le robot est si doué pour copier le style humain qu'il est impossible de dire si une histoire a été écrite par une personne ou par la machine. Pire encore, si quelqu'un essaie de « corriger » l'histoire — en supprimant une phrase, en ajoutant une blague ou en mélangeant les paragraphes — la signature est généralement effacée, comme une empreinte de pas dans le sable lorsque la marée monte.

Des scientifiques ont essayé de résoudre cela en estampillant des codes invisibles dans le texte, mais la plupart de leurs méthodes sont comme une longue et fragile chaîne de trombones. Si vous retirez un trombone (un mot supprimé) ou en ajoutez un nouveau (un mot inséré), toute la chaîne se brise, et le message secret est perdu. Ce nouvel article présente une manière totalement différente d'aborder le problème. Au lieu d'une chaîne fragile, imaginez un nuage de milliers de lucioles minuscules et indépendantes. Chaque luciole porte un minuscule morceau d'un code secret. Si une tempête (un éditeur) emporte la moitié des lucioles, ou si elles volent dans un ordre différent, vous pouvez toujours déchiffrer le message secret car vous n'avez pas besoin de toutes les voir en ligne ; il vous suffit d'en avoir quelques-unes. Les chercheurs montrent qu'en utilisant des astuces mathématiques impliquant des polynômes (pensez à des recettes secrètes pour les nombres) et en traitant l'édition de texte comme un jeu de hasard, vous pouvez récupérer l'identité secrète de l'IA même après que le texte a été lourdement édité.

Le Problème : La « Chaîne » contre le « Nuage »

Pendant longtemps, les chercheurs ont tenté de tatouer le texte de l'IA en organisant le message secret en une séquence stricte, comme des perles sur un fil. Ils disaient : « Le premier mot reçoit une marque secrète, le deuxième mot reçoit la marque suivante, et ainsi de suite. » Cela fonctionne très bien jusqu'à ce que quelqu'un édite le texte. Si vous supprimez le premier mot, le deuxième mot devient soudainement le « premier », et tout le code secret est brouillé. C'est comme essayer de lire un livre où quelqu'un aurait arraché la page 5 ; soudain, la page 6 devient la page 5, et l'histoire n'a plus de sens. C'est ce qu'on appelle un problème de « synchronisation ». Le détecteur (la personne vérifiant le tatouage numérique) est confus parce que l'ordre des indices a changé.

Les auteurs de cet article soutiennent que cette approche par « chaîne » est fondamentalement défectueuse pour un texte qui pourrait être édité. Ils proposent un changement radical : abandonner totalement la dépendance à l'ordre. Au lieu d'une chaîne, ils suggèrent un « nuage » d'indices indépendants.

La Solution : Lucioles Indépendantes et Recettes Secrètes

L'idée centrale de cet article est un tatouage numérique « sans synchronisation ». Voici comment cela fonctionne, en utilisant l'analogie d'une recette secrète et de deux voisins.

Imaginez que l'IA écrive une histoire, un mot à la fois. Les chercheurs proposent que pour chaque paire de mots voisins (appelons-les « Mot A » et « Mot B »), le système vérifie une « recette » secrète (un polynôme mathématique) pour décider quel genre de « saveur » le Mot B doit avoir.

La Recette Secrète : Le propriétaire de l'IA possède une identité secrète (comme un nombre de 32 bits ou 128 bits). Il transforme ce nombre en une formule mathématique.
Les Voisins : Pour chaque paire de mots, le système utilise le premier mot pour choisir un « point de test » spécifique sur la formule.
La Décision : La formule donne un résultat. Si le résultat est « pair », le second mot doit être un « Type 1 » de mot (comme un nom). Si le résultat est « impair », le second mot doit être un « Type 2 » (comme un verbe).
La Magie : La partie cruciale est que cette décision pour le Mot B dépend uniquement du Mot A et de la recette secrète. Elle ne se soucie pas de ce qui s'est passé avant le Mot A ou de ce qui vient après le Mot B.

Parce que chaque paire de mots est une « luciole » autonome, peu importe si vous supprimez le Mot A, insérez un nouveau mot entre eux, ou mélangez tout le paragraphe. Les paires restantes conservent leurs propres indices indépendants. Si vous avez suffisamment de paires, vous pouvez reconstruire mathématiquement la recette secrète originale, même si le texte a été découpé et réorganisé.

Comment ils prouvent que cela fonctionne

Les auteurs n'ont pas seulement supposé que cela fonctionnerait ; ils ont construit un modèle mathématique pour le prouver. Ils ont traité le processus d'édition de texte (suppression de mots, modification de mots) comme un « Canal Binaire Symétrique ». En langage clair, cela signifie qu'ils ont traité chaque erreur d'édition comme un simple lancer de pièce : soit l'indice est correct, soit il est inversé vers la mauvaise réponse.

Ils ont fait les calculs pour voir combien d'indices (paires de mots) sont nécessaires pour récupérer le secret.

Le Résultat : Ils ont découvert qu'on a besoin de très peu de texte « supplémentaire ». Même si le texte est lourdement édité (jusqu'à 30 % des indices sont faux ou manquants), il suffit de quelques phrases supplémentaires pour récupérer un code secret de 32 bits avec une confiance de 99 %.
L'Analogie : Si vous essayiez de deviner un mot de passe de 32 bits en lançant des pièces, et que vous aviez 30 % de lancers faux, vous seriez normalement bloqué. Mais parce que leur mathématique utilise un type spécial de code (Reed-Solomon), c'est comme avoir un anneau de décodage magique capable de corriger ces lancers faux, tant que vous avez assez de lancers au total.

Ils ont également testé comment gérer des secrets très longs (comme 128 bits). Ils ont découvert que si l'on divise le grand secret en morceaux plus petits (fragments) et que l'on traite chaque morceau comme son propre nuage de lucioles indépendant, on peut récupérer l'ensemble sans avoir besoin d'un texte massif.

Qu'en est-il des différents types d'IA ?

L'article examine également un nouveau type d'IA appelé « Modèles de Diffusion ». Contraquirement à l'IA standard qui écrit mot par mot de gauche à droite (comme un dactylo), les modèles de diffusion commencent par une phrase désordonnée et confuse, puis la nettoient progressivement, comme un sculpteur taillant la pierre pour trouver la statue.

Les auteurs ont réalisé que leur méthode de « luciole indépendante » fonctionne parfaitement ici aussi. Ils ont proposé trois façons différentes pour que l'IA s'engage (« commit ») dans le tatouage numérique pendant qu'elle nettoie le texte :

Engagement Basique (Basic Commit) : L'IA verrouille un mot dès qu'il respecte la règle du voisin de gauche. C'est rapide, mais si elle fait une erreur, elle ne peut pas la corriger.
Engagement Raffiné (Refined Commit) : L'IA vérifie les deux voisins. Si un voisin dit « oui » et l'autre « non », elle peut changer d'avis sur le voisin pour corriger l'erreur. C'est plus intelligent mais cela prend un peu plus de temps.
Engagement Glissant (Sliding Commit) : L'IA traite la frontière entre les mots « verrouillés » et « non verrouillés » comme une porte coulissante. Elle déplace la porte d'avant en arrière jusqu'à ce que tout s'ajuste parfaitement. C'est la méthode la plus robuste, mais la plus longue.

Leurs simulations suggèrent que pour l'IA standard, la méthode « Basique » est suffisamment rapide. Pour les modèles de diffusion, la méthode « Raffinée » offre un bon équilibre, corrigeant les erreurs au fur et à mesure.

L'Essentiel

Cet article suggère une nouvelle façon de marquer le texte de l'IA qui est incroyablement difficile à briser. Contrairement aux méthodes précédentes qui s'effondrent lorsque le texte est édité, cette méthode survit aux suppressions, aux insertions et aux mélanges car chaque indice se suffit à lui-même. Les auteurs démontrent, par les mathématiques et les simulations, qu'on peut récupérer l'identité secrète de l'IA avec une grande confiance, même si le texte a été lourdement édité. Ils fournissent également une feuille de route sur la manière de mettre en œuvre cela dans les générateurs de texte standards et dans les modèles de diffusion plus complexes et plus récents.

Bien qu'ils ne prétendent pas avoir résolu tous les problèmes possibles (ils notent que des travaux futurs pourraient porter sur des modèles d'édition plus complexes), ils ont fourni un cadre mathématiquement prouvé qui rend le tatouage numérique bien plus fiable qu'auparavant. C'est un passage de la construction d'une chaîne fragile à la création d'un nuage d'indices résilients.

Résumé Technique : Empreintes Algébriques Sans Synchronisation pour les Grands Modèles de Langage

1. Énoncé du Problème

Le déploiement généralisé des Grands Modèles de Langage (LLM) a créé un besoin urgent de méthodes de tatouage numérique fiables pour attribuer la génération de texte, assurer la responsabilité et détecter les usages malveillants. Les schémas de tatouage existants pour les LLM relèvent généralement des catégories statistique, lexicale, syntaxique ou cryptographique. Cependant, une limitation fondamentale de la plupart des approches actuelles est leur dépendance à la synchronisation. Ces méthodes intègrent généralement des bits de tatouage de manière séquentielle ou au sein de blocs de taille fixe, s'appuyant sur l'ordre positionnel précis des jetons (tokens). Par conséquent, les opérations d'édition courantes — telles que les insertions, les suppressions, le paraphrasage ou le réordonnancement de phrases — détruisent l'alignement entre l'encodeur et le décodeur, rendant le tatouage irrécupérable. Le document identifie le développement de techniques de tatouage sans synchronisation, capables d'une détection fiable après une édition de texte arbitraire, comme un problème majeur dans le domaine.

2. Méthodologie

Les auteurs proposent un nouveau cadre de tatouage qui élimine le besoin d'un alignement explicite des jetons lors de la récupération. L'innovation centrale est un schéma d'empreinte algébrique basé sur les codes de Reed-Solomon, où chaque bit de tatouage est intégré indépendamment dans une paire de jetons voisins.

2.1 Cadre Algébrique

Représentation de l'Identité : Une identité secrète $S$ est représentée sous la forme d'un vecteur binaire de $n$ bits, projeté sur un polynôme $f_S(x)$ de degré au plus $n-1$ sur un corps fini $\mathbb{F}_q$ (où $q > 2^n$ est un nombre premier impair).
Empreinte Binaire : Au lieu de transmettre la valeur de champ complète $f_S(\alpha)$ , le schéma extrait une observation binaire unique : la parité de l'évaluation, $\phi_S(\alpha) = f_S(\alpha) \pmod 2$ .
Mécanisme d'Intégration : Pour chaque paire de jetons consécutifs $(t_i, t_{i+1})$ $(t_{i}, t_{i + 1})$ :
1. Le premier jeton $t_i$ détermine un point d'évaluation unique $\alpha_i = H(K, \text{id}(t_i)) \pmod q$ , où $H$ est un hachage cryptographique et $K$ une clé secrète.
2. Le bit de tatouage $w_i = \phi_S(\alpha_i)$ est calculé.
3. Le second jeton $t_{i+1}$ est généré (ou biaisé) pour appartenir à une classe de jetons spécifique (par exemple, "vert" ou "rouge") correspondant à la valeur du bit $w_i$ .
Indépendance : Puisque chaque bit dépend uniquement de la paire de jetons locale et de la clé secrète, l'intégration d'un bit ne dépend pas de la position ou de l'état des bits précédents.

2.2 Récupération et Décodage

La récupération ne nécessite pas que les jetons soient dans leur ordre d'origine. Le détecteur collecte un ensemble de paires de jetons survivantes, recompute les points d'évaluation $\alpha_j$ en utilisant la clé secrète, et observe les bits correspondants $\hat{w}_j$ . L'objectif est de trouver l'identité unique $S$ telle que $\phi_S(\alpha_j) = \hat{w}_j$ pour toutes les paires observées.

Algorithmes : Le document propose trois algorithmes de récupération basés sur la taille de l'identité :
1. Recherche Exhaustive : Pour de petits $n$ ( $n \lesssim 20$ ).
2. Rencontre dans le Milieu (Meet-in-the-Middle) : Pour un $n$ modéré ( $20 < n \le 60$ ), réduisant la complexité de $O(2^n)$ à $O(2^{n/2})$ .
3. Fragmentation : Pour les identités larges, le secret est divisé en fragments indépendants, permettant la récupération parallèle de sous-problèmes plus petits.

2.3 Modélisation de la Corruption

Les auteurs modélisent le processus de tatouage comme un Canal Symétrique Binaire (BSC - Binary Symmetric Channel). Ils soutiennent que les insertions, suppressions, substitutions et imperfections d'intégration peuvent toutes être abstraites en une probabilité de croisement unique $p$ .

Insertions/Suppressions : Contrairement aux schémas basés sur des blocs où une seule suppression décale tous les bits suivants, ici, une insertion ou une suppression ne fait que supprimer ou ajouter des observations indépendantes spécifiques. La probabilité d'une édition non détectée est montrée comme étant d'environ $1/4$ , ce qui signifie que la plupart des éditions introduisent des incohérences détectables.
Probabilité de Récupération : La probabilité de récupération réussie dépend uniquement du nombre d'observations correctes survivantes $r$ . Si $r \ge n + \lambda$ , la probabilité d'échec est bornée par $2^{-\lambda}$ .

2.4 Extension aux Modèles de Diffusion

Le cadre est étendu aux Modèles de Langage de Diffusion (DLM), qui génèrent du texte de manière itérative plutôt qu'autorégressive. Les auteurs proposent trois "Algorithmes de Commit" pour imposer les contraintes de tatouage pendant le processus de débruitage :

Basic Commit (Engagement Basique) : Valide un jeton si la contrainte de gauche est satisfaite.
Refined Commit (Engagement Raffiné) : Valide sur la base des contraintes de gauche mais révoque les voisins si les contraintes de droite échouent, permettant une autocorrection locale.
Sliding Commit (Engagement Glissant) : Permet à la frontière entre les régions engagées et non engagées de se déplacer, traitant le processus comme une marche aléatoire pour résoudre les incohérences locales.

3. Contributions Clés

Le document résume ses contributions comme suit :

Cadre Sans Synchronisation : Une méthode où chaque bit de tatouage est intégré indépendamment, éliminant le besoin d'alignement de jetons lors de la récupération.
Codage de Reed-Solomon : Une construction qui reconstruit l'identité à partir de n'importe quelle collection suffisamment large d'observations correctes, indépendamment de leur position dans le texte.
Modélisation par BSC : Une démonstration que toutes les sources de corruption (erreurs d'intégration et d'édition) peuvent être modélisées par un canal symétrique binaire unique, permettant une évaluation de la robustesse analytique plutôt que purement empirique.
Formules Probabilistes : Dérivation de formules exactes et approximatives prédisant la longueur de texte minimale requise pour une récupération réussie avec un niveau de confiance prescrit.
Évolutivité : Des variantes légères qui partitionnent les identités longues en fragments pour réduire la complexité computationnelle tout en maintenant les propriétés sans synchronisation.
Extension à la Diffusion : Une extension du cadre aux modèles de diffusion avec des algorithmes d'engagement de jetons efficaces et une analyse probabiliste.

4. Résultats et Analyse

Robustesse : L'analyse montre qu'une récupération fiable ne nécessite qu'une redondance faible, même pour des taux de corruption de jetons élevés. Par exemple, récupérer une identité de 32 bits avec une confiance de 99 % dans un canal avec un taux d'erreur de 30 % ( $p=0,3$ ) ne nécessite que 25 paires de jetons supplémentaires (soit 57 paires au total).
Efficacité : L'algorithme "Meet-in-the-Middle" permet une récupération pratique pour des identités allant jusqu'à $n \approx 60$ bits sur des stations de travail standards. La fragmentation permet de gérer des identités arbitrairement longues.
Convergence de la Diffusion :
- L'algorithme Basic Commit converge en $O(\ln N / \epsilon)$ itérations.
- L'algorithme Sliding Commit converge en $O(N)$ itérations mais garantit que les incohérences locales sont finalement résolues plutôt que figées.
- L'algorithme Refined Commit offre un taux d'engagement initial plus rapide mais introduit du "changement" (révocation de engagements valides) qui peut retarder la stabilité complète de la séquence par rapport à l'approche Basic.

5. Signification et Revendications

Le document affirme que sa principale importance réside dans l'élimination du problème de synchronisation, qui a été une barrière fondamentale à un tatouage robuste des LLM. En découplant les bits de tatouage de leurs positions séquentielles, la méthode proposée reste robuste face aux opérations d'édition qui invalident les schémas existants.

En outre, les auteurs plaident pour un changement de méthodologie d'évaluation. Au lieu de s'appuyer sur des expériences étendues et spécifiques aux modèles qui deviennent rapidement obsolètes, ils proposent d'utiliser l'abstraction du Canal Symétrique Binaire (BSC). Cela permet une comparaison mathématique et principiée des schémas de tatouage à travers différents modèles et stratégies d'édition, basée sur un paramètre unique : la probabilité d'erreur effective $p$ .

Le document conclut que, bien que le BSC soit une simplification, il constitue une approximation remarquablement utile pour les schémas sans synchronisation, car toutes les opérations d'édition se manifestent finalement comme des erreurs indépendantes dans les bits de parité récupérés. Cette approche offre des garanties explicites sur la probabilité de récupération et simplifie la conception de systèmes de tatouage robustes.