🤖 AI

ArcMark: Distortion-Free Multi-Byte LLM Watermark via Optimal Transport

Ce papier présente ArcMark, un nouveau cadre de tatouage numérique multioctet sans distorsion pour les grands modèles de langage, qui exploite le transport optimal et les principes de codage de canal informationnel pour intégrer de manière fiable une information substantielle dans le texte sans altérer la distribution de sortie ni la qualité du modèle.

Auteurs originaux : Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Atefeh Gilani, Sajani Vithana, Carol Xuan Long, Oliver Kosut, Lalitha Sankar, Flavio P. Calmon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un écrivain très talentueux et créatif (un modèle de langage de grande taille, ou LLM) capable d'écrire des histoires, du code ou des courriels. Vous souhaitez savoir si un texte spécifique a été rédigé par cette IA, et si oui, vous voulez connaître exactement qui en a fait la demande, quelle version de l'IA l'a produit, ou même quel était l'invite original.

C'est là qu'intervient ArcMark. Il s'agit d'une nouvelle « encre invisible » pour les textes générés par l'IA.

Voici une explication simple des affirmations de l'article, utilisant des analogies du quotidien :

1. Le Problème : La « Lampe Torche » à « Un Bit »

Les méthodes précédentes de filigrane pour les textes d'IA ressemblaient à l'utilisation d'une lampe torche capable de ne clignoter qu'une seule fois (un signal « zéro-bit » ou « un-bit »).

Ce qu'elle faisait : Elle pouvait vous dire : « Oui, ceci a été écrit par une IA » ou « Non, ce n'est pas le cas. »
La Limitation : Elle ne pouvait pas vous dire qui l'avait écrit ou de quoi ils parlaient. C'était comme voir une lumière clignoter dans le noir sans savoir qui l'avait allumée.
L'Ancienne Méthode : Pour transmettre plus d'informations, les anciennes méthodes tentaient de modifier légèrement le texte, comme en changeant un mot ici ou là. Cela rendait parfois l'écriture un peu robotique ou peu naturelle (distorsion).

2. La Solution : La « Carte Postale Invisible » (ArcMark)

Les chercheurs ont créé ArcMark, qui ressemble à une carte postale invisible cachée à l'intérieur du texte.

La Magie : Il peut cacher plusieurs octets d'informations (comme un numéro d'identification complet ou un court message) dans seulement quelques centaines de mots.
La Promesse « Sans Distorsion » : L'affirmation la plus importante est que cette encre invisible ne modifie pas la qualité de l'écriture. Si vous lisez le texte, il sonne exactement aussi naturellement que si l'IA l'avait écrit sans aucun message caché. L'article affirme que le texte est « sans distorsion », ce qui signifie que le flux naturel de l'IA n'est pas interrompu.

3. Comment Ça Marche : Le « Jeu du Cercle »

L'article utilise des mathématiques complexes, mais voici la version simple de leur astuce :

Le Cercle : Imaginez la liste des mots possibles de l'IA (son vocabulaire) disposée en un immense cercle.
La Cible : Le système choisit un endroit spécifique sur ce cercle pour représenter un fragment du message secret.
Le Mélange : L'IA et le décodeur (la personne vérifiant le message) partagent une clé secrète de « mélange ». Cette clé fait tourner le cercle de sorte que seuls eux sachent où se trouve l'endroit secret.
La Sélection : L'IA est invitée à choisir un mot. Au lieu de choisir le mot absolument meilleur, elle choisit un mot qui est proche de l'endroit secret sur le cercle.
- Analogie : Imaginez que vous jouez à un jeu où vous devez choisir un fruit dans un panier. La règle est : « Choisissez un fruit qui est proche du point rouge sur la table, mais assurez-vous que le panier ressemble toujours à un panier de fruits normal. » L'IA choisit un fruit qui satisfait les deux règles.
Les Mathématiques : L'article utilise un concept appelé « Transport Optimal » pour résoudre ce problème. Imaginez-le comme un livreur ultra-efficace qui déplace les fruits « meilleurs » vers le « point rouge » sans rendre le panier vide ou désordonné.

4. Pourquoi C'est Mieux : L'« Effort d'Équipe » vs le « Solo »

Anciennes Méthodes : Elles tentaient de cacher un seul petit bit d'information dans chaque mot individuel. Si vous faisiez une erreur sur un mot, vous perdiez ce bit. C'était comme essayer d'envoyer un message en chuchotant une lettre à la fois ; si le vent soufflait, vous perdiez la lettre.
ArcMark : Il traite le paragraphe entier comme un seul puzzle. Il utilise un « code linéaire » (une façon élégante de dire un effort d'équipe). Même si un attaquant modifie quelques mots (comme en paraphrasant une phrase), le décodeur peut toujours reconstituer le message complet car il examine le motif de toute la séquence, et non pas seulement les mots individuels.

5. Les Résultats : Ce Que L'Article A Trouvé

Les auteurs ont testé ArcMark sur des modèles d'IA populaires (comme Llama3, Mistral et Qwen) et ont constaté :

Précision : Il peut réussir à cacher et à récupérer 1, 2, 3, ou même 4 octets de données (ce qui est beaucoup pour du texte) avec une très grande précision.
Discrétion : Le texte sonne tout aussi bien que du texte d'IA normal. Des tests mesurant la « perplexité » (un score indiquant à quel point un texte semble confus ou peu naturel) n'ont montré aucune différence entre le texte filigrané et le texte non filigrané.
Robustesse : Même si quelqu'un tente de « paraphraser » le texte (le traduire en français puis le retraduire en anglais, ou réécrire des phrases), ArcMark résiste beaucoup mieux que les méthodes précédentes.
Capacité : L'article prouve mathématiquement qu'ArcMark est très proche de la limite théorique maximale de la quantité d'informations que l'on peut cacher dans un texte d'IA sans le gâcher.

Résumé

ArcMark est une nouvelle méthode très efficace pour marquer les textes d'IA avec une carte d'identification cachée à plusieurs octets. Il le fait sans rendre le texte étrange, et il est assez intelligent pour survivre aux tentatives de réécriture ou de modification du texte. Il transforme le problème de « cacher un message dans l'IA » d'un jeu de devinettes en une science mathématique précise.

Résumé Technique : ArcMark

Énoncé du Problème

L'article aborde le défi du filigrane multi-bit pour les grands modèles de langage (LLM). Bien que les méthodes existantes puissent intégrer un seul bit (filigrane zéro-bit) pour détecter les textes générés par l'IA, ou intégrer plusieurs bits en étendant les principes du zéro-bit (par exemple, un bit par token), ces approches sont limitées en capacité. Les méthodes actuelles peinent à intégrer de manière fiable plus de quelques bits dans des séquences de centaines de tokens.

Les auteurs identifient un écart critique : les applications pratiques (telles que l'intégration d'identifiants d'utilisateur, de versions de modèles ou de l'invite elle-même) nécessitent la capacité d'intégrer plusieurs octets d'informations. De plus, une « norme de référence » pour le filigrane des LLM est l'intégration sans distorsion, où le processus de filigrane n'altère pas les prédictions moyennes du token suivant du LLM, préservant ainsi la qualité du texte et la perplexité. L'article pose deux questions centrales :

Quelle est la limite théorique (capacité) de l'information pouvant être intégrée dans la sortie d'un LLM sans distordre les prédictions du token suivant ?
Un schéma pratique peut-il s'approcher de cette limite pour réaliser une insertion fiable de plusieurs octets ?

Méthodologie : ArcMark

Les auteurs introduisent ArcMark, une construction de filigrane basée sur la théorie du codage et le transport optimal. L'idée centrale est de reformuler le filigrane multi-bit non pas comme une séquence de décisions de token indépendantes, mais comme un problème de codage de canal avec information latérale disponible à la fois pour l'encodeur (filigraneur) et le décodeur.

1. Formulation Théorique de l'Information

Les auteurs modélisent le LLM comme un canal bruité où le « bruit » est l'aléatoire inhérent de la distribution du token suivant ( $Q_{X_t}$ ). Ils dérivent la capacité de Shannon pour un filigrane multi-bit sans distorsion.

Contrainte sans distorsion : La distribution marginale des tokens filigranés doit être égale à la distribution originale du LLM en espérance sur l'information latérale partagée : $E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$ .
Dérivation de la capacité : Sous l'hypothèse que les distributions de tokens suivants sont des variables aléatoires indépendantes et identiquement distribuées (i.i.d.), la capacité est définie comme l'information mutuelle maximale $I(W; X)$ entre le message codé $W$ et la sortie $X$ , soumise à la contrainte sans distorsion.
Limite théorique : Pour une classe spécifique de distributions binaires de tokens, la capacité est dérivée à environ 0,2787 bits/token lorsque la taille du vocabulaire tend vers l'infini.

2. La Construction ArcMark

ArcMark réalise une intégration fiable en mappant le problème vers un espace géométrique et en résolvant un problème d'optimisation :

Représentation géométrique : Le vocabulaire de tokens, les symboles de mots de code du message et les clés aléatoires partagées sont tous mappés vers des points sur un cercle unité (angles).
- Les tokens sont mappés vers $2\pi i / N$ .
- Les symboles de message sont mappés vers $2\pi c / p$ .
- L'information latérale (décalage aléatoire) est mappée vers $2\pi v / r$ .
Encodage (Codage linéaire) : Le message de $k$ bits est mappé vers un symbole de mot de code $C_m(t)$ en utilisant un code linéaire aléatoire sur les entiers modulo $p$ . Ce symbole est combiné avec un décalage aléatoire partagé $V_t$ pour produire un angle cible $z_t$ sur le cercle.
Intégration (Transport optimal) : Pour intégrer le message sans distordre la distribution de sortie du LLM, le filigraneur doit sélectionner un token $X_t$ $X_{t}$ qui est « proche » de l'angle cible $z_t$ $z_{t}$ tout en satisfaisant la contrainte sans distorsion. Ceci est formulé comme un problème de Transport Optimal (OT).
- Le filigraneur résout pour une distribution conditionnelle $Q^*_{X_t|Z_t}$ qui minimise la distance angulaire attendue entre le token sélectionné et l'angle cible, soumis à la contrainte que la distribution marginale correspond à la distribution originale du LLM.
- Ceci est résolu efficacement en utilisant l'algorithme de Sinkhorn.
Décodage : Le décodeur observe la séquence de tokens et l'information latérale partagée. Il estime les angles transmis, retire l'aléa partagé pour récupérer les symboles de mots de code, et effectue un décodage à distance minimale sur tous les messages possibles pour récupérer le message complet.

Contributions Clés

Algorithme ArcMark : Un nouveau schéma de filigrane multi-bit sans distorsion capable d'intégrer plusieurs octets d'informations dans quelques centaines de tokens.
Caractérisation de la capacité : Une dérivation formelle de la capacité de Shannon pour le filigrane multi-bit sans distorsion des LLM, encadrant le problème comme un codage de canal avec information latérale.
Optimalité théorique : Une preuve que, sous des hypothèses simplificatrices spécifiques (distributions binaires de tokens), ArcMark atteint la capacité de Shannon dérivée.
Validation empirique : Une évaluation complète démontrant qu'ArcMark surpasse les méthodes multi-bit existantes (spécifiquement BiMark et MPAC) en précision du message et en robustesse, tout en maintenant des propriétés sans distorsion.

Résultats Expérimentaux

Les auteurs ont évalué ArcMark sur trois modèles à poids ouverts (Llama3-8B, Mistral-7B, Qwen3-8B) utilisant le jeu de données C4-RealNewslike.

Précision du message : ArcMark surpasse nettement BiMark pour récupérer l'intégralité du message (précision du message), en particulier pour des charges utiles plus importantes (2, 3 et 4 octets). Bien que la précision au niveau des bits soit importante, l'article met l'accent sur la précision du message comme métrique opérationnelle, notant qu'une seule erreur de bit rend le message entier (par exemple, un identifiant d'utilisateur) incorrect.
Robustesse : ArcMark démontre une robustesse supérieure contre les attaques de paraphrase (spécifiquement la rétraduction en français). Même à des ratios d'attaque élevés (30 % des phrases paraphrasées), ArcMark maintient une précision de message plus élevée que BiMark non attaqué.
Propriétés sans distorsion :
- Perplexité : La perplexité d'ArcMark est presque identique à celle de la référence sans filigrane et plus proche que celle de BiMark, confirmant la préservation de la distribution de sortie du LLM.
- Utilité en aval : Dans la réponse aux questions extractives (SQuAD), la complétion de code en contexte long (LCC) et la correction fonctionnelle du code (HumanEval), ArcMark ne montre aucune dégradation significative par rapport à la référence sans filigrane.
Détection zéro-bit : ArcMark prend en charge la détection zéro-bit (déterminer si un texte est filigrané) avec une haute précision, atteignant des taux de détection quasi parfaits à partir de 150 tokens.

Importance et Revendications

L'article revendique de reformuler le filigrane multi-bit d'un problème heuristique en un problème de codage de canal avec information latérale, une formulation remontant à Claude Shannon. En déplaçant la perspective vers la capacité et la conception de codes, les auteurs soutiennent que la théorie de l'information fournit à la fois un fondement mathématique pour comprendre les limites des filigranes de LLM et une voie constructive pour les concevoir.

L'importance d'ArcMark réside dans sa capacité à intégrer de manière fiable des octets (et non seulement des bits) d'informations sans distordre la qualité du texte. Cela permet des applications pratiques telles que le suivi des invites d'utilisateurs, des versions de modèles et d'instances de modèles spécifiques, ce qui est crucial pour la responsabilité et la conformité réglementaire. Les auteurs notent qu'en optimisant pour la précision au niveau du message plutôt que pour la précision au niveau des bits, le risque de mauvaise attribution est réduit.

L'article conclut que, bien que leur analyse de capacité repose sur des hypothèses distributionnelles spécifiques, le cadre ouvre la porte à des caractérisations théoriques plus larges et à la conception de filigranes avec des taux de récupération plus élevés et des garanties de robustesse plus fortes.