💬 NLP

Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations

Cet article démontre que les tatouages numériques statistiques pour les modèles de langage sont fondamentalement vulnérables aux transformations préservant le sens car leur détection repose sur la similitude sémantique des points finaux plutôt que sur l'« holonomie » cachée du chemin de transformation, conduisant à une identité mathématique précise montrant que la survie du signal dépend de manière critique de l'emplacement spécifique des éditions plutôt que du seul taux de rétention global.

Auteurs originaux : Daniele Corradetti

Publié 2026-08-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniele Corradetti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le paysage moderne de l'intelligence artificielle, les grands modèles de langage génèrent des textes qui sont de plus en plus indiscernables de l'écriture humaine. Pour gérer les risques de cette technologie, tels que la propagation de la désinformation, des chercheurs ont développé une méthode pour marquer de manière invisible le contenu généré par machine. Ces marques, appelées tatouages numériques (watermarks), ne modifient ni le sens ni la qualité du texte ; elles déplacent plutôt subtilement la probabilité statistique du choix des mots, créant un signal caché qui peut être détecté ultérieurement. Le défi central de ces tatouages est la robustesse : ils doivent survivre lorsque le texte est édité, traduit ou paraphrasé. Pendant des années, la communauté scientifique a mesuré le succès d'une attaque sur un tatouage en ne regardant que le résultat final. Si une phrase réécrite avait le même sens que l'originale, on supposait que le tatouage avait survécu tout aussi bien, quel que soit le chemin parcouru par le texte. Cette hypothèse traite les étapes intermédiaires de la réécriture comme de simples échafaudages, sans importance pour le résultat final.

Un chercheur de l'Instituto Superior Técnico et de l'Université de l'Algarve a remis en question cette vision de longue date, démontrant que le chemin qu'emprunte un texte est tout aussi important que sa destination. En traitant la séquence des choix de mots comme un voyage géométrique, il a découvert que deux textes peuvent aboutir à des significations identiques tout en portant des quantités de signal de tatouage complètement différentes. Le chercheur a proucu que la méthode standard de mesure de la « similitude sémantique » — à quel point le sens final est proche du début — est aveugle à une propriété cachée de la transformation. Il a découvert que la survie du tatouage dépend entièrement de l'arrangement spécifique des modifications effectuées en cours de route, et non de la quantité de mots modifiés ou de la similitude apparente du texte final. Dans certains cas, un attaquant peut supprimer l'intégralité du signal du tatouage en ne changeant qu'une petite fraction des mots, à condition que ces changements soient espacés selon un motif rythmique spécifique.

L'étude commence par réexaminer les mathématiques derrière les « boucles linguistiques », qui sont des chaînes de transformations altérant la forme d'une phrase sans en changer le cœur. Le chercheur a montré que les outils mathématiques précédemment utilisés pour analyser ces boucles étaient défectueux car ils se réduisaient à un simple décompte, manquant la structure complexe du voyage. Il les a remplacés par une description géométrique plus précise, montrant que la transformation du texte est semblable à un chemin tracé sur une sphère. La distance entre le point de départ et le point d'arrivée indique à quel point le sens a dérivé, mais la forme du chemin elle-même porte une rotation cachée, une propriété connue sous le nom d'holonomie. Cette rotation est invisible pour les détecteurs qui ne regardent que le sens final, et pourtant, c'est elle qui détermine la survie du tatouage. Le chercheateur a prouvé que le point d'arrivée et le chemin sont indépendants ; on peut avoir un texte qui revient à son sens original après un trajet court et direct ou un détour long et sinueux, et le tatouage se comportera différemment dans chaque cas.

Sur le plan pratique, le chercheur a dérivé une loi précise régissant la décomposition des tatouages lorsqu'un texte est édité. Il a découvert que la survie du signal n'est pas déterminée par le pourcentage global de mots qui restent inchangés, mais par le fait que les « fenêtres de semence » (seeding windows) spécifiques du tatouage restent intactes. Un tatouage repose souvent sur un groupe de mots précédents pour décider du mot suivant. Si une édition brise ce groupe, le signal est perdu. Le chercheur a démontré qu'un attaquant qui connaît la taille de ce groupe peut placer stratégiquement des modifications pour détruire l'intégralité du tatouage tout en laissant la vaste majorité du texte intacte. Par exemple, si le tatouage repose sur un contexte d'un mot précédent, un attaquant pourrait supprimer chaque deuxième mot et effacer complètement le signal, même si la moitié du texte subsiste. Cette découverte explique pourquoi les tatouages échouent parfois beaucoup plus vite que prévu lorsque le texte est édité par blocs ou par motifs, plutôt que de manière aléatoire.

Pour vérifier ces intuitions théoriques, le chercheur a mené des expériences approfondies utilisant de véritables systèmes de traduction automatique. Il a pris des milliers de phrases et les a fait passer par des chaînes de traductions successives, passant par des langues comme l'allemand, le français et l'espagnol pour revenir à l'anglais. Il a mesuré le signal du tatouage à chaque étape et l'a comparé aux propriétés géométriques du chemin emprunté par le texte. Les résultats ont confirmé sa théorie : la quantité de signal restant est fortement liée à la forme spécifique du chemin, et non seulement au score de similitude finale. Dans un test frappant, il a maintenu le sens final du texte constant tout en faisant varier la longueur et la complexité du chemin. Il a constaté que des textes aboutissant exactement au même sens pouvaient conserver soit un signal complet, soit aucun signal, selon la seule route empruntée. Cela prouve que la méthode actuelle de jugement de la robustesse des tatouages basée sur la similitude finale est fondamentalement incomplète.

Les implications de ce travail sont significatives pour l'avenir de la provenance numérique. Cela suggère que la résilience d'un tatouage est une fonction de l'histoire entière du texte, et non de son seul état final. Le chercheur a montré que les métriques standards utilisées pour évaluer ces systèmes sont insuffisantes car elles ignorent la structure géométrique du langage. Il a également mis en évidence une vulnérabilité dans les conceptions actuelles : puisque la survie du signal dépend de l'arrangement des modifications, un adversaire informé peut exploiter cela pour neutraliser le tatouage sans rendre le texte sensiblement différent. Bien que l'étude ait été menée avec des modèles et des chaînes de traduction spécifiques, les principes géométriques découverts semblent être universels. L'étude conclut que pour véritablement comprendre comment les tatouages survivent, nous devons cesser de regarder uniquement la destination et commencer à cartographier le voyage.

Résumé Technique : Holonomie Linguistique et Filigranes Statistiques

Énoncé du Problème
Les méthodes actuelles pour évaluer la robustesse des filigranes statistiques dans les grands modèles de langage (LLM) reposent sur des métriques de type « point final » (endpoint). Ces métriques mesurent la similitude sémantique entre le texte original et le texte réécrit, ou comptent simplement le nombre d'étapes d'édition (sauts). L'article soutient que cette approche est fondamentalement erronée car elle traite les états intermédiaires comme de simples échafaudages. Deux chaînes de transformations peuvent aboutir à des textes ayant une signification sémantique identique (points finaux identiques) mais parcourir des trajectoires très différentes dans l'espace des plongements (embeddings). L'article postule que la robustesse d'un filigrane dépend non seulement de la distance sémantique finale, mais aussi de la géométrie spécifique du chemin emprunté par le « signifiant » (la forme textuelle) tandis que le « signifié » (le sens) reste préservé.

Méthodologie
L'auteur adapte le formalisme des « boucles linguistiques » issu de travaux antérieurs [4] pour analyser la géométrie des transformations préservant le sens.

Cadre Géométrique : Le texte est projeté dans un espace de plongement $\mathbb{R}^n$ . Une chaîne de transformations est vue comme un chemin de vecteurs $v_0, \dots, v_L$ sur la sphère unité.
Matrice de Boucle : La chaîne est résumée par une matrice de boucle $R_U \in SO(n)$ , construite comme le produit des rotations minimales entre les états consécutifs. Cette matrice représente le transport parallèle le long du polygone géodésique formé par la chaîne.
Modélisation du Détecteur : L'article analyse les schémas de filigranage à « liste verte » (green-list) et « exponentiels » qui reposent sur une fenêtre de contexte de taille $h$ . La statistique de détection est modélisée comme une fonction du nombre de « fenêtres intactes » — les positions où l'intégralité du contexte de semence a survécu à l'attaque sans modification.

Contributions Clés et Résultats Théoriques

Dégénérescence de l'Invariant de Signature :
L'article prouve que l'invariant précédemment proposé pour les boucles linguistiques — la signature de Sylvester de la matrice $I - R_U^*$ — est dégénéré. La matrice est toujours semi-définie positive, ce qui signifie que sa signature est toujours $(2p, 0, n-2p)$ , ne portant pas plus d'informations que son rang. Le véritable invariant est le spectre angulaire (l'ensemble des angles de rotation) de la matrice de boucle.
Factorisation Point-Chemin (Holonomie) :
L'auteur prouve une factorisation canonique de la matrice de boucle : $R_U = R_{dir} H$ .

$R_{dir}$ est la rotation minimale du point de départ vers l'état final (déterminée uniquement par le déficit sémantique).
$H$ est l'holonomie, un élément du groupe stabilisateur $SO(n-1)$ qui fixe l'état initial.
Signification : Le déficit sémantique (point final) et l'holonomie (géométrie du chemin) sont fonctionnellement indépendants. Une chaîne peut avoir un déficit sémantique nul (retour au même sens exact) tout en accumulant une holonomie arbitraire (errance significative de la forme). Sur une 2-sphère, cette holonomie correspond à l'aire balayée par le chemin (théorème de Gauss-Bonnet).

L'Identité de la Fenêtre Intacte :
L'article dérive une identité exacte pour l'espérance de la statistique de détection résiduelle $E[z_{att}]$ après une attaque :
$E[z_{att}] = \frac{|I|}{T'} E[z_0]$
où $|I|$ est le nombre de positions dont l'intégralité de la fenêtre de semence de taille $h+1$ a survécu intacte.

Corollaire : Si les éditions sont indépendantes, le signal décroît selon $\rho^{h+1}$ (où $\rho$ est le taux de rétention des tokens).
Résultat Critique : Si les éditions ne sont pas indépendantes (comme dans les cas d'édition réels), le taux de rétention $\rho$ est insuffisant pour prédire la robustesse. Un adversaire peut organiser les éditions pour détruire entièrement le filigrane (réduisant la statistique à zéro) tout en conservant une fraction élevée de tokens, à condition que les éditions soient espacées pour briser chaque fenêtre de contexte possible. Spécifiquement, si $1-\rho \ge 1/(h+1)$ , le signal peut être annihilé.

Résultats Expérimentaux
L'auteur a vérifié ses affirmations théoriques à l'aide de détecteurs exacts (clés détenues par l'auteur) et de données réelles :

Vérification Géométrique : Des expériences numériques ont confirmé la dégénérescence de la signature et l'indépendance du point final et de l'holonomie. Les chaînes présentant des déficits sémantiques identiques présentaient des énergies d'holonomie variables selon le chemin emprunté.
Vérification du Détecteur : La « loi de la fenêtre intacte » a été confirmée avec une grande précision (erreurs < 0,01) à travers différentes largeurs de contexte ( $h=0,1,2,3$ ) et différents taux de rétention.
Traduction en Réalité : L'auteur a appliqué une traduction automatique aller-retour (Anglais $\to$ $\to$ Pivot $\to$ $\to$ Anglais) à du texte filigrané.
- Les résultats ont montré que des chaînes ayant le même déficit sémantique mais des longueurs de chemin différentes (différents nombres de pivots) entraînaient des niveaux différents d'érosion du filigrane.
- Un test de régression pré-enregistré a confirmé qu'en maintenant le déficit sémantique et le taux de rétention constants, une énergie d'holonomie plus grande (chemin plus long/complexe) est significativement corrélée à un signal de filigrane résiduel plus faible.
- La métrique de la « fenêtre intacte » a prédit le signal résiduel plus précisément que le simple taux de rétention.

Signification et Revendications
L'article affirme que la robustesse d'un filigrane statistique est une fonctionnelle du chemin, et non seulement du point final.

Théorique : Il recadre l'analogie de la « boucle de Wilson » d'une métaphore en un théorème mathématique, identifiant le « déficit sémantique » comme étant aveugle à l'« holonomie » (la rotation géométrique de la forme).
Pratique : Il démontre que les évaluations de robustesse actuelles basées sur la similitude sémantique ou les taux de rétention de tokens sont sous-spécifiées. Un adversaire peut préserver le sens et le nombre de tokens tout en détruisant stratégiquement le filigrane en exploitant la structure de la fenêtre de contexte.
Limites : L'auteur se montre modeste, notant que l'identité de la fenêtre intacte suppose des substitutions préservant la longueur et une hypothèse de champ moyen sur l'entropie. Il reconnaît que l'énergie d'holonomie est une réduction scalaire avec perte de la matrice d'holonomie complète et que ses résultats empiriques sont limités par les modèles et encodeurs spécifiques utilisés.

L'article conclut que le langage naturel pour décrire l'érosion d'un filigrane est celui du transport parallèle et de l'holonomie, suggérant que les futurs designs de filigranes devront peut-être prendre en compte des invariants dépendants du chemin plutôt que de simples propriétés statiques de tokens.

Articles similaires