Résumé Technique : Les Ensembles Linéaires Effacent les Filigranes

Énoncé du Problème

L'article traite d'une vulnérabilité fondamentale des schémas actuels de tatouage numérique (watermarking) pour les modèles de langage de grande taille (LLM). Alors que le tatouage numérique intègre des signatures statistiques dans le texte généré pour permettre la détection et l'attribution, la recherche existante repose sur l'hypothèse simplificatrice qu'un adversaire n'a accès qu'à un seul modèle tatoué. En réalité, les utilisateurs peuvent accéder simultanément à plusieurs LLM hétérogènes (par exemple, via Hugs Face). Les auteurs postulent qu'en tant que marché compétitif où les fournisseurs utilisent des clés secrètes et des conceptions architecturales indépendantes, les perturbations introduites par le tatouage sont indépendantes d'un modèle à l'autre. Cette indépendance crée une faiblesse structurelle : en agrégeant les sorties de plusieurs modèles, ces perturbations indépendantes peuvent s'annuler, récupérant ainsi la distribution originale non tatouée et rendant le filigrane indétectable.

Méthodologie

Fondement Théorique

Les auteurs formalisent le tatouage numérique comme une perturbation stochastique $\delta_i$ appliquée à une distribution de consensus sous-jacente partagée $p^*$. Ils supposent que pour $N$ fournisseurs indépendants :

1. Indépendance : Les perturbations $\delta_i$ sont indépendantes entre les fournisseurs.
2. Moyenne Nulle : Les perturbations sont centrées autour de la distribution de consensus dans l'espace logarithmique ($E[\delta_i] = 0$).
3. Magnitude Bornée : Les perturbations sont bornées pour maintenir la qualité du texte.

Sous ces hypothèses, les auteurs prouvent que la moyenne de l'ensemble linéaire de $N$ modèles, $\bar{p}_N = \frac{1}{N}\sum p_i$, converge vers la distribution de consensus $p^*$ avec un terme d'erreur de $O(1/\sqrt{N})$. Les signaux de tatouage, agissant comme un bruit non corrélé, sont asymptotiquement effacés, ne laissant qu'un terme d'erreur de second ordre.

L'Algorithme WASH

Pour traduire cette intuition théorique en pratique, les auteurs introduisent WASH (Watermark Attenuation via Statistical Hybridisation). WASH répond à deux défis pratiques critiques des ensembles hétérogènes : le désalignement du vocabulaire et les différences de tokenisation.

1. Ensemble basé sur l'Union : Au lieu de restreindre l'échantillonnage à l'intersection de tous les vocabulaires de modèles (ce qui limite l'expressivité), WASH construit une distribution d'ensemble sur l'union de tous les vocabulaires. Pour les tokens absents du vocabulaire d'un modèle spécifique, la probabilité de ce modèle est fixée à zéro.
2. Routage Sensible à la Fluidité : Lorsqu'un token sélectionné n'existe que dans un sous-ensemble de modèles (un token "spécialiste"), WASH route dynamiquement les étapes de génération suivantes uniquement vers les modèles qui supportent ce token. Cela évite de briser la chaîne autoregressive. Crucialement, la sélection du modèle au sein de l'ensemble des spécialistes est randomisée pour éviter d'introduire de nouveaux biais systématiques exploitables par les détecteurs.
3. Re-synchronisation du Contexte : Pour maintenir la cohérence entre des modèles ayant des tokenizers différents, WASH emploie un cycle de décodage-encodage. Après qu'un token a été généré, la chaîne de caractères est décodée et re-tokenisée par le tokenizer spécifique de chaque modèle afin que tous les modèles observent des contextes sémantiquement équivalents pour l'étape suivante.
4. Efficacité : La méthode utilise l'inférence parallèle avec mise en cache des réponses, atteignant une complexité en temps constant par token quel que soit la taille de l'ensemble, évitant ainsi le sondage itératif ou le ré-encodage de contexte requis par les attaques précédentes.

Contributions Clés

1. Preuve Théorique de Vulnérabilité : L'article fournit une preuve rigoureuse que l'ensembling linéaire récupère asymptotiquement la distribution non tatouée avec un taux de convergence de $O(1/\sqrt{N})$, établissant une limite fondamentale pour le tatouage numérique sans biais dans les environnements multi-fournisseurs.
2. Algorithme WASH : Un nouveau cadre qui surmonte les désaccords de vocabulaire dans les ensembles hétérogènes via un routage sensible à la fluidité et une re-synchronisation du contexte, permettant une agrégation de probabilités efficace sans sacrifier l'intégrité sémantique.
3. Évaluation Systématique : Expérimentations exhaustives sur six schémas de tatouage représentatifs (AAR, DIPMark, ITSEdit, KGW, Exp-Edit, Water-Bag) et trois LLM (Qwen, Llama, Ministral) sous des réglages de détection lors de la génération et sur le texte final.

Résultats Expérimentaux

Efficacité de la Détection

• Détection lors de la Génération : WASH parvient à supprimer la détection des scores $z$ (allant de 5 à 300 pour les bases solides) pour les ramener en dessous de 2 (proche du hasard pur) en utilisant seulement 3 modèles. Ce résultat est inférieur au seuil de détection standard de 4.
• Détection du Texte Final : Pour les détecteurs de séquences natifs, WASH réduit le Taux de Vrais Positifs au taux de 5 % de Faux Positifs (TPR@5%FPR) à moins de 50 % pour tous les schémas testés, rendant les tatouages statistiquement indétectables.
• Expérience de Contrôle : Lorsque les modèles partagent un tatouage coordonné (même signal à travers les vocabulaires), l'attaque par ensemble échoue, confirmant que l'efficacité de l'effacement repose sur l'indépendance des perturbations.

Qualité et Efficacité

• Qualité : WASH améliore la qualité de génération de 27,5 % par rapport à la meilleure base (De-mark) sur les tâches de génération de séquences longues, surpassant à la fois la base tatouée et les autres méthodes de suppression (ToBlend, RandomWalk) sur des benchmarks tels que GSM8K, MMLU et SQuAD.
• Efficacité : WASH s'exécute environ 6 fois plus vite que la meilleure base (De-mark) sur des séquences longues. Alors que De-mark subit des surcoûts de 30x à 38x dus au sondage itératif, WASH opère à environ 1,0x–2,4x le coût de base grâce à l'échantillonnage déterministe et au cache KV synchronisé.

Signification et Revendications

L'article affirme révéler une « vulnérabilité fondamentale » dans le paradigme actuel du tatouage de texte par IA. Les auteurs soutiennent qu'une détection robuste dans un marché multi-fournisseurs compétitif est mathématiquement inatteignable sans une coordination sans précédent entre les fournisseurs de modèles. Plus précisément, ils concluent que :

• Les schémas de tatouage sans biais sont intrinsèquement fragiles face à l'ensembling linéaire car les forces du marché imposent des clés indépendantes et des perturbations bornées.
• Une véritable robustesse nécessite soit d'accepter cette vulnérabilité, soit de mettre en œuvre des stratégies de tatouage coordonnées où un signal commun est partagé entre tous les modèles.
• Ces conclusions servent d'alerte aux fournisseurs de modèles et aux chercheurs, suggérant que les défenses isolées au niveau du modèle sont insuffisantes contre les menaces inter-modèles et qu'une standardisation à l'échelle de l'industrie est nécessaire pour une vérification efficace de la provenance.

Le travail ne propose pas de nouveaux schémas de tatouage, mais caractérise plutôt les limites des schémas existants, soulignant que le « talon d'Achille » du tatouage numérique est la structure même du marché compétitif.