Résumé technique : SLAM (Structural Linguistic Activation Marking)

Énoncé du problème

Le déploiement généralisé des grands modèles de langage (LLM) nécessite une attribution fiable de la provenance pour distinguer les textes générés par l'IA du contenu rédigé par des humains. Les schémas de tatouage numérique actuels font face à un compromis fondamental entre détection, qualité du texte et robustesse.

Les paradigmes dominants (par exemple, KGW, EWD, Unigram) fonctionnent en biaisant la distribution du prochain token du modèle (par exemple, via la sélection de tokens d'une « liste verte »). Bien qu'efficaces, cette approche engendre un coût de qualité mesurable : sur les modèles Gemma-2, ces méthodes perdent 7,5 à 11,5 points de récompense et présentent des ratios de perplexité conditionnelle effondrés (0,30–0,42), indiquant une sortie répétitive et peu naturelle. À l'inverse, les méthodes récentes basées sur les autoencodeurs parcimonieux (SAE), comme SAEMark, atteignent une qualité quasi sans perte mais souffrent d'une surcharge computationnelle élevée (échantillonnage de $N=50$ candidats par étape) et de vulnérabilités face aux décalages sémantiques et aux simples modifications de texte.

Méthodologie : SLAM

SLAM (Structural Linguistic Activation Marking) propose un schéma de tatouage en boîte blanche qui découple la détection du biais de fréquence des tokens. Au lieu d'altérer quels tokens sont échantillonnés, SLAM inscrit le tatouage dans la géométrie structurelle du flux résiduel du modèle.

Mécanisme central

1. Exploration de caractéristiques structurelles :

   • Les auteurs construisent un ensemble de données contrastif de 46 579 paires de phrases couvrant 104 phénomènes linguistiques (alternances syntaxiques, temps, morphologie, discours). Ces paires maintiennent le contenu sémantique constant tout en variant les formes structurelles (par exemple, voix active vs voix passive).
   • En utilisant des autoencodeurs parcimonieux (SAE) entraînés sur le flux résiduel, la méthode identifie des sous-espaces spécifiques et localisés qui encodent ces caractéristiques structurelles.
   • Un mécanisme de scoring composite (magnitude contrastive $\times$ pureté $\times$ cohérence inter-domaine) isole les directions SAE qui répondent de manière robuste aux changements structurels plutôt qu'au contenu sémantique.

2. Construction de directions (SVD) :

   • Pour les phénomènes où les concepts structurels sont distribués sur plusieurs caractéristiques faiblement discriminatives (fréquent dans les modèles plus grands comme Gemma-2 9B), SLAM effectue une décomposition en valeurs singulières (SVD) sur la matrice de différence contrastive.
   • Cela produit $k$ modes structurels orthogonaux. La méthode prend en charge à la fois le pilotage de caractéristique unique ($k=1$) et le pilotage de sous-espace composite ($k>1$), lui permettant de s'adapter efficacement aux modèles plus grands.
   • Exploration bidirectionnelle : Le système explore des directions à la fois pour la structure cible et son inverse, doublant ainsi le pool de directions pilotables pour réduire les taux de collision lors de la sélection.

3. Pilotage causal et injection :

   • Au moment de la génération, SLAM s'intercale dans le flux résiduel à des couches spécifiques (déterminées par la couche d'activation maximale du phénomène).
   • Il ajoute un vecteur mis à l'échelle ($\alpha \cdot v_{structure}$) au flux résiduel des tokens nouvellement générés. Cela biaise le modèle vers la production d'une variante syntaxique spécifique (par exemple, voix passive) sans contraindre le choix lexical des tokens individuels.
   • Sélection de caractéristiques : Un sous-ensemble de caractéristiques par document est sélectionné via un échantillonnage pondéré sécurisé par clé HMAC pour assurer l'unicité et la sécurité.
   • Génération avec arrêt anticipé : Le système génère jusqu'à $N=4$ candidats et renvoie le premier qui dépasse un seuil de détection calibré ($\hat{z} \ge 2.0$), réduisant considérablement la surcharge par rapport aux méthodes de notation de candidats.

4. Détection :

   • La détection nécessite un seul passage avant du modèle. Les activations du flux résiduel sont projetées sur les directions structurelles pré-calculées pour calculer un score $z$ de Stouffer.
   • Aucun passage avant de SAE n'est requis au moment de la détection, rendant le processus computationnellement efficace.

Contributions clés

1. Pipeline d'exploration contrastive : Un pipeline isolant les directions SAE structurelles via un score composite sur 104 phénomènes et 5 domaines sémantiques, assurant l'invariance de domaine.
2. Directions structurelles bidirectionnelles PCA : Une méthode basée sur la SVD pour construire des directions composites orthogonales ($k>1$), permettant à SLAM de gérer les représentations structurelles distribuées dans les modèles plus grands (9B+) et offrant un compromis qualité-détection réglable.
3. Schéma en boîte blanche efficace : Un système complet de tatouage avec sélection sécurisée par clé HMAC et une boucle de génération avec arrêt anticipé. Il nécessite un ordre de grandeur moins d'appels LLM que SAEMark ($N \le 4$ contre $N=50$) et opère avec une surcharge modeste ($\sim 1,6\times$ le temps de génération).
4. Validation empirique : Évaluation complète sur Gemma-2 2B et 9B contre six lignes de base à travers quatre familles de métriques de qualité et sept attaques de robustesse.

Résultats expérimentaux

Évalué sur les modèles pré-entraînés Gemma-2 2B et 9B :

• Performance de détection : SLAM atteint un taux de vrais positifs (TPR) de 100 % avec un taux de faux positifs (FPR) de 2,3 % sur les deux tailles de modèle.
• Préservation de la qualité :
  • Écart de récompense : SLAM n'encourt qu'une pénalité de récompense de $\Delta$Reward = -1,3 (2B) et -1,9 (9B). Cela est significativement inférieur aux lignes de base de distribution de tokens (KGW, EWD, Unigram), qui perdent 7,5 à 11,5 points.
  • Naturalité : SLAM préserve les métriques de distribution de sortie (distinct-n, Self-BLEU, MAUVE) et les ratios de perplexité conditionnelle (1,24/1,36) beaucoup plus proches de la ligne de base sans tatouage que les autres méthodes. Contrairement aux méthodes de distribution de tokens, il n'induit pas de texte répétitif (effondrement du ratio PPL).
  • Grammaire : Les taux d'erreurs grammaticales restent proches des niveaux de base.
• Profil de robustesse :
  • Attaques au niveau des mots : SLAM est 100 % robuste face à la substitution de synonymes, la suppression de mots, la substitution de mots et le réordonnancement des phrases.
  • Attaques de paraphrase : SLAM est vulnérable à la paraphrase de restructuration syntaxique (par exemple, DIPPER), où le TPR chute à environ 10–12 %. Cependant, l'article note que de telles attaques imposent un coût de qualité à l'attaquant (dégradant le texte), et cette vulnérabilité est l'inverse des méthodes de distribution de tokens (qui sont robustes face à la paraphrase mais vulnérables aux modifications au niveau des mots).

Importance et revendications

L'article affirme que SLAM démontre que la qualité et la détection ne nécessitent pas de compromis lorsque le tatouage est encodé au niveau approprié d'abstraction linguistique (géométrie structurelle vs fréquences de tokens).

• Insight mécanistique : En pilotant quelle variante structurelle le modèle produit plutôt que quels tokens il échantillonne, SLAM laisse la surface lexicale et le sens sémantique essentiellement non contraints. Cela explique sa performance supérieure sur les modèles de récompense, la perplexité et les métriques de diversité.
• Robustesse complémentaire : L'article positionne la vulnérabilité de SLAM face à la paraphrase de restructuration syntaxique comme un coût calculé et acceptable pour atteindre une qualité de génération quasi sans perte, en contraste avec la signature de « texte répétitif » des méthodes de biaisage de tokens.
• Évolutivité : L'utilisation de sous-espaces composites ($k>1$) est identifiée comme l'élément facilitateur critique pour mettre à l'échelle le tatouage structurel vers des modèles plus grands où les caractéristiques sont distribuées.

Les auteurs concluent que, bien que SLAM nécessite un accès en boîte blanche et soit sensible aux réécritures structurelles sévères, il offre un équilibre supérieur entre détection et préservation de la qualité pour l'attribution de provenance par rapport aux approches existantes de distribution de tokens et de notation sémantique.