Résumé technique : Améliorer la détection des modèles de langage tatoués (watermarked)

Énoncé du problème

La prolifération rapide des modèles de langage (LLM) a créé un besoin urgent de distinguer le contenu généré par l'IA (AGC) du texte écrit par l'humain. Bien que le tatouage numérique (watermarking) soit apparu comme une stratégie robuste pour la détection de première partie (1P) — où le propriétaire du modèle dispose d'un accès en boîte blanche pour calculer les log-probabilités — son efficacité dépend fortement de l'entropie de la distribution de sortie du modèle de langage. En pratique, de nombreux modèles modernes, particulièrement ceux ayant subi un post-entraînement via l'ajustement d'instructions ou l'apprentissage par renforcement à partir de rétroactions humaines (RLHF), présentent une entropie limitée. Cette limitation rend la détection par tatouage difficile, surtout pour les requêtes factuelles ou hautement contraintes. À l'inverse, les méthodes de détection sans tatouage (par exemple, les classificateurs binaires ou les scores basés sur la vraisemblance) peinent souvent à égaler la spécificité du tatouage dans les régimes à haute entropie ou pour distinguer différentes générations de modèles. Le problème central abordé est la manière de combiner efficacement ces deux paradigmes de détection distincts pour améliorer la précision de la détection, particulièrement dans les scénarios à faible entropie où le tatouage seul échoue.

Méthodologie

Les auteurs proposent un cadre de détection hybride qui intègre les scores de tatouage avec les scores de détection sans tatouage. Le dispositif expérimental consiste en une tâche de classification binaire où les échantillons positifs sont des générations tatouées d'un modèle cible ($M_o$, par exemple, Gemma-7B-instruct) et les échantillons négatifs sont soit des réponses humaines, soit des générations d'un autre modèle ($M_t$, par exemple, Mistral-7B-instruct).

Composants clés

1. Schémas de tatouage : L'étude évalue plusieurs méthodes de tatouage au niveau du jeton (token), notamment :

   • Aaronson (2023) : Un schéma sans distorsion utilisant des fonctions pseudo-aléatoires (PRF) pour biaiser la sélection des jetons.
   • Bahri & Wieting (2024) : Un schéma en boîte noire, sans distorsion, échantillonnant plusieurs séquences.
   • Kirchenbauer et al. (2023) : Un schéma biaisant les logits vers une liste de jetons "verts".
   • Kuditipudi et al. (2023) : Un schéma robuste utilisant une séquence secrète de graines (seeds) plutôt que des n-grammes.

2. Détecteurs sans tatouage : L'étude utilise diverses stratégies de détection de première partie (1P) et de tierce partie (3P) :

   • Log-Vraisemblance (LLh) et Rang : Métriques standards mesurant la probabilité d'un texte sous le modèle.
   • DetectLLM / Rapport Log-Rang de Log-Vraisemblance (LRR) : Combinant les caractéristiques de vraisemblance et de rang.
   • Binoculars : Un schéma de 3P exploitant les scores d'incertitude de deux LLM différents.
   • RADAR : Un détecteur basé sur RoBERTa, entraîné de manière adversaire.
   • Classificateur RoBERTa : Un classificateur binaire affiné et entraîné sur des textes humains et générés par des modèles étiquetés.

3. Schémas hybrides : L'article explore plusieurs méthodes pour combiner le score de tatouage ($s_w$) et le score du détecteur sans tatouage ($s_d$) :

   • Cascade unilatérale (1S) : Si $s_w$ dépasse un seuil, l'échantillon est signalé ; sinon, il est transmis au détecteur sans tatouage.
   • Cascade bilatérale (2S) : Si $s_w$ est élevé, signaler comme positif ; si $s_w$ est faible, signaler comme négatif ; sinon, transmettre au détecteur sans tatouage.
   • Modèles apprenables : Régression Logistique (LR), Perceptron Multicouche (MLP) et Arbres de Décision entraînés sur les caractéristiques normalisées $\{s_w, s_d\}$.

Dispositif expérimental

Les expériences ont été menées sur les jeux de données databricks-dolly-15k et eli5-category. Les auteurs ont analysé les performances en fonction de l'entropie de la réponse, de la longueur du texte, et sous des attaques adverses (remplacement aléatoire de jetons et paraphrase). Les métriques d'évaluation incluent l'AUC-ROC partielle (pAUC) à de faibles taux de faux positifs (FPR) et la précision (Accuracy).

Contributions clés et résultats

1. Les détecteurs sans tatouage peuvent surpasser le tatouage

Les auteurs démontrent que le tatouage n'est pas une "solution miracle". Dans de nombreux cas, particulièrement avec certains schémas de tatouage (ex. : Kuditipudi) ou certains détecteurs sans tatouage (ex. : Binoculars), l'approche sans tatouage seule atteint une précision supérieure au détecteur de tatouage. Par exemple, sous le schéma d'Aaronson, Binoculars a atteint 93,1 % de précision contre 90,4 % pour le détecteur de tatouage seul.

2. Les approches hybrides génèrent des gains substantiels

Combiner les deux approches surpasse systématiquement chaque méthode prise isolément. Les améliorations les plus significatives sont observées dans les régimes à faible entropie, où la performance du tatouage se dégrade généralement.

• Gain de performance : L'utilisation d'un modèle de Régression Logistique (LR) pour combiner un score de tatouage avec un score de classificateur RoBERTa a amélioré la précision de la détection de 75 % à plus de 95 % (un gain absolu de 20 %) sur les 20 % de requêtes ayant la plus faible entropie.
• Complémentarité : Le classificateur RoBERTa, bien qu'il ne soit pas toujours le meilleur détecteur sans tatouage autonome, a fourni le signal le plus complémentaire lorsqu'il est combiné aux tatouages, offrant souvent des gains plus importants que des détecteurs plus puissants comme la Log-Vraisemblance.

3. Robustesse aux attaques et à la longueur

• Paraphrase : Les attaques de paraphrase détruisent efficacement les signaux de tatouage, ramenant la détection du tatouage à un niveau proche du hasard. Dans ces cas, les méthodes hybrides comptent sur le signal sans tatouage, offrant un gain supplémentaire minimal à moins que le détecteur sans tatouage (comme RoBERTa) ne soit particulièrement robuste.
• Remplacement de jetons : Le remplacement aléatoire de jetons dégrade sévèrement les détecteurs basés sur la vraisemblance, mais laisse le classificateur RoBERTa étonnamment robuste. Les méthodes hybrides utilisant RoBERTa maintiennent des améliorations constantes à travers tous les niveaux de corruption.
• Longueur du texte : Bien que le tatouage et les détecteurs basés sur la vraisemblance nécessitent des textes plus longs pour être performants, le classificateur RoBERTa est performant même avec un faible nombre de jetons. Les approches hybrides exploitent cela avec succès pour maintenir une performance élevée à travers différentes longueurs de texte.

4. Efficacité computationnelle

Les schémas de cascade proposés (1S et 2S) offrent des avantages computationnels. En plaçant le détecteur de tatouage, moins coûteux en calcul, en premier, le système peut classer une partie significative des échantillons (20 à 40 % dans les scénarios de tatouage à forte intensité) sans invoquer le détecteur sans tatouage plus coûteux (qui nécessite souvent une inférence complète du LLM ou un chargement de modèle lourd).

Signification et affirmations

L'article affirme que la principale contribution est la démonstration que le tatouage et la détection sans tatouage sont complémentaires. Les auteurs soutiennent que se fier uniquement au tatouage est insuffisant, surtout pour les modèles post-entraînés ayant une entropie limitée. En combinant intelligemment ces signaux, les praticiens peuvent obtenir :

1. Une précision accrue : Des améliorations substantielles des taux de détection, particulièrement dans les scénarios difficiles à faible entropie.
2. Une robustesse : Une performance plus stable à travers différentes longueurs de texte et vecteurs d'attaque.
3. Une efficacité : Une stratégie de déploiement pratique (cascade) qui réduit les coûts de calcul en filtrant les cas faciles via le détecteur de tatouage en premier.

Les auteurs recommandent modestement la Régression Logistique comme méthode de combinaison apprenable optimale, notant que des modèles plus complexes (MLP, Arbres de décision) offrent des gains négligeables et risquent le surapprentissage. Ils concluent que bien que la détection de l'AGC devienne de plus en plus difficile, les approches hybrides constituent une voie viable vers un déploiement réel efficace, équilibrant performance et contraintes de calcul.