Résumé technique : Détection en boîte noire de textes générés par des LLMs utilisant la divergence de Jensen-Shannon généralisée

Énoncé du problème

Les progrès rapides des modèles de langage de grande taille (LLMs) ont brouillé la distinction entre les textes écrits par des humains et ceux générés par des machines, soulevant des préoccupations concernant la désinformation, le plagiat, la fraude et la dégradation de la qualité des données d'entraînement via des boucles de rétroaction récursives. Les méthodes de détection existantes présentent des limitations significatives dans des scénarios pratiques en boîte noire :

• Les détecteurs basés sur des classificateurs nécessitent un réentraînement coûteux lorsque les domaines ou les générateurs changent et dépendent de données étiquetées de haute qualité.
• Les méthodes basées sur des statistiques globales (par exemple, vraisemblance, rang, entropie) sont souvent instables en cas de désajustement de l'étalonnage et de changements de domaine.
• Les méthodes basées sur des statistiques distributionnelles (par exemple, DetectGPT, DNA-GPT) nécessitent généralement une régénération ou une perturbation par instance pour estimer la divergence locale, entraînant des coûts de calcul élevés et une latence irréalistes pour les applications à haut débit.

De plus, les contraintes en boîte noire exacerbent les problèmes où le modèle proxy utilisé pour le scoring peut ne pas correspondre au modèle source inconnu. L'article répond au besoin d'un détecteur qui évite le réentraînement et la régénération par instance tout en restant robuste face aux changements de distribution et aux désajustements de modèles proxy.

Méthodologie : SurpMark

Les auteurs proposent SurpMark, un détecteur en boîte noire basé sur une référence, qui formule l'attribution comme un test d'hypothèse sans vraisemblance. Le cadre fonctionne en deux phases :

1. Construction de référence hors ligne

En utilisant des corpus humains et machine existants, le système construit des matrices de transition de référence fixes :

• Estimation de la surprise : Un modèle de langage (LM) proxy fixe calcule les surprises au niveau des tokens ($s_t = -\log p_\theta(x_t | x_{<t})$) pour les textes de référence.
• Discrétisation : Les valeurs continues de surprise sont quantifiées en $k$ états interprétables (par exemple, "Prévisible", "Surprenant") à l'aide d'un quantificateur $k$-means partagé. Cela convertit la séquence en une séquence d'états discrets $\{a_t\}$.
• Modélisation des transitions : Les séquences d'états sont modélisées comme des chaînes de Markov du premier ordre. Les matrices de probabilités de transition empiriques ($\hat{M}_{human}$ et $\hat{M}_{machine}$) sont estimées en comptant les transitions d'état dans les corpus de référence.

2. Détection en ligne

Pour un passage de texte à tester :

• Extraction de caractéristiques : Le même LM proxy calcule les surprises, qui sont discrétisées à l'aide du quantificateur partagé pour former une séquence d'états.
• Estimation des transitions : Une matrice de transition empirique ($\hat{M}_{test}$) est calculée pour le texte à tester.
• Notation : Le détecteur calcule un score de divergence Jensen-Shannon généralisée (GJS). Plus précisément, il calcule la différence entre la distance GJS par rapport à la référence machine et la distance GJS par rapport à la référence humaine :
  $$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$$
  où $\alpha$ est le rapport entre la longueur de la référence et la longueur du test.
• Décision : Le texte est classé comme généré par une machine si $\Delta GJS_n \leq \tau$ (où $\tau$ est un seuil, typiquement 0), et comme écrit par un humain sinon.

Justification théorique

L'article fournit une analyse théorique sous une approximation idéale de chaîne de Markov du premier ordre des états de surprise discrétisés :

• Arbitrage discrétisation-estimation : Les auteurs dérivent une loi d'échelle pour le nombre de classes $k$. En équilibrant l'erreur de discrétisation ($O(1/k)$) et l'erreur d'estimation statistique ($O(k^{3/2}/\sqrt{N})$), le nombre optimal de classes évolue selon $k^* = \Theta(N^{1/5})$, où $N$ est la longueur totale des données de référence.
• Validité de la statistique : La statistique $\Delta GJS_n$ est montrée comme équivalente au rapport de vraisemblance logarithmique normalisé entre les deux hypothèses (humain vs machine). Les auteurs prouvent sa normalité asymptotique, fournissant une base rationnelle pour la règle de décision.
• Suffisance du premier ordre : L'analyse empirique et théorique (basée sur la théorie d'approximation de Gray) indique que l'information mutuelle conditionnelle gagnée en passant d'un modèle de Markov du premier ordre à un modèle du second ordre est négligeable (réduction de perplexité inférieure au pourcent), justifiant l'utilisation de modèles du premier ordre pour l'efficacité des données.

Contributions clés

1. Cadre SurpMark : Un détecteur basé sur une référence qui résume le texte via la dynamique des surprises des tokens (transitions d'état) plutôt que par des vraisemblances absolues, évitant ainsi le besoin de régénération par instance.
2. Analyse théorique : Dérivation de directives de conception pour l'échelle de discrétisation des classes ($k \propto N^{1/5}$) et une justification rationnelle de la statistique de test basée sur GJS en tant que rapport de vraisemblance logarithmique.
3. Évaluation complète : Des expériences extensives démontrant une robustesse à travers divers ensembles de données, modèles sources (open et closed-source) et scénarios (domaines mixtes, paraphrase, attaques adverses).

Résultats expérimentaux

SurpMark a été évalué contre 13 références (y compris DetectGPT, Lastde++, R-Detect et Binoculars) sur plusieurs ensembles de données (XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL) et modèles (9 open-source, 3 closed-source).

• Performance : SurpMatch correspond systématiquement ou dépasse les références. Il a obtenu la plus haute AUROC moyenne sur 6 des 9 modèles open-source et s'est classé premier sur les 3 modèles closed-source (y compris GPT-5-Chat), où les statistiques marginales échouent souvent.
• Efficacité : Contrairement aux méthodes distributionnelles nécessitant une régénération par entrée (par exemple, DetectGPT, Lastde++), SurpMark note les textes en un seul passage. Il atteint un débit supérieur aux références après amortissement du coût de prétraitement unique, le rendant adapté au déploiement en temps réel.
• Robustesse :
  • Désajustement du proxy : SurpMark reste stable même lorsque le LM proxy diffère considérablement du générateur source, alors que de nombreuses références se dégradent.
  • Changement de domaine : La méthode maintient des performances élevées dans des paramètres de domaines et de générateurs mixtes (benchmark DetectRL).
  • Attaques adverses : SurpMark démontre une forte résilience face aux attaques de paraphrase (polissage, traduction inverse, DIPPER) et aux attaques adverses conçues par ingénierie de prompt pour imiter le style humain ou échapper à la détection.
  • Généralisation OOD : Le détecteur fonctionne bien lorsque les textes de référence proviennent d'un domaine différent de celui de l'ensemble de test, indiquant qu'il capture des signaux transférables plutôt que des artefacts spécifiques au domaine.

Importance et revendications

L'article revendique que SurpMark offre une solution robuste, efficace et théoriquement fondée pour la détection de textes LLM en boîte noire. Son importance réside dans :

• Découplage des modèles sources : En s'appuyant sur la dynamique des surprises des tokens par rapport à des références fixes, il évite la fragilité des classificateurs entraînés sur des générateurs spécifiques.
• Efficacité computationnelle : Il élimine la latence et le coût associés à la régénération par instance, permettant un déploiement évolutif.
• Gestion des modèles avancés : La méthode répond spécifiquement au défi de la détection de textes provenant de modèles puissants et closed-source (comme GPT-5) où les distributions de surprise marginales convergent avec les textes humains, mais où les dynamiques transitionnelles restent distinctes.

Les auteurs notent modestement des limites, reconnaissant que l'approximation de chaîne de Markov du premier ordre est une idéalisation pour l'espace d'états discrétisé et que l'exposition au pré-entraînement des textes humains dans le modèle proxy pourrait théoriquement augmenter les faux positifs, bien que les expériences suggèrent que cet effet est minime. Ils soulignent que le détecteur fournit un signal probabiliste et ne devrait pas être utilisé comme seul fondement pour des décisions à haut risque sans examen humain.