SV-Detect: AI-generated Text Detection with Steering Vectors

Énoncé du problème
Le déploiement rapide des grands modèles de langage (LLM) a produit un texte généré par machine qui est de plus en plus fluide et difficile à distinguer de l'écriture humaine. Bien que les méthodes de détection existantes (telles que les statistiques au niveau du jeton, les scores basés sur la vraisemblance et les classifieurs supervisés) soient performantes en distribution, elles se dégradent souvent de manière significative sous l'effet d'un changement de distribution. Ces changements incluent les transferts entre différents domaines, modèles sources et attaques basées sur l'édition, telles que la paraphrase, le polissage ou la réécriture. Les détecteurs actuels reposent fréquemment sur des artefacts spécifiques à un générateur, un jeu de données ou un style d'attaque particulier, ce qui limite leur robustesse dans des scénarios réels où les conditions de génération sont inconnues ou adverses.

Méthodologie : SV-Detect
Le papier propose SV-Detect, un détecteur de texte factice qui traite la détection comme un problème de sondage de l'espace de représentation plutôt que comme une tâche de classification de surface. L'hypothèse centrale est que les textes écrits par des humains et ceux générés par des machines induisent des directions systématiquement différentes dans l'espace de représentation caché d'un modèle de langage.

La méthode opère sur un modèle de langage gelé (le LLM « sonde ») et suit un pipeline en quatre étapes :

1. Extraction de la représentation par couche : Les états cachés sont extraits de chaque couche du LLM gelé. Pour chaque couche, les états cachés au niveau du jeton sont moyennés (mean-pooling) pour créer un vecteur de représentation unique pour l'ensemble du texte.
2. Construction du vecteur de direction (Steering Vector) : Pour chaque couche, un « vecteur de direction » est construit pour séparer les textes écrits par des humains des textes générés par des machines. Le papier évalue trois méthodes de construction :
   • Différence de moyenne (Mean-difference) : La différence normalisée entre les moyennes de classe des activations humaines et des machines.
   • Régression logistique (Logistic-regression) : Le vecteur normal d'un hyperplan séparant les deux classes, appris via une régression logistique dans l'espace d'activation.
   • PCA : La composante principale de premier ordre des différences entre les activations fausses et réelles.
     Les expériences identifient l'approche par régression logistique comme étant la plus robuste.
3. Caractéristiques de projection : Un nouveau texte de test est représenté par son alignement avec ces vecteurs de direction. Plus précisément, la similitude cosinus entre l'activation moyennée du texte à chaque couche et le vecteur de direction correspondant est calculée. Ces scores forment un vecteur de caractéristiques compact résumant l'alignement du texte avec les « directions de texte factice » à travers le réseau.
4. Tête de détection : Un classifieur léger (par défaut une régression logistique avec standardisation des caractéristiques) est entraîné sur ces caractéristiques de projection pour produire un score de détection. Crucialement, le LLM sous-jacent reste gelé tout au long du processus.

Contributions clés

• Cadre novateur : Introduction de SV-Detect, un détecteur basé sur des vecteurs de direction extraits des états cachés d'un modèle de langage gelé, évitant ainsi le besoin de fine-tuning du modèle de base.
• Généralisation robuste : Démonstration d'une performance solide sur des benchmarks exigeants (DetectRL et MIRAGE), incluant un transfert robuste à travers les domaines, les modèles sources et les familles d'attaques (ex. : paraphrase, polissage).
• Transfert inter-benchmarks : Preuve que les vecteurs de direction appris d'un benchmark (MIRAGE) peuvent transférer efficacement vers un autre (DetectRL), suggérant que la méthode capture un signal indépendant du benchmark.
• Interprétabilité : Analyse montrant que les directions de direction apprises s'alignent avec des indices lexicaux et stylistiques reconnaissables (ex. : registre formel vs familier) tout en capturant un signal substantiel au-delà des caractéristiques de surface.

Résultats expérimentaux
La méthode a été évaluée sur DetectRL (se concentrant sur la robustesse à travers les domaines, les modèles et les attaques) et MIRAGE (se concentrant sur la génération, le polissage et la réécriture).

• Performance en distribution (In-Distribution) : SV-Detect a atteint une performance quasi parfaite (AUROC > 99 % dans la plupart des cas) à travers tous les réglages de DetectRL (Multi-Domaine, Multi-LLM, Multi-Attaque), surpassant ou égalant de solides baselines supervisées comme RoBERTa et XLM-RoBERTa, et dépassant nettement les détecteurs basés sur des scores zero-shot.
• Généralisation inter-réglages : Dans les évaluations de sources croisées (entraînement sur un domaine/modèle et test sur un autre), SV-Detect a démontré la performance la plus cohérente parmi les détecteurs comparés, maintenant des scores F1 élevés là où les autres méthodes se sont dégradées.
• Performance sur MIRAGE : Sur MIRAGE, une formulation multi-tâche (entraînant des vecteurs de direction distincts pour les tâches de Génération, Polissage et Réécriture) a obtenu la meilleure performance dans les six configurations, surpassant les méthodes de l'état de l'art précédentes.
• Études d'ablation : L'étude a confirmé que la construction par régression logistique des vecteurs de direction est supérieure aux méthodes de différence de moyenne ou de PCA, particulièrement lors du transfert. Elle a également montré que le choix du classifieur en aval importe peu par rapport à la représentation elle-même ; une simple régression logistique est suffisante et plus robuste que des classifieurs non linéaires complexes (comme CatBoost ou KNN) sous un changement de distribution.
• Efficacité : Bien que SV-Detect nécessite une passe avant complète à travers un grand modèle de langage (ce qui le rend plus coûteux en calcul que les petits modèles encodeurs comme RoBERTa), il est nettement plus rapide que les détecteurs basés sur la perturbation (ex. : DetectGPT) qui nécessitent plusieurs passes avant.

Signification et affirmations
Le papier positionne la détection de texte factice comme un problème de sondage de l'espace de représentation. Les auteurs affirment que le texte généré par machine peut être identifié non seulement par sa forme de surface ou ses probabilités de sortie, mais par les directions stables dans l'espace des états cachés selon lesquelles il diffère de l'écriture humaine.

La portée de ce travail réside dans :

1. Robustesse : Fournir une solution qui généralise à travers diverses conditions de génération et attaques d'édition, répondant à une limitation clé des détecteurs actuels.
2. Interprétabilité : Offrir un mécanisme pour comprendre comment le détecteur distingue le texte, révélant que le signal s'aligne sur des différences stylistiques significatives (ex. : « registre poli de type LLM » vs « écriture humaine familière ») tout en encodant des informations supplémentaires non liées à la surface.
3. Simplicité : Démontrer qu'une simple projection linéaire des états cachés, suivie d'un classifieur léger, peut surpasser des approches complexes, fine-tunées ou zero-shot en termes de robustesse.

Les auteurs concluent que les vecteurs de direction constituent une solution simple et efficace pour détecter le texte généré par IA, suggérant que la « signature » de la génération par machine est une propriété géométrique stable au sein de l'espace de représentation des modèles de langage.