💬 NLP

Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

Ce papier présente GhostWriteBench, un jeu de données pour l'attribution d'auteur de textes longs générés par des LLM, et propose TRACE, une méthode de fingerprinting légère et interprétable qui atteint des performances de pointe et une grande robustesse face aux modèles et domaines inconnus.

Auteurs originaux : Anudeex Shetty, Qiongkai Xu, Olga Ohrimenko, Jey Han Lau

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anudeex Shetty, Qiongkai Xu, Olga Ohrimenko, Jey Han Lau

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Qui est le vrai "Fantôme" ?

Imaginez que vous achetez un livre en ligne. Vous pensez qu'il a été écrit par un humain passionné. Mais en réalité, il a été généré par une intelligence artificielle (IA) pour tromper les lecteurs et voler des ventes. C'est ce qu'on appelle le "ghostwriting" par IA.

Le problème, c'est que les détecteurs actuels sont comme des gardiens de sécurité un peu bêtes :

Ils ne savent dire que "Oui, c'est une IA" ou "Non, c'est un humain" (comme un feu rouge).
Ils sont entraînés sur de petits textes (comme des tweets ou des articles de blog) et paniquent dès qu'ils voient un gros roman.
S'ils n'ont jamais vu le modèle d'IA spécifique qui a écrit le livre, ils sont incapables de le reconnaître.

📚 La Solution 1 : GHOSTWRITEBENCH (Le Nouveau Terrain de Jeu)

Les chercheurs ont créé un nouveau "stade de test" appelé GHOSTWRITEBENCH.

L'analogie : Imaginez que vous vouliez tester si un détecteur de métaux est vraiment bon. Au lieu de lui donner des pièces de monnaie (des petits textes), vous lui donnez des montagnes entières de sable (des livres complets de 50 000 mots).
Ce qu'il contient : Ce n'est pas juste un livre, c'est une bibliothèque de livres écrits par les 10 IA les plus puissantes et récentes du monde.
Le défi : Ils ont créé des scénarios difficiles. Par exemple : "Voici un livre écrit par une IA que tu n'as jamais vue" ou "Voici un livre dans un genre que tu n'as jamais lu". C'est comme demander à un détective de résoudre un crime dans un pays où il ne parle pas la langue.

🕵️‍♀️ La Solution 2 : TRACE (La Nouvelle Empreinte Digitale)

Pour résoudre ce casse-tête, les chercheurs ont inventé une méthode appelée TRACE. Oubliez les méthodes compliquées qui nécessitent des super-ordinateurs. TRACE est léger, rapide et intelligent.

Comment ça marche ? L'analogie de la "Marche du Marcheur"

Imaginez que chaque auteur (humain ou IA) a une façon unique de marcher.

Un humain peut faire de grandes enjambées, puis s'arrêter pour regarder le paysage, puis courir.
Une IA, elle, a un rythme très régulier, presque mécanique, même si elle essaie de faire des pas variés.

TRACE ne lit pas le texte pour comprendre l'histoire. Il regarde comment les mots sont enchaînés, comme un expert qui analyse la façon dont les mots "glissent" les uns vers les autres.

L'Observateur : TRACE utilise un petit "assistant" (un modèle d'IA simple) pour regarder chaque mot du livre.
Le Classement : Pour chaque mot, l'assistant se demande : "Si j'écrivais cette phrase, quel mot aurais-je choisi ?" et "À quel rang de probabilité ce mot se situe-t-il ?".
La Carte de la Marche : TRACE ne note pas les mots, il note les transitions. Il trace une carte mentale : "Quand l'auteur a choisi le mot A, a-t-il ensuite choisi le mot B ?".
L'Empreinte : Au final, il obtient une sorte de carte thermique (une image en 2D) qui ressemble à une empreinte digitale unique pour chaque IA.

Pourquoi c'est génial ?

C'est comme une signature : Même si l'IA essaie de changer de style (changer de genre, écrire un livre d'horreur au lieu d'un livre de cuisine), sa "façon de marcher" (la transition entre les mots) reste la même. C'est comme si un voleur changeait de manteau et de chapeau, mais gardait la même démarche.
Pas besoin de secrets : TRACE fonctionne même si l'IA est un "boîte noire" (comme ChatGPT ou Claude), car il n'a pas besoin de voir le code interne de l'IA, il analyse juste le résultat final.
Peu de données : Il n'a besoin que de très peu d'exemples pour apprendre à reconnaître l'empreinte digitale d'une IA.

🏆 Les Résultats : Qui gagne ?

Les chercheurs ont mis TRACE en compétition avec les meilleurs détecteurs existants.

Les anciens détecteurs : Ils sont tombés en panne dès qu'ils ont vu un livre long ou une IA inconnue. C'était comme essayer de reconnaître un ami dans une foule en ne regardant que ses chaussures.
TRACE : Il a gagné haut la main. Il a réussi à dire : "Ce livre a été écrit par l'IA X, même si je ne l'ai jamais vue avant" et "Ce livre a été écrit par l'IA Y, même si le sujet est nouveau".

💡 En Résumé

Cette recherche nous dit deux choses importantes :

Le danger est réel : Les IA peuvent écrire des livres entiers qui semblent humains, et nous avons besoin de nouveaux outils pour les repérer.
La solution est élégante : Au lieu de devenir plus compliqué, la meilleure façon de repérer une IA est de regarder la "musique" cachée derrière les mots (les transitions), pas juste les mots eux-mêmes. C'est comme écouter le rythme d'un batteur de jazz : peu importe la chanson, le rythme reste unique à l'artiste.

En bref, TRACE est le nouveau détective qui ne se laisse pas berner par le déguisement, car il reconnaît la démarche unique de chaque machine.

1. Problématique

L'émergence de l'écriture fantôme (ghostwriting) par les grands modèles de langage (LLM) pose un défi majeur pour l'attribution d'auteur. Des livres entiers, souvent de faible qualité et destinés à tromper les lecteurs, sont générés automatiquement. Les méthodes d'attribution d'auteur (AA) existantes présentent plusieurs limites critiques :

Nature binaire : La plupart des travaux se concentrent sur la détection binaire (Humain vs IA) plutôt que sur l'attribution spécifique de l'auteur (multi-classes).
Manque de généralisation : Les modèles actuels peinent à généraliser à des domaines non vus (OOD-Domain) ou à des générateurs d'IA non vus (OOD-Auteur).
Longueur des textes : Les benchmarks existants se limitent souvent à de courts textes, alors que le problème réel concerne des documents longs (livres de plus de 10 000 mots, souvent >50 000 mots).
Dépendance aux données : Les méthodes supervisées nécessitent de grandes quantités de données d'entraînement et échouent souvent en scénarios à ressources limitées.

2. Méthodologie

Les auteurs proposent une approche double : la création d'un nouveau benchmark et le développement d'une nouvelle méthode de détection.

A. Le Dataset : GHOSTWRITEBENCH

Pour combler le manque de données adaptées, les auteurs ont construit GHOSTWRITEBENCH, un dataset dédié à l'attribution d'auteur pour des textes longs.

Contenu : Il comprend des livres générés par 10 LLMs de pointe (frontier models) et 100 livres humains. Chaque document contient en moyenne plus de 50 000 mots.
Génération : Un pipeline hiérarchique (planification, résumé, expansion incrémentale) est utilisé pour générer des livres cohérents dans divers genres (fiction, biographie, sciences, etc.), en s'inspirant de textes humains du Project Gutenberg.
Évaluation OOD (Out-of-Distribution) : Le dataset teste explicitement la généralisation selon deux dimensions :
1. OOD-Domain : Généralisation vers des genres non vus lors de l'entraînement.
2. OOD-Auteur : Généralisation vers des LLMs jamais vus (scénario "open-set").
Scénarios de ressources : Le dataset inclut des configurations "High-Resource" (10-35 livres par modèle) et "Low-Resource" (3-5 livres par modèle).

B. La Méthode : TRACE (Transition-based Representation for Authorship Classification and Evaluation)

TRACE est une méthode d'empreinte digitale (fingerprinting) légère, interprétable et ne nécessitant pas d'accès "boîte blanche" (fonctionne sur les modèles fermés).

Principe : Au lieu d'analyser le contenu sémantique, TRACE capture les motifs de transition au niveau des tokens.
Fonctionnement :
1. Un petit modèle de langage "évaluateur" (ex: GPT-2) analyse le texte cible.
2. Pour chaque token, le modèle calcule des métriques comme le rang (probabilité relative du mot) ou l'entropie.
3. TRACE modélise les transitions entre ces valeurs consécutives (ex: transition du rang du token $t_i$ au rang du token $t_{i+1}$ ).
4. Ces transitions sont compressées en une signature bidimensionnelle (matrice ou carte de densité) qui agit comme une empreinte digitale unique pour chaque LLM.
Deux variantes :
- Rank-based : Utilise les rangs des tokens, compressés en clusters de probabilité égale.
- Entropy-based : Utilise l'entropie des tokens, lissée par estimation de densité noyau (KDE).
Attribution : À l'inférence, l'empreinte du texte test est comparée aux empreintes de référence (calculées sur les livres d'entraînement) en utilisant des métriques de similarité comme la distance de Jensen-Shannon (JS) ou la norme-moyenne (norm-mean).

3. Résultats Clés

Les expériences menées sur GHOSTWRITEBENCH montrent que TRACE surpasse l'état de l'art (SOTA) dans la plupart des scénarios.

Performance globale : TRACE atteint les meilleures performances macro-F1, surpassant les méthodes basées sur des modèles (BERT-AA, DETECTIVE) et des métriques (GLTR, N-GRAM).
Robustesse OOD : Contrairement aux méthodes supervisées qui s'effondrent sur des données hors distribution, TRACE maintient une performance robuste, notamment dans les scénarios OOD-Auteur (détection de modèles inconnus) et OOD-Domain.
Scénarios à faibles ressources : TRACE excelle particulièrement lorsque peu de données d'entraînement sont disponibles (3-5 livres), là où les méthodes basées sur des réseaux de neurones échouent ou nécessitent un ajustement coûteux.
Distinction Humain/IA : Dans une variante du test OOD-Auteur, les variantes basées sur l'entropie de TRACE atteignent une performance parfaite (100%) pour distinguer les auteurs humains des auteurs IA, suggérant que les empreintes des humains sont radicalement différentes de celles des LLMs.
Analyse d'erreur : Les méthodes concurrentes tendent à confondre les modèles appartenant à la même famille (ex: GPT-4.1 vs GPT-5.1), tandis que TRACE parvient à mieux les discriminer grâce à la spécificité de ses motifs de transition.

4. Contributions Majeures

GHOSTWRITEBENCH : Le premier dataset de référence pour l'attribution d'auteur de LLMs sur des textes longs (livres), incluant des évaluations rigoureuses de généralisation OOD (domaine et auteur).
TRACE : Une nouvelle méthode d'empreinte digitale qui est :
- Interprétable : Les signatures 2D révèlent des styles d'écriture distincts.
- Légère : Ne nécessite pas d'entraînement de grands modèles, seulement un petit modèle évaluateur.
- Polyvalente : Fonctionne sur des modèles open-source et closed-source.
- Efficace : Performante même avec très peu de données d'entraînement.

5. Signification et Impact

Ce travail est crucial pour la forensique numérique et la sécurité de l'information à l'ère des LLMs.

Lutte contre la désinformation et la fraude : Il fournit un outil pour identifier les livres "fantômes" générés par IA, protégeant ainsi les auteurs humains et les consommateurs.
Changement de paradigme : Il déplace le focus de la simple détection "Humain vs IA" vers l'attribution précise de l'origine (quel modèle spécifique), ce qui est essentiel pour la responsabilité (accountability).
Futur de la recherche : En démontrant que les motifs de transition de tokens sont des signaux robustes, TRACE ouvre la voie à de nouvelles recherches sur la détection de textes longs et la résilience face aux tentatives d'obfuscation.

En conclusion, l'article propose une solution pratique et robuste pour tracer l'origine des textes longs générés par l'IA, comblant un vide critique dans les benchmarks actuels et offrant une méthode de détection efficace même dans des conditions réalistes et difficiles (peu de données, modèles inconnus).