💬 NLP

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

Cet article présente EVIL-Detect, un cadre d'ensemble multi-signaux avec fusion sensible aux conflits qui a remporté la première place de la tâche partagée NLPCC 2026 en détectant efficacement les textes générés par LLM, écrits par des humains et raffinés par LLM dans des scénarios chinois.

Auteurs originaux : Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Publié 2026-08-12

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense et trépidante bibliothèque où les livres sont écrits tant par des humains que par un nouveau type de bibliothécaire incroyablement rapide : l'Intelligence Artificielle. Pendant longtemps, ces bibliothécaires IA (appelés Modèles de Langage de Grande Taille ou LLM) ne pouvaient écrire que de simples notes, mais désormais, ils peuvent écrire des histoires, des essais et des articles entiers qui semblent presque avoir été écrits par un humain. C'est une arme à double tranchage. D'un côté, c'est un superpouvoir pour la créativité ; de l'autre, cela devient difficile de savoir qui a réellement écrit un texte. Si un étudiant rend une dissertation, comment savoir s'il l'a écrite, si c'est une IA qui l'a écrite, ou s'il a demandé à une IA d'aider à polir son premier jet ? C'est le grand casse-tête que les scientifiques tentent de résoudre : construire un « détecteur de mensonges » pour le texte capable de distinguer un humain, un robot et une collaboration homme-robot.

Dans cette histoire, une équipe de chercheurs de Chine a construit un nouvel outil appelé EVIL-Detect pour résoudre ce casse-tête. Ils n'ont pas seulement construit un détecteur unique ; ils ont bâti une « brigade de détectives » qui travaille de concert pour découvrir la vérité. Leur système a été testé lors d'une compétition majeure appelée NLPCC 2026, où il a fait face à un défi complexe : distinguer trois types de textes — une écriture purement humaine, une écriture purement IA, et un texte écrit par un humain mais ensuite édité ou poli par une IA. Alors que d'autres méthodes tentaient de deviner la réponse avec un cerveau unique, EVIL-Detect a utilisé une approche d'équipe, combinant différents indices pour obtenir la bonne réponse. Dans le score final, leur système a obtenu un score macro-F1 de 0,8888, se classant premier de l'évaluation officielle.

Le Problème : Le Mystère des « Trois Voies »

La plupart des anciens détecteurs étaient comme des interrupteurs binaires : ils ne pouvaient dire que « Humain » ou « IA ». Mais le monde réel est plus complexe. Les gens utilisent souvent l'IA pour corriger leur grammaire ou rendre leur écriture plus élégante. Cela crée une troisième catégorie : le texte raffiné par un LLM. Imaginez qu'un étudiant rédige un brouillon (Humain), puis demande à une IA de « rendre cela plus professionnel » (Raffiné), ou qu'une IA écrive une histoire entière de toutes pièces (IA). Le défi est que le texte « Raffiné » ressemble à un mélange des deux, ce qui le rend très difficile à identifier.

Les chercheurs ont découvert que si vous essayez simplement d'apprendre à un ordinateur à deviner les trois catégories à la fois, il s'embrouille. Dans leurs tests, une méthode standard qui tentait d'apprendre directement les trois catégories a très mal performé, n'obtenant que 0,1690 sur le test. C'était comme essayer d'apprendre à un chien à parler trois langues à la fois ; il finissait par abandonner.

La Solution : La Brigade de Détectives (EVIL-Detect)

Au lieu d'un seul gros cerveau, l'équipe a construit EVIL-Detect (qui signifie Edit-aware View-Integrated Learning for Detection). Voyez ce système comme une équipe de quatre détectives différents, chacun observant le texte à travers une paire de lunettes différente. Ils ne se contentent pas de voter ; ils discutent entre eux et résolvent leurs désaccords pour parvenir à un verdict final.

Voici les quatre détectives et ce qu'ils recherchent :

Le « Détective de l'Édition » (Apprentissage Supervisé) : Ce détective est entraîné pour mesurer à quel point le texte a été modifié. Il observe la différence entre le style original d'un humain et la version finale. Si le texte est purement humain, le changement est nul. S'il est purement IA, le changement est énorme. S'il est « Raffiné », le changement se situe quelque part entre les deux. Ce détective donne un score sur une échelle glissante de 0 à 1, indiquant à l'équipe à quel point le texte semble « édité ».
Le « Détective Zero-Shot » (EchoPrompt) : Ce détective n'a pas besoin d'être entraîné sur les données spécifiques. Il utilise une astuce ingénieuse : il demande au texte : « Est-ce que cela ressemble à quelque chose qu'un robot dirait ? » en comparant la probabilité que différents modèles d'IA génèrent ce texte. Si le texte ressemble énormément à la production naturelle d'un robot, ce détective tire la sonnette d'alarme pour une génération par IA.
Le « Détective du Nombre de Mots » (Statistiques Lexicales) : Ce détective observe les détails les plus triviaux : la fréquence d'apparition de certains mots ou combinaisons de lettres. Les humains et les robots ont tendance à utiliser des « empreintes digitales » de mots différentes. Ce détective compte ces motifs pour voir si le texte penche vers des habitudes humaines ou des habitudes de machine.
Le « Détective du Livre de Règles » (Règles de Texte) : C'est le filet de sécurité. Il cherche des indices évidents qu'un humain ne ferait pas, comme des restes de code informatique (balises HTML comme <div ou <html>) ou des phrases inachevées qui ressemblent à un robot interrompu en plein milieu d'une phrase. S'il voit cela, il signale immédiatement le texte comme étant de l'IA.

Comment ils travaillent ensemble : La Réunion « Sensible aux Conflits »

La magie d'EVIL-Detect ne réside pas seulement dans le fait d'avoir quatre détectives, mais dans la manière dont ils gèrent leurs désaccords. Parfois, le « Détective de l'Édition » pense qu'un texte est « Raffiné », mais le « Détective du Nombre de Mots » pense qu'il s'agit d'une « IA ».

Au lieu de simplement faire la moyenne de leurs votes (ce qui reviendrait à une démocratie où l'opinion minoritaire est ignorée), l'équipe utilise une stratégie de Fusion Sensible aux Conflits (Conflict-Aware Fusion). Ils disposent d'un ensemble de règles pour résoudre les arguments :

Si deux détectives sont d'accord, ils suivent cette réponse.
S'ils sont en désaccord, ils examinent les indices spécifiques. Par exemple, si le « Détective de l'Édition » hésite entre « Humain » et « Raffiné », l'équipe vérifie le « Détective Zero-Shot » pour voir s'il existe des signes forts d'IA.
Enfin, le « Détective du Livre de Règles » a le dernier mot. Si le texte contient du code informatique évident, le système outrepasse tout le reste et conclut qu'il s'agit d'une IA.

Les Résultats : Gagner la Compétition

Lorsque l'équipe a testé son système sur les données officielles de la compétition, qui comprenaient des exemples complexes et inédits conçus pour briser les détecteurs, EVIL-Detect a réalisé des performances incroyables.

Sur le premier ensemble de test (testp1), il a obtenu un macro-F1 de 0,8913.
Sur le second ensemble de test, plus difficile (testp2), il a obtenu 0,8888.

Le système était particulièrement efficace pour repérer le texte pur d'IA (avec un score de 0,9219 pour cette catégorie) et a fait un travail solide avec le texte complexe « Raffiné » (score de 0,8407). Les chercheurs ont constaté que le « Détective de l'Édition » était le membre le plus fort de l'équipe, mais que le système n'a atteint la première place que parce que les autres détectives ont aidé à corriger les erreurs du membre principal.

Ce qu'ils ont appris (et ce qu'ils ont rejeté)

L'article a également testé d'autres idées pour voir si elles fonctionnaient, et ils ont découvert que certaines méthodes populaires échouent en réalité dans ce défi spécifique à trois voies.

L'Entraînement Direct a échoué : Ils ont tenté d'entraîner un seul modèle d'IA pour simplement « deviner » les trois catégories directement. Ce fut un désastre, avec un score de seulement 0,1690. Cela prouve qu'on ne peut pas simplement injecter des données dans un modèle et s'attendre à ce qu'il comprenne la nuance entre « Humain », « IA » et « Raffiné » sans aide.
Les anciens détecteurs ont eu du mal : Ils ont aussi testé une méthode appelée « Binoculars », qui est efficace pour la détection binaire simple, mais elle n'a obtenu que 0,3928 ici. Elle ne pouvait pas gérer la complexité des trois classes.

Les chercheurs suggèrent que le secret de la réussite n'était pas un « super-modèle » unique, mais plutôt un ensemble multi-signaux. En combinant la « force d'édition » (combien de changements ont été effectués), la « probabilité » (est-ce que cela ressemble à un robot ?) et les « motifs de mots », ils ont créé un système suffisamment robuste pour gérer la réalité désordonnée de la façon dont les gens utilisent l'IA aujourd'hui.

En résumé, EVIL-Detect montre que pour attraper la vérité dans un monde d'IA et d'humains, il faut une équipe de spécialistes capables de débattre, de faire des compromis et de se vérifier mutuellement, plutôt que de se fier à une seule supposition.

Résumé Technique : EVIL-Detect pour la tâche partagée NLPCC 2026

Définition du Problème
Le papier traite du défi de la détection de textes générés ou raffinés par des modèles de langage de grande taille (LLM) dans des scénarios chinois réalistes. Alors que la littérature existante se concentre principalement sur la classification binaire (distinguer le texte écrit par l'humain [HWT] du texte généré par un LLM [LGT]), la tâche partagée NLPCC 2026 Shared Task 6 introduit un problème de classification à trois classes plus complexe :

HWT : Texte purement écrit par l'humain.
LGT : Texte entièrement généré par un LLM.
HLT : Texte raffiné par un LLM (texte écrit par l'humain poli ou réécrit par un LLM).

Les auteurs notent que ce cadre reflète l'écriture assistée par l'IA dans le monde réel mais présente des défis importants en raison de décalages de distribution hors domaine (OOD) marqués entre les données d'entraînement (dérivées de CUDRT) et les données d'évaluation (dérivées de DetectRL-X), qui impliquent des domaines, des générateurs et des schémas de génération inédits. L'adaptation directe de classifieurs binaires ou du réglage fin supervisé (SFT) standard à ce cadre à trois classes s'est avérée insuffisamment robuste, certaines approches de base SFT atteignant des scores macro-F1 aussi bas que 0,1690.

Méthodologie : EVIL-Detect
Les auteurs proposent EVIL-Detect (Edit-aware View-Integrated Learning for Detection), un cadre d'ensemble multi-signaux conçu pour gérer le continuum entre HWT, HLT et LGT. L'architecture du système intègre quatre sources d'évidence distinctes via une stratégie de fusion sensible aux conflits :

Module d'Entraînement Supervisé (Régression de l'étendue de l'édition) :
- Inspiré par EditLens, ce module traite la détection comme un problème de régression continue plutôt que comme une classification discrète.
- Il définit un axe cible d'étendue d'édition où le HWT est 0, le LGT est 1, et le HLT est une valeur $d(h, t)$ représentant la distance entre la source humaine et le texte raffiné.
- Deux variantes sont implémentées :
  - EditLens : Utilise des distances de n-grammes de caractères mous au niveau de la surface. La configuration optimale (rank044) utilise des ordres de n-grammes 1 à 7 avec des poids augmentant linéairement.
  - Soft-EditLens : Utilise une correspondance douce de phrases sémantiques via des plongements (embeddings) pour capturer les expressions préservées malgré le remplacement lexical. Il produit à la fois un score de régression continue et un indice de compartiment ordinal.
- Les deux variantes utilisent des modèles Qwen avec une adaptation de bas rang (LoRA).
Module de Détection Zero-Shot :
- Utilise EchoPrompt, une méthode sans entraînement qui calcule les scores de contraste de vraisemblance entre les modèles ajustés par instruction et les modèles de base.
- Au lieu de prédictions autonomes, plusieurs branches de prompts/modèles (utilisant Qwen3.5 et Qwen2.5) génèrent des « votes de soutien LGT » binaires pour servir d'évidence auxiliaire.
Module de Statistiques de Fréquence Lexicale :
- Construit des lexiques de fréquence par étiquette à partir de l'ensemble d'entraînement pour identifier les n-grammes discriminants.
- Calcule des probabilités conditionnelles lissées par étiquette et des scores de log-odds agrégés (ex: LGT-contre-HWT, IA-contre-HWT) pour fournir une évidence de surface légère.
Module de Fusion et de Décision :
- Intégration Sensible aux Conflits : Le système n'utilise pas une moyenne uniforme. Il utilise des frontières de décision calibrées pour convertir les scores EditLens en étiquettes de base. Si deux frontières calibrées sont en désaccord, un résolveur $R(\cdot)$ est déclenché.
- Le résolveur utilise les scores de régression/compartiment de Soft-EditLens et les votes de soutien LGT agrégés pour résoudre les conflits entre des paires de classes spécifiques (ex: HWT/HLT, HLT/LGT).
- Règles de Texte à Haute Précision : Comme ultime garde-fou, des règles conservatrices corrigent des artefacts spécifiques, tels que les marquages structurels HTML/XML ou les résidus de scripts (indicatifs de LGT) et les traces explicites de réécriture (indicatives de HLT).

Principales Contributions

Analyse du Cadre Chinois à Trois Classes : Le papier analyse les performances de méthodes de détection représentatives dans le contexte spécifique de HWT, LGT et HLT, démontant que l'adaptation directe des méthodes binaires échoue sous les décalages OOD.
Cadre EVIL-Detect : La proposition d'un cadre d'ensemble sensible aux conflits qui intègre la régression de l'étendue d'édition, l'évidence de vraisemblance zero-shot, les statistiques lexicales et les corrections basées sur des règles.
Performance État de l'Art : Le système a atteint un score macro-F1 de 0,8888 sur l'ensemble de test officiel (testp2), se classant premier de la tâche partagée NLPCC 2026 Shared Task 6.

Résultats Expérimentaux

Performance : Le système a atteint un macro-F1 de 0,8913 sur testp1 et 0,8888 sur testp2.
Performance par Classe : La détection LGT est la plus forte (F1 $\approx$ 0,92), tandis que le HLT reste la classe la plus difficile (F1 $\approx$ 0,84), ce qui est cohérent avec sa nature intermédiaire.
Études d'Ablation :
- Le composant EditLens seul a atteint un macro-F1 de 0,8411.
- L'ajout de l'intégration sensible aux conflits et des règles de texte a amélioré le score à 0,8816.
- Le système de fusion complet (0,8888) a considérablement réduit les erreurs de confusion, réduisant spécifiquement les erreurs LGT $\to$ HLT de 59 à 3 0 et les erreurs HLT $\to$ LGT de 58 à 28 par rapport à la ligne de base EditLens seule.
- Les conceptions alternatives, telles que les classifieurs SFT génératifs directs (ex: GLM-4-9B, Qwen3.5-9B), ont été peu performantes (macro-F1 < 0,19), validant le choix de conception des auteurs d'utiliser la modélisation de l'étendue d'édition comme signal de base plutôt que de compter uniquement sur la classification générative.

Signification
Le papier affirme qu'une détection robuste à trois classes dans des contextes OOD réalistes ne peut reposer sur un seul signal. Au contraire, l'intégration de la modélisation de la force d'édition, de l'évidence basée sur la vraisemblance, des indices lexicaux et des corrections de haute précision fournit les informations complémentaires nécessaires pour distinguer le texte humain, généré par machine et raffiné par machine. Ce travail souligne la nécessité des stratégies de résolution de conflits lors de la fusion de signaux hétérogènes pour les tâches de détection de texte fines.