NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution

Le papier présente NOTAI.AI, un cadre interprétable de détection de texte généré par IA qui combine des signaux de courbure, des métriques stylistiques et un classifieur XGBoost enrichi par des explications SHAP et des rationales en langage naturel via un LLM, le tout accessible via une application web interactive.

L'essentiel

🕵️‍♂️ NOTAI.AI : Le Détective qui Explique ses Preuves

Imaginez que vous êtes dans une pièce remplie de textes. Certains ont été écrits par des humains, d'autres par des robots (des intelligences artificielles). Jusqu'à présent, les détecteurs d'IA étaient comme des magiciens silencieux : ils vous disaient "C'est un robot !" ou "C'est un humain !" avec un score de confiance, mais ils ne vous disaient jamais pourquoi. C'était frustrant, comme si un juge vous donnait une peine sans expliquer les preuves.

NOTAI.AI, c'est un nouveau détective qui change la donne. Il ne se contente pas de pointer du doigt ; il sort un tableau blanc et vous explique exactement ce qui l'a mené à sa conclusion.

1. Comment ça marche ? (Le trio de détectives)

Au lieu d'utiliser un seul outil, NOTAI.AI fait travailler une petite équipe de trois experts différents pour analyser un texte. C'est comme si vous aviez un jury composé de trois spécialistes :

• Le Géomètre (La Courbure) : Imaginez que le texte est une route. Les humains, quand ils écrivent, font des virages un peu imprévisibles, des bosses, des variations naturelles. Les robots, eux, ont tendance à tracer une route trop lisse, trop parfaite. Le "Géomètre" regarde la forme de cette route. S'il est trop lisse, ça sent le robot.
• Le Lecteur Rapide (Le Modèle Neuronal) : C'est un expert qui a lu des millions de livres. Il a une "intuition" (un score) basée sur la façon dont les mots s'assemblent. Il sent si le texte a l'odeur d'une machine.
• Le Styliste (L'Analyse du Style) : Il regarde les détails de l'écriture : la longueur des phrases, la variété du vocabulaire, l'usage des virgules et des points. Les robots ont souvent des habitudes répétitives (comme un métronome), tandis que les humains sont plus désordonnés et créatifs.

2. Le Chef d'Orchestre (La Décision)

Ces trois experts donnent leur avis, mais ce n'est pas le vote à la majorité simple. Un Chef d'Orchestre (un algorithme puissant appelé XGBoost) écoute tout le monde. Il pèse les avis : "Le Géomètre dit 'robot', mais le Styliste dit 'humain'... hmm, je vais pencher vers..."

Le résultat est une décision finale très précise (le système a réussi à distinguer les textes avec une précision de 96% dans leurs tests).

3. La Magie : L'Explication (Pourquoi ?)

C'est ici que NOTAI.AI devient unique. Au lieu de vous donner juste un "Oui/Non", il utilise deux outils pour vous parler :

• Le Traducteur Mathématique (SHAP) : C'est un outil qui calcule exactement combien chaque expert a contribué à la décision. "Le Géomètre a pesé 30% dans la balance, le Styliste 20%..."
• Le Journaliste (L'IA Explicative) : Pour que vous compreniez, le système utilise une autre IA (un grand modèle de langage) pour transformer ces chiffres en phrases simples.
  • Au lieu de dire : "La courbure conditionnelle est de -0.45 et le TTR est de 0.6."
  • Il dit : "Ce texte est probablement généré par une IA car il est trop lisse (comme une route sans virages) et utilise un vocabulaire trop répétitif, ce qui est rare pour un humain."

4. L'Expérience Interactive (Le Laboratoire)

Les auteurs ont créé un site web où vous pouvez tester cela vous-même. C'est comme un laboratoire de chimie pour les textes :

• Vous collez un texte.
• Vous voyez le verdict.
• Vous pouvez désactiver un expert (par exemple, dire au "Styliste" de se taire) et voir si la décision change. C'est une façon de voir comment le détective réfléchit en temps réel.

En résumé

NOTAI.AI est un système qui ne se contente pas de dire "C'est un robot". Il vous dit : "J'ai pensé que c'était un robot parce que le texte est trop parfait, qu'il manque de variété dans les mots, et que la structure ressemble trop à une machine."

C'est comme passer d'un police qui vous arrête sans explication à un professeur qui corrige votre copie en vous expliquant chaque erreur. C'est plus juste, plus transparent et beaucoup plus utile pour les enseignants, les journalistes et tout le monde.

Résumé technique

Voici un résumé technique détaillé du papier de recherche NOTAI.AI en français, structuré selon les points demandés.

1. Problématique

L'essor des modèles de langage (LLM) a transformé la génération de texte, rendant la distinction entre le contenu humain et celui généré par l'IA de plus en plus difficile. Bien que des détecteurs existent, ils souffrent de plusieurs limitations majeures :

• Opacité : La plupart des systèmes fournissent uniquement un score de probabilité sans justification compréhensible pour l'utilisateur final (éducateurs, journalistes, analystes).
• Robustesse : Les détecteurs actuels dégradent souvent leurs performances face aux changements de domaine, aux variations de décodage ou aux perturbations adverses.
• Manque d'interprétabilité : Il existe un fossé entre les signaux de détection performants (souvent basés sur des statistiques complexes) et la capacité des utilisateurs non experts à comprendre pourquoi un texte est flaggé.

2. Méthodologie

NOTAI.AI propose un cadre hybride et explicable qui combine l'analyse statistique, les réseaux de neurones et les métriques stylistiques dans un pipeline supervisé en quatre étapes : Extraction → Décision → Explication → Présentation.

A. Extraction de Caractéristiques (17 Signaux)

Le système agrège trois types de signaux complémentaires pour capturer les propriétés distributionnelles, structurelles et stylistiques du texte :

1. Signaux Neuronaux : Utilisation d'un encodeur ModernBERT finetuné pour obtenir un score de probabilité de détection (bert_ai_score), capturant la fluidité sémantique et les priors de génération.
2. Signaux Statistiques (Courbure) : Intégration de la Courbure de Probabilité Conditionnelle (CPC) issue de Fast-DetectGPT. Ce signal mesure la variation d'ordre deux de la vraisemblance des tokens sous des perturbations locales. Les textes humains tendent à avoir des paysages de probabilité plus irréguliers, tandis que les textes IA sont plus lisses.
3. Signaux Stylométriques et de Lisibilité : 15 métriques interprétables incluant :
   • Lisibilité : Indice de Flesch, nombre de phrases, longueur moyenne des phrases.
   • Diversité lexicale : Ratio Type-Token (TTR), ratio de mots uniques (hapax legomena).
   • Indices de surface : Ratio de mots vides, ratio de clichés, fréquence des n-grammes répétés, et divers compteurs de ponctuation.

B. Classification Méta

Les 17 caractéristiques extraites sont alimentées dans un classifieur XGBoost (Gradient Boosting). Ce méta-classifieur apprend les interactions non linéaires entre les scores de confiance neuronaux, les statistiques de courbure et les indicateurs stylistiques pour prédire si le texte est humain ou généré par l'IA.

C. Explicabilité et Interface Utilisateur

Pour rendre les décisions transparentes, le système utilise une approche en deux couches :

1. Attribution SHAP : L'algorithme SHAP (Shapley Additive Explanations) quantifie la contribution de chaque caractéristique à la décision finale, fournissant une interprétabilité locale (par instance) et globale (sur l'ensemble de données).
2. Génération de Raisons Naturelles : Un modèle de langage (LLM, spécifiquement Google Gemma-3-27b-it) transforme les attributions SHAP brutes en un résumé structuré en langage naturel. Ce résumé explique de manière concise et non technique pourquoi le modèle a pris sa décision, basé sur les valeurs des caractéristiques.
3. Application Web Interactive : Déployée via Flask, l'interface permet aux utilisateurs de saisir du texte, de visualiser le score de confiance, d'inspecter les 3 caractéristiques les plus influentes (positives et négatives) et d'effectuer une analyse d'ablation interactive (désactiver manuellement certaines caractéristiques pour observer l'impact sur la décision).

3. Contributions Clés

• Cadre Hybride Explicable : Première intégration systématique de signaux de courbure (Fast-DetectGPT), de modèles neuronaux (ModernBERT) et de métriques stylométriques dans un seul classifieur supervisé orienté utilisateur.
• Pipeline d'Explication Structuré : Transformation des attributions mathématiques (SHAP) en justifications textuelles compréhensibles via un LLM, comblant le fossé entre la précision technique et l'utilisabilité pratique.
• Outil Interactif de Vérification : Développement d'une démo web permettant l'inspection en temps réel et l'analyse de sensibilité (ablation) pour renforcer la confiance de l'utilisateur.
• Reproductibilité : Publication du code source et d'une vidéo de démonstration, avec un jeu de données équilibré construit à partir de RAID.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur une version équilibrée (1:1) du jeu de données RAID, après avoir filtré les instances perturbées et rééchantillonné les données IA pour éviter les biais.

• Performance Globale : L'ensemble (Ensemble) NOTAI.AI atteint une précision de 0,970, un rappel de 0,956 et un score F1 de 0,963.
• Comparaison avec les Composants Individuels :
  • La courbure seule (CPC) est le meilleur signal individuel (F1 = 0,888) avec une très haute précision (0,942).
  • Les métriques stylométriques seules obtiennent un F1 de 0,871.
  • ModernBERT seul obtient un F1 de 0,856.
  • Gain de performance : L'approche combinée améliore le score F1 de +7,5 points par rapport au meilleur modèle individuel, démontrant la complémentarité des signaux.
• Analyse des Caractéristiques : L'analyse SHAP confirme que la Courbure de Probabilité Conditionnelle (CPC), le Ratio Type-Token (TTR) et le score ModernBERT sont les facteurs les plus influents. La relation entre la courbure et la décision est non linéaire, confirmant que les valeurs proches de zéro ou négatives (typiques des IA) sont fortement discriminantes.

5. Signification et Perspectives

NOTAI.AI marque une avancée significative en passant d'une détection "boîte noire" à une approche transparente et inspectable.

• Utilité Pratique : En fournissant des justifications textuelles claires, le système devient un outil viable pour des professionnels non experts (enseignants, éditeurs) qui doivent justifier leurs décisions.
• Robustesse et Limites : Bien que performant sur des données équilibrées, le système reste soumis aux limites des détecteurs supervisés face aux changements de domaine sévères ou aux paraphrases adverses.
• Travaux Futurs : Les auteurs prévoient d'améliorer la localisation au niveau des tokens (cartes thermiques interactives sur les mots spécifiques), d'ajuster l'incertitude du modèle et d'étendre le système aux scénarios multilingues et à la co-création humain-IA.

En résumé, NOTAI.AI démontre qu'il est possible de combiner haute performance de détection et interprétabilité profonde, offrant un modèle de référence pour les futurs systèmes de vérification de l'authenticité du texte.