When Writing Style Drifts: Benchmarking Authorship Verification under Distribution Shifts in Genre, Time and the AI-Era
Cet article présente AVShift, le premier benchmark allemand pour évaluer systématiquement la vérification d'auteur sous des changements de distribution en termes de genre, de temps et d'ère de l'IA, révélant que les LLM affinés généralisent le mieux à travers les genres tandis que la dérive temporelle dégrade significativement les performances, bien qu'aucun changement mesurable lié à l'ère de l'IA n'ait été détecté.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque personne laisse une trace unique d'habitudes dans sa façon d'écrire. Tout comme une empreinte digitale est une marque physique qui identifie un corps, l'« idiolecte » d'un écrivain est une collection d'habitudes linguistiques — la façon dont il utilise la ponctuation, la longueur de ses phrases et les mots qu'il privilégie — qui identifie son esprit. Pendant des décennies, des experts en littérature et en droit se sont appuyés sur ces modèles pour résoudre des mystères, allant de la détection de plagiat à l'identification de l'auteur anonyme d'une lettre de menace. L'idée centrale est simple : bien que nous puissions changer notre vocabulaire selon que nous écrivons une lettre d'amour ou un rapport professionnel, le rythme profond et sous-jacent de notre écriture reste suffisamment constant pour être reconnu.
Cependant, cette hypothèse fait face à un défi de taille dans le monde moderne. L'écriture ne se produit pas dans le vide ; elle évolue selon le genre, la période et les outils que nous utilisons. Une personne peut écrire un message de forum court et informel le matin et une histoire longue et soignée le soir. Elle peut écrire différemment aujourd'hui qu'il y a vingt ans. De plus, l'explosion récente des outils d'intelligence artificielle qui aident à la rédaction soulève une nouvelle question : l'utilisation d'un ordinateur pour aider à rédiger une phrase modifie-t-elle suffisamment l'empreinte digitale unique de l'écrivain pour masquer son identité ? Pour répondre à ces questions, les chercheurs avaient besoin d'un moyen de tester si ces « empreintes digitales » numériques tiennent bon lorsque le contexte change.
Une équipe de chercheurs de l'Université de Technologie de Nuremberg a abordé ce problème en créant un nouvel ensemble de tests massif appelé AVShift. Au lieu d'examiner un seul type d'écriture, ils ont rassemblé plus de 150 000 paires de textes provenant d'un site web allemand dédié aux fanfictions, aux critiques et aux discussions de forums. Cette collection s'étend sur vingt et un ans, de 2004 à 2025, capturant l'écriture avant et après la sortie publique des assistants d'écriture par IA modernes. Les chercheurs ont utilisé ces données pour voir si des programmes informatiques pouvaient toujours identifier correctement que deux textes différents avaient été écrits par la même personne, même lorsque ces textes provenaient de genres différents, avaient été écrits à des années d'intervalle ou avaient été créés à l'ère de l'assistance par l'IA.
L'équipe a testé trois types différents de méthodes informatiques pour résoudre ce casse-tête. Le premier type reposait sur des règles artisanales, où des experts sélectionnaient manuellement des caractéristiques d'écriture spécifiques pour que l'ordinateur puisse les compter. Le deuxième type utilisait des modèles mathématiques qui apprenaient à compresser le texte en résumés numériques denses. Le troisième type, le plus récent, utilisait des modèles de langage étendus (LLM), le même genre de systèmes d'IA puissants capables de rédiger des essais et du code, qui ont été entraînés spécifiquement pour répondre à la question : « La même personne a-t-elle écrit ces deux textes ? »
Les résultats ont révélé que le type d'écriture importe énormément. Lorsque l'ordinateur tentait d'associer des textes appartenant au même genre, comme deux messages de forum, il performait très bien. Cependant, lorsque la tâche consistait à associer un message de forum à une histoire ou à une critique, la performance de la plupart des méthodes chutait considérablement. L'approche la plus fructueuse fut le modèle de langage étendu entraîné sur un mélange des trois styles d'écriture. En exposant l'ordinateur à une grande variété de voix d'écriture lors de son entraînement, il a appris à ignorer les différences superficielles entre les genres pour se concentrer sur les habitudes plus profondes et constantes de l'auteur. Ce modèle a atteint un taux de réussite élevé, même en comparant une histoire à un message de forum, prouvant qu'un régime d'entraînement diversifié rend le système beaucoup plus robuste.
Le temps, cependant, s'est avéré être un obstacle bien plus important que le genre. Les chercheurs ont constaté qu'à mesure que l'écart temporel entre deux textes augmentait, la capacité à vérifier l'identité de l'auteur diminuait régulièrement. Plus l'attente entre la rédaction de deux textes était longue, plus il devenait difficile pour l'ordinateur de les lier. Ce déclin était notable après seulement un an, suggérant que notre style d'écriture n'est pas une empreinte digitale statique, mais une entité vivante qui évolue continuellement. La baisse de précision était suffisamment significative pour que, dans des situations à enjeux élevés, comme les enquêtes judiciaires, la comparaison de documents rédigés de nombreuses années d'écart sans ajustements spéciaux conduise probablement à des erreurs.
Étonnamment, l'arrivée de l'intelligence artificielle n'a pas provoqué la rupture redoutée par beaucoup. Les chercheurs ont examiné de près les textes écrits avant et après l'adoption généralisée des outils d'écriture par l'IA pour voir si « l'ère de l'IA » avait créé une nouvelle distribution confuse des styles d'écriture. Ils n'ont trouvé aucune preuve que l'utilisation de ces outils ait créé un décalage systématique rendant la vérification impossible. Bien que la performance ait varié entre différentes périodes, les changements ne suivaient pas un schéma qui puisse être imputé à l'assistance par l'IA. La variation semblait provenir d'autres facteurs, tels que le sujet spécifique ou la longueur du texte, plutôt que de la simple présence d'outils d'IA.
L'étude a également examiné les habitudes spécifiques qui composent le style d'un écrivain. Ils ont découvert que si certaines caractéristiques, comme l'utilisation de mots de fonction courants, restaient stables à travers différents genres, d'autres changeaient radicalement selon le type d'écriture. Il n'existait pas d'ensemble unique de caractéristiques « magiques » fonctionnant pour chaque situation ; au contraire, les indicateurs les plus fiables dépendaient du genre comparé. Cela suggère que pour construire un système véritablement fiable, il faut comprendre que le style est flexible et que les règles d'identification d'un auteur changent selon le contexte.
En fin de compte, ce travail montre que si les styles d'écriture sont fluides et changent avec le temps et le genre, ils ne sont pas impossibles à suivre. La clé du succès ne réside pas dans la recherche d'une règle unique et immuable, mais dans l'entraînement de systèmes capables de reconnaître la voix de l'auteur à travers un large spectre de conditions. En utilisant des données d'entraînement diversifiées et en reconnaissant que le temps érode ces signaux, les chercheurs peuvent construire des outils bien plus fiables pour des applications réelles. Les conclusions offrent une voie claire : pour vérifier la paternité d'un texte dans un monde complexe, nous devons apprendre à nos outils à s'attendre au changement, plutôt que de supposer que le style de l'écrivain restera figé dans le temps.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.