Placebo Failures in Domain-Stratified Interrupted Time Series of Mean Lexical Diversity on the Post-2022 Web: A Methodological Caution on Common Crawl MATTR/MTLD Break- point Identification (with Secondary LLM-Associated Vocabulary Markers)

Chaque technologie de communication majeure laisse une trace sur notre façon de parler et d'écrire. Quand l'imprimerie est arrivée, elle a standardisé l'orthographe et la grammaire. Quand l'internet s'est imposé, il a accéléré la propagation de l'argot et des phrases raccourcies. Aujourd'hui, une nouvelle force est entrée dans la conversation : l'intelligence artificielle qui écrit pour nous. Ces modèles de langage étendus ne se contentent pas de transmettre le langage humain ; ils le génèrent en quantités massives, privilégiant souvent des choix de mots communs, sûrs et prévisibles plutôt que des mots rares ou inhabituels. Cela soulève une question simple mais profonde pour l'avenir de l'expression humaine : si les machines écrivent une partie significative des textes sur le web ouvert, le langage lui-même deviendra-t-il plus simple, moins varié et plus uniforme ?

Les chercheurs soupçonnent depuis longtemps que cela pourrait arriver. Dans des tests contrôlés, les textes générés par ordinateur utilisent souvent moins de mots distincts que l'écriture humaine. Certaines études suggèrent qu'en utilisant ces outils pour polir leurs propres brouillons, les auteurs pourraient voir leur écriture dériver vers un style commun, un terrain d'entente moyen, perdant ainsi sa complexité unique. Cependant, prouver cela sur l'internet réel, chaotique, est difficile. Le web est un lieu de chaos où les cycles d'actualités, les tendances publicitaires et les règles des plateformes changent constamment. Pour trouver un signal d'influence artificielle, les scientifiques doivent distinguer un véritable changement causé par l'IA du bruit naturel d'internet. Ils doivent savoir si le langage change réellement ou s'ils ne voient qu'un reflet trompeur de la lumière.

Une nouvelle étude a entrepris de répondre à cette question en traitant l'internet comme une machine à remonter le temps. Les chercheurs ont rassemblé une collection massive de pages web en anglais provenant d'une archive publique connue sous le nom de Common Crawl, couvrant la période du début de 2020 à fin 2024. Cette chronologie est cruciale car elle inclut la période avant et après la sortie d'un chatbot populaire en novembre 2022, un moment souvent cité comme le début de l'adoption généralisée de l'IA. L'équipe a divisé le web en différents quartiers pour voir si l'effet variait selon le contexte. Ils ont examiné les sites d'actualités, les blogs personnels, les forums de discussion publics et les pages de commerce en ligne. Pour chacun de ces groupes, ils ont mesuré deux choses spécifiques : le nombre de mots différents apparaissant dans le texte (diversité lexicale) et la manière dont ces mots étaient agencés. Ils ont également recherché un ensemble spécifique de mots qui sont devenus populaires avec les modèles d'IA, tels que « delve » (approfondir), « tapestry » (tapisserie/trame) et « landscape » (paysage), pour voir si ces marqueurs augmentaient en fréquence.

Les chercheurs ont utilisé une méthode appelée série temporelle interrompue, qui est essentiellement une façon de suivre une ligne de tendance au fil du temps pour voir si quelque chose de soudain se produit à une date précise. Ils s'attendaient à ce que, si l'IA remodelait le web, les lignes de tendance pour la variété des mots montreraient une chute brutale juste après novembre 2022. Ils ont également effectué un contrôle rigoureux pour s'assurer que leur méthode était solide. Avant d'examiner les données réelles, ils ont testé leur système sur de fausses dates passées. Si le système prétendait trouver un changement soudain à une date où rien ne s'était passé, cela signifiait que la méthode était trop sensible et susceptible de produire de fausses alarmes. Cette étape est vitale car l'internet est rempli de pics et de creux aléatoires qui n'ont rien à voir avec l'intelligence artificielle.

Les résultats de cette enquête minutieuse ont été étonnamment calmes. Lorsque les chercheurs ont examiné les données réelles, ils n'ont pas trouvé de baisse statistiquement robuste et concluante de la variété des mots, comme beaucoup l'avaient prédit. En fait, lorsqu'ils ont appliqué leurs règles strictes sur ce qui constitue une découverte valide, les preuves restantes étaient peu concluantes ; les données étaient trop bruyantes pour confirmer un changement, mais aussi insuffisantes pour prouver qu'aucun changement n'avait eu lieu. Les seuls groupes ayant montré un déclin potentiel étaient petits et statistiquement faibles, ce qui signifie que les données étaient trop bruitées pour dire avec certitude si un changement s'était produit. L'étude note explicitement qu'aucun « nul informé de puissance » (informative powered null) ne subsiste, ce qui signifie qu'elle ne peut ni écarter définitivement une baisse de la diversité linguistique, ni confirmer celle-ci. Même les tests « placebo », qui servaient de groupe de contrôle, ont montré que la méthode pouvait facilement confondre le bruit aléatoire d'internet avec une véritable tendance. Par exemple, dans la catégorie des actualités, le système a détecté à tort un changement majeur à une fausse date en 2021, prouvant que la méthode n'était pas assez robuste pour que l'on puisse faire confiance aux résultats réels sans preuve supplémentaire.

L'étude a tout de même trouvé des signes que le vocabulaire spécifique associé à l'IA devenait légèrement plus courant, particulièrement dans l'écriture commerciale et journalistique. Cependant, cette augmentation était faible et n'a pas survécu aux tests statistiques stricts utilisés pour écarter le hasard. Cela suggère que, bien que l'IA puisse laisser une empreinte stylistique ténue, elle n'a pas encore provoqué une simplification ou une uniformisation significative du langage de manière clairement mesurable. Les chercheurs ont conclu que l'idée d'un déclin soudain et généralisé de la complexité du langage suite à la sortie des outils d'IA n'est pas soutenue par les données de cette période, mais que l'absence d'un signal clair est due aux limites des données plutôt qu'à une preuve définitive que rien ne s'est passé. Le langage du web, du moins dans les années suivant immédiatement le boom de l'IA, semble avoir conservé sa diversité, bien que l'étude ne puisse le confirmer avec une certitude absolue.

Cela ne signifie pas que l'intelligence artificielle n'a aucun effet sur le langage, mais seulement que l'effet est plus difficile à détecter qu'une simple baisse de la variété des mots. L'étude souligne la difficulté de mesurer de tels changements dans un écosystème vivant et en constante évolution comme l'internet. Les chercheurs ont noté que leurs données étaient limitées par le nombre de documents qu'ils pouvaient traiter et par la manière spécifique dont les archives d'internet sont collectées. Ils ont souligné que leurs conclusions sont spécifiques à la période étudiée et aux types de sites web examinés. Ils n'ont pas trouvé de « preuve irréfutable » (smoking gun) prouvant que l'IA a homogénéisé l'écriture humaine, mais ils n'ont pas non plus prouvé qu'elle ne le ferait jamais. L'histoire de la façon dont l'IA transforme le langage est encore en cours d'écriture, et cette recherche sert de mise en garde : les changements peuvent être subtils, complexes et facilement confondus avec le bruit normal du monde numérique.