Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

Résumé technique : La collaboration humain–LLM transforme les mesures de complexité dans les textes scientifiques

Énoncé du problème
Les grands modèles de langage (LLM), particulièrement depuis leur adoption massive au début de 2023, deviennent des contributeurs intégrants de l'écosystème linguistique humain–IA. Bien que les LLM soient entraînés sur le langage humain, leur intégration dans la communication scientifique soulève des questions sur la manière dont ils altèrent les propriétés émergentes du langage. Il existe des perspectives théoriques divergentes : l'une suggère que les LLM pourraient réduire la complexité lexicale par la simplification et le recyclage des données d'entraînement (pouvant mener à un « effondrement du modèle » si les futurs modèles s'entraînent sur des contenus générés par l'IA), tandis qu'une autre suggère que les populations mixtes humain–IA peuvent générer de nouvelles dynamiques émergentes via des biais collectifs et des boucles de rétroaction. Le problème central abordé est de savoir si l'afflux de textes générés ou révisés par des LLM dans la littérature scientifique (spécifiquement les résumés d'arXiv) produit des changements détectables dans les lois statistiques régissant la complexité lexicale, telles que la loi de Zipf, la loi de Heaps et les taux de renouvellement du vocabulaire (word turnover).

Méthodologie
Les auteurs traitent l'adoption rapide des outils d'IA générative en 2023 comme une « expérience naturelle ». Ils analysent un corpus de plus de 2,7 millions de résumés d'arXiv de janvier 2010 à septembre 2025, en se concentrant sur les soumissions de première version (v1).

1. Construction de l'indice de style LLM : Pour quantifier la présence de l'influence des LLM, les auteurs ont construit un « indice de style associé aux LLM » composite. Cet indice agrège les fréquences mensuelles standardisées de marqueurs stylistiques spécifiques connus pour augmenter avec l'usage des LLM : l'usage des tirets (tirets demi-cadratin, tiret cadratin, traits d'union) et des marqueurs lexicaux spécifiques (« significatif », « crucial », « mettre en valeur »).
2. Mesures de complexité : L'étude suit trois mesures primaires de la structure lexicale :
   • Taille du vocabulaire : Le nombre de types de mots uniques.
   • Exposant de la loi de Heaps ($b$) : Décrivant la relation entre la taille du corpus et la croissance du vocabulaire ($V(N) = aN^b$).
   • Exposant de la loi de Zipf ($\alpha$) : Décrivant la distribution rang-fréquence des mots ($P(r) \propto r^{-\alpha}$).
   • Renouvellement Top-$y$ : La fraction de nouveaux mots entrant dans la liste des mots de contenu les mieux classés année après année, servant de diagnostic pour le biais de transmission (conformité vs nouveauté).
3. Analyse statistique :
   • Étalonnage (Benchmarking) : Le texte humain a été comparé au texte généré par LLM (GPT-3.5) en utilisant le corpus HC3 pour établir des différences de base.
   • Tendances temporelles : Les statistiques mensuelles ont été calculées pour le corpus arXiv de 2014 à 2025.
   • Modélisation de régression : Des modèles multivariés ont été employés pour prédire les mesures de complexité lexicale en utilisant l'année de publication, l'indice de style LLM, un indicateur post-2023 et leurs termes d'interaction. Cette approche isole l'effet du style LLM des tendances séculaires générales.
   • Signaux d'alerte précoce (EWS) : L'autocorrélation de retard 1, l'asymétrie (skewness) et la variance glissantes ont été analysées pour détecter un ralentissement critique ou une instabilité dans les séries temporelles.

Résultats clés

• Différences de base : Dans le corpus HC3, le texte généré par LLM présentait un exposant de Heaps légèrement inférieur ($b=0,522$) et un exposant de Zipf légèrement plus élevé ($\alpha=1,741$) par rapport au texte humain ($b=0,539$, $\alpha=1,681$), indiquant une diversité lexicale légèrement moindre et une plus grande concentration dans la production des LLM, bien que les distributions restent similaires.
• Changements temporels dans arXiv :
  • Indice de style : Une augmentation marquée de l'indice de style associé aux LLM a été observée à partir de 2023, coïncidant avec l'adoption massive d'outils comme ChatGPT.
  • Mesures lexicales : Les changements dans les exposants des lois de Zipf et de Heaps ont été subtils. Cependant, la taille du vocabulaire et l'exposant de Heaps ont montré une croissance modestement accélérée après 2023.
  • Effets d'interaction : Crucialement, la relation entre l'indice de style LLM et les mesures de complexité lexicale a changé après 2022. La corrélation positive entre l'indice de style et la taille du vocabulaire, l'exposant de Heaps et l'exposant de Zipf est devenue plus plate durant la période post-2023. Les modèles de régression ont confirmé que la croissance du vocabulaire après 2023 dépassait ce qui serait attendu des tendances temporelles antérieures, suggérant un changement distinct de dynamique.
  • Renouvellement (Turnover) : Le changement structurel le plus significatif a été une augmentation brutale du renouvellement des mots les mieux classés à partir de 2023. La mise à l'échelle du renouvellement par rapport à la taille de la liste est passée d'une forme légèrement concave vers le haut ($b=1,15$) avant 2023 à une forme légèrement concave vers le bas ($b=0,969$) après 2023, indiquant un taux plus élevé de nouveaux mots entrant dans les rangs supérieurs.
• Diagnostics EWS : Les diagnostics standards de signaux d'alerte précoce (autocorrélation, variance) n'ont montré que des changements modestes, suggérant que le système n'a pas atteint un point de bascule critique d'instabilité, malgré les changements structurels de renouvellement.

Signification et affirmations
L'article affirme que l'intégration des LLM dans l'écriture scientifique modifie les propriétés émergentes de l'écosystème linguistique de manière subtile mais mesurable. Contrairement aux hypothèses selon lesquelles les LLM pourraient uniformément réduire la diversité lexicale, les auteurs constatent que les contributions actuelles des LLM sont associées à une richesse de vocabulaire accrue et à un renouvellement accéléré des termes à haute fréquence.

L'aplatissement de la relation entre le style LLM et les mesures de complexité suggère que les dynamiques d'une population mixte humain–IA sont distinctes de la génération purement humaine ou purement artificielle. L'augmentation du renouvellement implique un changement dans le « biais de transmission » du système, injectant potentiellement plus de nouveauté ou altérant les dynamiques de conformité du discours scientifique.

Les auteurs concluent que ces changements pointent vers une tension potentielle entre l'efficacité à court terme et la diversité informationnelle à long terme. Ils avertissent que si la diversité du langage généré par l'humain et hybride décline au fil du temps, cela pourrait impacter la robustesse des futurs systèmes d'IA entraînés sur de telles données. L'étude présente les LLM non pas simplement comme des outils, mais comme un nouveau mécanisme de rétroaction dans l'évolution culturelle, comparable en conséquence à l'émergence de l'écriture ou des marchés, nécessitant une surveillance continue de la manière dont la collaboration humain–IA façonne la complexité de la connaissance scientifique.