LLM assisted writing deserves empirical evaluation

La science a toujours été une conversation, une conversation qui repose sur une écriture claire pour partager les découvertes par-delà les frontières et les langues. Depuis des décennies, les chercheurs dépendent de mentors, d'éditeurs professionnels et de services de traduction pour s'assurer que leur travail est compris par la communauté mondiale. Aujourd'hui, un nouveau participant a rejoint cette conversation : les modèles de langage de grande taille. Il s'agit de programmes informatiques entraînés sur de vastes quantités de textes qui peuvent lire, résumer et réécrire le langage humain avec une fluidité remarquable. Alors que ces outils deviennent courants dans les laboratoires et les bureaux, un débat a émergé sur leur rôle dans la science. Beaucoup craignent que leur utilisation ne puisse masquer le véritable auteur d'une idée, introduire des erreurs ou abaisser la qualité de la recherche. Par conséquent, une grande partie de la discussion actuelle se concentre sur la manière de détecter quand une machine a aidé à rédiger un article, traitant la question principalement comme une question de surveillance. Cependant, cette focalisation sur la détection pourrait négliger une question plus importante : comment l'utilisation réelle de ces outils modifie-t-elle la façon dont la science est communiquée et qui peut y participer ?

Pour répondre à cela, une équipe de chercheurs de la Weill Cornell Medicine et de l'Université de Columbia a décidé d'examiner les preuves plutôt que la théorie. Ils ont examiné une collection massive de 69 209 articles scientifiques dans le domaine de l'informatique de santé, qui traite de la manière dont les données et la technologie sont utilisées en médecine et en santé publique. Les chercheurs ont divisé ces articles en trois groupes pour voir comment ils différaient. Le premier groupe contenait des articles écrits avant la fin de 2022, avant la sortie publique des agents conversationnels les plus avancés. Le deuxième groupe comprenait des articles écrits après cette date qui ne montraient aucun signe d'utilisation de ces outils. Le troisième groupe consistait en des articles de la même période récente que les chercheurs ont identifiés comme ayant été assistés par des modèles de langage de grande taille. Pour trouver ces articles assistés, ils ont utilisé un programme informatique spécialisé, entraîné pour reconnaître les différences subtiles entre l'écriture humaine et le texte qui a été réécrit ou généré par une IA.

L'analyse a révélé que les articles assistés par ces outils n'étaient pas le travail de moindre qualité ou moins sérieux que craignent souvent les critiques. Au lieu de cela, les données suggèrent une réalité différente. Ces articles avaient tendance à être plus concentrés dans leur présentation. Alors qu'un article scientifique typique peut errer à travers plusieurs sujets différents, les articles assistés par l'IA restaient plus proches d'un sujet unique et clair. Leurs titres et leurs résumés étaient étroitement alignés sur le thème principal de la recherche, ce qui permettait aux lecteurs de comprendre plus facilement exactement de quoi traitait l'étude et où elle se situait au sein du champ scientifique plus large. Cette clarté ne signifiait pas que les idées étaient moins originales ; elle suggérait plutôt que les outils aidaient les auteurs à positionner leur travail plus précisément au sein des conversations scientifiques établies.

Un autre changement significatif est apparu dans la manière dont ces articles référencent d'autres travaux. Les articles assistés par l'IA citaient plus de sources que les articles écrits sans assistance, et ces sources couvraient un éventail plus large de sujets. Cette conclusion remet en question l'idée que les machines ne font qu'accélérer l'écriture sans ajouter de valeur. Elle suggère que les chercheurs utilisent ces outils pour explorer la littérature qu'ils n'auraient peut-être pas trouvée autrement, peut-être en résumant des textes complexes ou en générant de nouveaux termes de recherche. Cependant, les chercheurs ont noté que le fait d'avoir une liste de références plus longue ne signifie pas automatiquement que la recherche est plus profonde ou meilleure. Une bibliographie peut être large mais superficielle, ou peut inclure des citations qui ne sont que lâchement liées à l'argument principal. Les outils facilitent la collecte d'un large filet d'informations, mais la responsabilité de sélectionner les sources les plus pertinentes et les plus précises repose toujours sur l'auteur humain.

Le changement le plus frappant fut observé quant à l'identité de ceux qui écrivaient ces articles. L'étude a montré que les articles assistés par l'IA étaient plus susceptibles d'avoir un premier auteur basé dans un pays où l'anglais n'est pas la langue primaire. Ils présentaient également un niveau plus élevé de collaboration entre chercheurs sur différents continents et incluaient plus d'auteurs issus d'économies à revenus faibles et intermédiaires. Ce schéma suggère que ces outils peuvent agir comme un pont, aidant les scientifiques à surmonter les barrières linguistiques qui rendent souvent la publication dans les revues internationales difficile et coûteuse. En fournissant une aide à la demande pour l'édition et la traduction, la technologie peut niveler le terrain de jeu, permettant à des voix plus diverses d'entrer dans la conversation scientifique mondiale.

Malgré ces changements de focus, d'habitudes de citation et d'auteur, l'étude a constaté que la visibilité et l'impact du travail restaient stables. Une préoccupation courante est que les articles rédigés avec l'aide de l'IA puissent être ignorés ou cités moins souvent. Les données ne soutiennent pas cela. Lorsque les chercheurs ont comparé la rapidité avec laquelle les articles recevaient des citations après publication, les articles assistés par l'IA ont performé aussi bien que ceux écrits sans aide. Ils ont également été publiés dans des revues de haut prestige, de manière similaire aux autres groupes. Cela indique que la communauté scientifique ne rejette pas ces articles ; au contraire, ils sont lus et reconnus au même rythme que le travail traditionnel.

Les chercheurs ont conclu que la conversation sur l'intelligence artificielle dans la science doit changer. Plutôt que de se concentrer sur la manière de piéger les gens utilisant ces outils ou d'essayer de séparer la recherche « réelle » de la recherche « assistée », la communauté scientifique devrait se concentrer sur la qualité de la recherche elle-même. L'étude suggère que ces outils ne sont pas intrinsèquement bons ou mauvais ; ils sont simplement une nouvelle partie du processus d'écriture, tout comme un correcteur orthographique ou un logiciel statistique. Leur effet dépend entièrement de la manière dont ils sont utilisés. S'ils aident les auteurs à communiquer plus clairement et à inclure des perspectives plus diverses, ils peuvent être une force positive puissante. S'ils sont utilisés pour prendre des raccourcis ou cacher des erreurs, ils peuvent être nuisibles. Les preuves montrent que les outils façonnent déjà la manière dont la science est écrite et qui l'écrit, et que la meilleure façon d'avancer est de juger le travail par sa précision et son intégrité, et non par le logiciel utilisé pour le rédiger.