Expectations and Practices around AI Disclosure in CS Research
Cet article examine le décalage entre les politiques actuelles de divulgation de l'IA et les attentes des chercheurs en informatique, révélant que si les chercheurs privilégient la divulgation de l'utilisation de l'IA pour des tâches à faible implication comme la conception de la recherche, les pratiques de divulgation réelles surdéclarent fréquemment des usages moins critiques comme l'assistance à la rédaction, suggérant ainsi de mieux aligner les politiques sur ces attentes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le laboratoire moderne de l'informatique, un nouveau genre d'assistant s'est discrètement installé. Il s'agit des outils d'intelligence artificielle générative, des logiciels capables de rédiger des phrases, de déboguer du code et d'organiser des idées avec une fluidité qui semblait autrefois impossible pour des machines. Les chercheurs ont commencé à s'appuyer sur eux pour accélérer leur travail, de l'étincelle initiale d'une idée jusqu'au polissage final d'un manuscrit. Cependant, cette commodité a déclenché un débat discret mais urgent au sein de la communauté scientifique : lorsqu'une machine aide à rédiger un article, qui en reçoit le crédit, et quelle part de cette aide doit être révélée au lecteur ? Le cœur du problème est la confiance. La science repose sur la compréhension que le travail présenté est le produit de la pensée et de l'effort humains. Si un outil effectue le plus gros du travail, l'intégrité de la découverte pourrait être compromise, à moins que le lecteur ne sache exactement ce qui a été fait par une personne et ce qui a été fait par une machine. Par conséquent, de nombreuses conférences majeures d'informatique ont commencé à exiger des auteurs qu'ils incluent une déclaration divulguant l'utilisation de ces outils, une règle destinée à maintenir la transparence dans une ère de changement technologique rapide.
Une équipe de chercheurs de l'Indian Institute of Science à Bengaluru s'est donné pour mission d'étudier si ces nouvelles règles fonctionnent réellement comme prévu. Ils voulaient savoir si les politiques rédigées par les organisateurs de conférences correspondaient à ce que les chercheurs jugeaient réellement nécessaire, et si les déclarations rédigées par les auteurs dans leurs articles reflétaient ces attentes. Pour ce faire, ils ont d'abord examiné les règles elles-mêmes. Ils ont examiné les directives de soixante-cinq conférences majeures d'informatique et des quatre plus grandes sociétés professionnelles du domaine. Ils ont constaté que, bien que la plupart de ces instances aient désormais une politique exigeant la divulgation, les règles sont souvent vagues. Elles disent aux auteurs d'être honnêtes, mais précisent rarement exactement quelles tâches nécessitent une mention ou quels détails doivent être inclus. C'est comme si un enseignant disait à ses élèves d'être « prudents avec leurs devoirs » sans expliquer à quoi ressemble la « prudence » pour différents travaux.
Pour combler ces lacunes, les chercheurs ont posé à cent neuf informaticiens une question simple : pour quelles parties du processus de recherche est-il vraiment important d'admettre l'utilisation d'un outil d'IA ? Ils ont présenté aux chercheurs une liste de vingt et une tâches courantes, allant de la génération de nouvelles idées et la conception d'expériences à la rédaction de code et le polissage de la grammaire. Ils leur ont également demandé de considérer quel était le degré de contrôle humain impliqué dans chaque tâche. Les résultats étaient révélateurs. Les chercheurs ont constaté que la communauté s'accorde généralement sur le fait que la divulgation est plus critique lorsque l'IA est utilisée pour le travail intellectuel lourd, comme la conception de l'étude, l'analyse des données ou la formulation de nouvelles hypothèses. Dans ces domaines, la contribution humaine est la plus susceptible d'être éclipsée par la machine. À l'inverse, les chercheurs ont constaté que l'utilisation de l'IA pour simplement corriger des fautes de frappe, reformuler des phrases ou formater des références était jugée beaucoup moins critique à divulguer. Curieusement, le niveau de contrôle humain importait énormément. Lorsqu'un chercheur utilisait un outil d'IA mais gardait une surveillance étroite, vérifiant chaque résultat et prenant les décisions finales, le besoin de divulgation semblait moindre. Mais lorsque l'IA était laissée à l'œuvre avec peu de supervision, l'exigence de transparence augmentait de façon marquée.
L'équipe a ensuite porté son attention sur ce qui se passait réellement dans le monde réel. Ils ont collecté et analysé près de quatorze mille déclarations de divulgation provenant de articles soumis à deux conférences majeures, EMNLP et ICLR. Ils ont comparé ces déclarations réelles aux attentes qu'ils venaient de recueillir lors de leur enquête. L'écart entre ce que les gens voulaient et ce qu'ils obtenaient était saisissant. Bien que les chercheurs aient trouvé que les divulgations les plus importantes concernaient la responsabilité et les tâches spécifiques accomplies, la vaste majorité des articles qu'ils ont examinés omettaient cette information. Au lieu de cela, les divulgations les plus courantes concernaient les tâches que la communauté jugeait les moins importantes : l'édition de texte et la correction de code. Dans de nombreux cas, les auteurs écrivaient des phrases courtes et génériques admettant avoir utilisé l'IA pour le « polissage », mais omettaient toute mention de savoir si l'IA avait aidé pour le cœur de la science.
La découverte la plus préoccupante fut peut-être la présence de déclarations identiques, copiées-collées, apparaissant dans des dizaines d'articles sans rapport entre eux. Un paragraphe spécifique, qui énumérait les usages standards de l'IA et déclinait toute responsabilité, est apparu textuellement dans quatre-vingt-quinze soumissions différentes à une seule et même conférence. Cela suggérait que pour de nombreux auteurs, la divulgation était devenue une case à cocher plutôt qu'un compte rendu sincère de leur flux de travail. Les chercheurs ont noté que, bien que certains de ces énoncés soient complets, leur répétition à travers des travaux non liés indiquait une conformité performative, où les auteurs suivaient la lettre de la règle sans en respecter l'esprit. L'étude a également révélé que les auteurs mentionnaient rarement quel modèle d'IA spécifique ils utilisaient, même si de nombreux lecteurs avaient exprimé le désir de connaître ce détail.
Sur la base de ces conclusions, les chercheurs proposent un changement dans la manière dont ces politiques sont rédigées. Ils suggèrent de s'éloigner des règles générales et uniformes pour passer à un système qui catégorise les tâches de recherche selon la nécessité de la divulgation. Ils recommandent que les conférences créent une liste claire où certaines tâches à enjeux élevés, comme la conception d'une expérience, sont marquées comme obligatoires pour la divulgation, tandis que les tâches à enjeux moindres, comme le formatage des références, sont optionnelles. Pour aider les auteurs à naviguer dans ce processus, ils ont également conçu un modèle simple que les auteurs pourraient remplir. Ce modèle les inciterait à lister exactement quelles tâches l'IA a aidées, quel niveau de supervision humaine était impliqué, et à déclarer explicitement que les auteurs assument l'entière responsabilité du travail final. L'objectif n'est pas de punir l'utilisation d'outils utiles, mais de garantir que la relation entre le chercheur humain et la machine soit claire, honnête et digne de confiance. En alignant les règles sur les attentes réelles de la communauté scientifique, l'espoir est que la transparence puisse être maintenue sans étouffer les véritables bénéfices que ces nouveaux outils apportent au processus de recherche.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.