Generative AI and the future of scientometrics: current topics and future questions
Cet article propose un cadre conceptuel distinguant les dimensions sémantique et pragmatique du texte afin de guider l'intégration fondée sur des principes et explicable de l'IA générative en scientométrie, tout en mettant en garde contre son potentiel à altérer les caractéristiques textuelles fondamentales utilisées pour mesurer la science.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez la scientométrie comme les « prévisions météorologiques » du monde académique. Au lieu de mesurer la pluie et le vent, ces scientifiques mesurent les mots, les citations et les noms d'auteurs pour comprendre comment la connaissance croît et circule.
Maintenant, imaginez l'IA Générative (IAGen) comme un bibliothécaire robotique super rapide et incroyablement érudit qui a lu presque tous les livres jamais écrits. Cet article pose deux grandes questions :
- Pouvons-nous faire confiance à ce bibliothécaire robotique pour nous aider dans nos prévisions météorologiques ?
- Que deviennent nos cartes météorologiques si le bibliothécaire robotique commence à écrire la moitié des livres de la bibliothèque lui-même ?
Voici la décomposition des arguments de l'article en utilisant des analogies simples.
1. L'ensemble de compétences du robot : Le « gâteau à trois couches »
Les auteurs expliquent que l'IA n'est pas magique ; elle fonctionne en prédisant le mot suivant dans une phrase en se basant sur des modèles qu'elle a appris. Pour comprendre là où le robot est bon et là où il échoue, ils utilisent un modèle de « gâteau à trois couches » du langage :
- Couche 1 : La Syntaxe (La Grammaire)
- L'analogie : Construire une tour de Lego parfaite.
- La compétence du robot : Excellente. Le robot est un maître constructeur. Il sait exactement comment empiler les mots pour qu'ils soient grammaticalement corrects et respectent les règles. Si vous lui demandez d'écrire une phrase, il ne fera presque jamais de faute de grammaire.
- Couche 2 : La Sémantique (Le Sens)
- L'analogie : Comprendre ce que représente la tour de Lego (par exemple, « Ceci est un château »).
- La compétence du robot : Très bonne. Le robot est excellent pour comprendre les sens généraux. Si vous lui demandez de trier une pile de livres en « Histoire » ou en « Science », il fait un excellent travail car il reconnaît les modèles de mots utilisés dans ces domaines. Il peut gérer les mots complexes qui ont des sens différents selon le contexte (comme le mot « banque » qui peut signifier le bord d'une rivière ou un établissement financier).
- Couche 3 : La Pragmatique (Le Contexte et le But)
- L'analogie : Savoir pourquoi quelqu'un a construit la tour et à qui il la construit. Est-ce un cadeau ? Une blague ? Un plan architectural sérieux ?
- La compétence du robot : Faible et imprévisible. C'est ici que le robot trébuche. Il ne comprend pas réellement la situation sociale, les plaisanteries cachées ou l'intention humaine spécifique derrière un texte. Il peut deviner, mais il rate souvent la cible lorsqu'il juge des individus ou des situations spécifiques et complexes.
2. Utiliser le robot pour la science (La section « Outil »)
Les auteurs ont testé la capacité de ce bibliothécaire robotique à aider les tâches de scientométrie.
- Là où le robot brille (Tâches sémantiques) :
Si vous devez trier des milliers d'articles dans de larges catégories (comme « Biologie » contre « Physique ») ou résumer une immense liste de sujets, le robot est fantastique. C'est comme avoir une machine capable de trier instantanément une montagne de courrier dans les bonnes corbeilles. Il est rapide et cohérent pour les grands groupes. - Là où le robot peine (Tâches pragmatiques) :
Si vous demandez au robot de juger la qualité d'un seul article, de décider si un scientifique spécifique est « éminent », ou de prédire exactement combien de citations un article précis recevra, le robot est peu fiable. C'est comme demander à un robot de juger un spectacle de stand-up ; il peut saisir l'ambiance générale, mais il manquera les nuances spécifiques qui font rire ou pleurer un humain.- Le conseil de l'article : Ne laissez pas le robot prendre la décision finale sur des cas individuels. Utilisez-le pour faire le gros du travail (le tri, le résumé), mais gardez un expert humain dans la boucle pour vérifier le travail, surtout pour les décisions à enjeux élevés comme le financement ou l'embauche.
3. Le danger : Le robot devenant l'auteur (La section « Objet »)
C'est la partie la plus inquiétante et la plus passionnante de l'article. Jusqu'ici, nous avons parlé de l'IA qui nous aide à analyser la science. Mais et si le robot commençait à écrire la science ?
Les auteurs préviennent que si les scientifiques commencent à utiliser l'IA pour rédiger leurs articles, les « cartes météorologiques » de la science pourraient être déformées. Voici comment :
- Le glissement du vocabulaire : L'IA a tendance à écrire dans un style très spécifique et poli. Si tout le monde l'utilise, la rédaction scientifique pourrait devenir « homogénéisée » (tous les textes se ressemblant). Cela pourrait donner l'impression que les sujets de recherche sont plus stables qu'ils ne le sont réellement, masquant ainsi les idées nouvelles, étranges ou émergentes.
- Le flou de l'auteur : Si une IA aide à rédiger un article, qui est l'auteur ? L'article soutient que cela crée un fossé entre le nom sur l'article et l'effort humain réel. On pourrait croire qu'une personne accomplissant un travail massif, alors qu'en réalité, elle utilise simplement un outil pour accélérer le processus.
- Le piège des références : L'IA « hallucine » parfois (invente) de fausses références. Même si elle cesse de faire cela, elle pourrait commencer à citer de manière répétée les mêmes articles populaires parce que c'est ce que ses données d'entraînement suggèrent. Cela pourrait faire paraître la « carte » de la science comme si quelques étoiles brillaient beaucoup plus fort que les autres, tandis que les nouvelles idées moins connues sont ignorées.
L'essentiel
L'article conclut que l'IA générative n'est pas seulement un nouvel outil ; elle change la structure même des données que les scientifiques utilisent pour étudier la science.
- Pour le robot : Nous devrions l'utiliser pour le tri et le résumé à grande échelle (Sémantique), mais nous devons être très prudents lorsqu'il s'agit de juger des individus ou des contextes spécifiques (Pragmatique).
- Pour l'avenir : Nous devons rester vigilants. Si l'IA commence à écrire nos articles, les « mesures » que nous utilisons pour évaluer le succès scientifique (comme le nombre de citations ou l'usage des mots) pourraient cesser de dire la vérité sur la progression réelle de la science.
Les auteurs appellent à une nouvelle ère de recherche : nous devons étudier comment l'IA modifie le langage de la science, afin de ne pas perdre notre capacité à comprendre la véritable histoire derrière les données.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.