SciFilter: A Metadata-Driven Approach to Registry-Aligned Screening of Scholarly Publication Sources at Scale
Cet article présente SciFilter, un système en libre accès piloté par les métadonnées qui automatise le criblage évolutif des sources de publications savantes en alignant les données bibliographiques avec des registres nationaux tels que JUFO et le Registre norvégien, atteignant une précision élevée (précision 0,95, rappel 0,96) et une fiabilité (Kappa de Fleiss 0,94) par rapport à des références de référence organisées par l'humain.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le vaste et encombré paysage de la recherche moderne, où des millions d'articles de recherche sont publiés chaque année, un problème discret mais critique persiste : comment savoir quels journaux et quelles conférences sont dignes de confiance ? Pendant des décennies, le monde académique s'est appuyé sur diverses méthodes pour séparer le bon grain de l'ivraie. Certains observent la fréquence à laquelle un article est cité par d'autres, tandis que d'autres se fient à la réputation de l'éditeur. Cependant, ces méthodes présentent des failles. Les comptes de citations peuvent être manipulés ou biaisés par des habitudes propres à certains domaines, et les moteurs de recherche généralistes incluent souvent des sources de faible qualité ou prédatrices aux côtés de la recherche légitime. Pour résoudre ce problème, des pays comme la Finlande et la Norvège ont mis en place des registres dirigés par des experts. Dans ces systèmes, des panels de spécialistes dans des domaines spécifiques examinent manuellement les journaux et les conférences, leur attribuant des niveaux de qualité basés sur des normes éditoriales rigoureuses plutôt que sur la simple popularité. Cela garantit que le statut d'un journal reflète la qualité réelle de son processus de révision par les pairs et de son processus éditorial. Pourtant, ces systèmes d'experts sont confrontés à un goulot d'étranglement pratique : ils sont conçus pour une consultation humaine. Vérifier un seul journal prend quelques minutes, mais vérifier des milliers de sources pour un projet de recherche important ou un audit institutionnel est une tâche qui prendrait une vie entière de travail manuel.
C'est ici qu'intervient un nouvel outil appelé SciFilter, offrant un moyen d'apporter l'expertise humaine à l'échelle des mégadonnées sans perdre la nuance du jugement de l'expert. Les chercheurs derrière cet outil, basés à l'Université de Tallinn et à l'Université d'Ilesa, ont entrepris de construire un système capable d'associer automatiquement une liste de sources de publication aux registres officiels finlandais et norvégens. Ils n'ont pas créé une nouvelle métrique ou une nouvelle façon de juger la qualité ; ils ont plutôt construit un pont qui connecte les données brutes — comme les noms de journaux et les numéros d'identification — aux listes existantes et de confiance, curatées par des experts humains. L'objectif était de voir si un ordinateur pouvait reproduire les décisions des curateurs humains avec une grande précision, permettant ainsi aux institutions de filtrer rapidement et systématiquement de vastes listes de publications.
Pour tester leur création, l'équipe a assemblé un ensemble contrôlé de 500 sources savantes différentes, allant de journaux bien connus à des actes de conférences obscures, et même à certaines sources connues pour être problématiques. Ils ont divisé ce groupe équitablement entre les sources officiellement reconnues dans les registres et celles qui ne le sont pas. Deux experts humains ont ensuite vérifié indépendamment chacune de ces 500 sources par rapport aux registres officiels, faisant office de référence de vérité (gold standard). Ils ont enregistré si chaque source était indexée et, le cas échéant, quel niveau de qualité elle détenait. Une fois ce point de référence humain établi, les chercheurs ont injecté la même liste de 500 sources dans SciFilter. Le système a ingéré les données, nettoyé les formats désordonnés et a exécuté un processus de correspondance strict, étape par étape. Il a d'abord recherché des correspondances exactes à l'aide de numéros d'identification uniques, puis a tenté de faire correspondre les noms exacts des journaux, et enfin a utilisé une technique de correspondance textuelle sensible pour gérer les légères variations de titres.
Les résultats ont montré que le système automatisé performait avec une fiabilité remarquable. Lorsque les chercheurs ont comparé les résultats de la machine aux jugements des experts humains, l'accord était presque parfait. Le système a correctement identifié si une source était indexée ou non dans 96 pour cent des cas. Il a été tout aussi efficace pour attribuer le niveau de qualité correct, rejoignant les décisions des experts humains dans 95 pour cent des cas où un niveau spécifique était assigné. Les rares erreurs commises par le système n'étaient pas aléatoires ou catastrophiques ; elles se produisaient presque toujours aux limites entre des niveaux similaires. Par exemple, le système pouvait occasionnellement confondre un journal de haut niveau avec un niveau légèrement inférieur, ou confondre une source de haute qualité avec une source située juste en dessous du seuil d'inclusion. Il commettait rarement le genre d'erreur massive qui enverrait un journal de premier rang au bas de l'échelle ou une source de faible qualité au sommet. Ce schéma suggère que le système comprend bien la structure générale des classements de qualité, la confusion ne survenant qu'aux marges où les distinctions sont naturellement floues.
L'étude a également révélé que l'outil n'est pas un remplacement du jugement humain, mais plutôt un premier passage puissant. Les chercheurs soulignent que SciFilter n'évalue pas la qualité des articles ou des chercheurs individuels ; il vérifie simplement si un lieu de publication figure sur la liste officielle et quel niveau il détient. Parce que le système repose sur les données fournies par les registres, sa précision dépend de la qualité de l'entrée et de l'actualité du registre lui-même. Si un journal a récemment changé de nom ou si le registre n'a pas encore mis à jour ses dossiers, le système pourrait passer à côté. Cependant, pour la grande majorité des cas, l'outil automatise avec succès le travail fastidieux de recoupement de milliers de sources, libérant les chercheurs et les administrateurs pour qu'ils puissent se concentrer sur les aspects plus complexes de l'évaluation de la recherche. En transformant un processus manuel et lent en un processus rapide et reproductible, SciFilter offre un moyen pratique d'appliquer les principes de l'évaluation responsable de la recherche aux ensembles de données massifs qui définissent la science moderne, garantissant que les outils que nous utilisons pour évaluer la connaissance sont aussi robustes que la connaissance elle-même.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.