Usage frequency and application variety of research methods in library and information science: Continuous investigation from 1991 to 2021

Résumé technique : Fréquence d'utilisation et variété d'application des méthodes de recherche en sciences de l'information et de la bibliothèque (1991–2021)

Énoncé du problème
Les investigations antérieures sur les méthodes de recherche dans le domaine des sciences de l'information et de la bibliothèque (SIB) se sont largement appuyées sur l'analyse de contenu manuelle. Bien que des études fondatrices menées par des chercheurs tels que Järvelin et Vakkari (1990) ainsi que Chu (2015) aient établi des schémas de classification, la nature manuelle de ces analyses limite le volume de données pouvant être traitées. Par conséquent, la plupart des études antérieures sont limitées à des années uniques ou à de petits sous-ensembles de littérature, empêissant une compréhension longitudinale complète de l'évolution méthodologique. De plus, les recherches existantes traitent souvent les méthodes de recherche et les sujets de recherche comme des entités distinctes, manquant d'une analyse dynamique de leurs interrelations sur de longues périodes. Cette étude répond au besoin d'une approche automatisée à grande échelle pour classifier les méthodes de recherche et analyser leur fréquence d'utilisation et leur variété d'application sur une période de 31 ans (1991–2021).

Méthodologie
L'étude emploie un pipeline d'apprentissage automatique (ML) pour analyser 26 965 articles de recherche provenant de 21 revues de base en SIB. La méthodologie est structurée en trois composantes primaires :

1. Construction et expansion du jeu de données :

   • Le jeu de données s'étend de 1991 à 2021. Un ensemble d'entraînement préliminaire de 1 977 articles annotés manuellement (basé sur Chu et Ke, 2017) a été utilisé.
   • Pour remédier au déséquilibre des classes (où certaines méthodes comme l'« étude Delphi » comportaient moins de 300 instances), les auteurs ont étendu les données d'entraînement. En utilisant TextRank pour extraire les mots-clés, ils ont recherché des résumés pertinents dans Web of Science, qui ont ensuite été filtrés et annotés manuellement. Ce processus a permis de créer un jeu de données élargi pour l'entraînement.
   • Apprentissage de confiance (Confident Learning) : Pour atténuer le bruit introduit lors de l'expansion des données, l'étude a utilisé l'« apprentissage de confiance » via l'outil Cleanlab afin d'identifier et d'élaguer les données mal étiquetées avant l'entraînement final du modèle.

2. Classification automatique des méthodes de recherche :

   • Schéma de codage : L'étude a adopté la taxonomie de Chu et Ke (2017) comprenant 16 méthodes de recherche (ex. : bibliométrie, analyse de contenu, entretien, approche théorique).
   • Architecture du modèle : Plusieurs modèles ont été évalués, incluant des classifieurs multi-labels traditionnels (BR-XGB, CC-XGB, etc.) et des architectures d'apprentissage profond. Le modèle final sélectionné combine SciBERT (un modèle BERT pré-entraîné sur des textes scientifiques) avec TextCNN pour l'extraction de caractéristiques et la classification.
   • Stratégie d'entraînement : Les modèles ont été entraînés avec les optimiseurs Adam et SGD en utilisant la perte de l'entropie croisée binaire (BCE). Une validation croisée à cinq plis (five-fold cross-validation) a été utilisée pour l'évaluation.
   • Validation : La performance du modèle a été validée par rapport à un ensemble de test étiqueté manuellement (N=80), produisant une valeur Kappa de 0,74, ce qui indique une cohérence acceptable entre l'annotation machine et humaine.

3. Modélisation de thèmes (Topic Modeling) et calcul de métriques :

   • Identification des thèmes : Top2Vec a été utilisé pour la modélisation de thèmes. Le nombre optimal de thèmes a été déterminé à 18 sur la base des scores de cohérence CV (basés sur le vecteur de contexte).
   • Métriques : Deux métriques clés ont été calculées :
     • Fréquence d'utilisation : La proportion d'articles rapportant une méthode spécifique dans une année donnée.
     • Variété d'application : Une mesure basée sur l'entropie quantifiant la diversité des sujets de recherche auxquels une méthode spécifique est appliquée dans une année donnée. Une entropie plus élevée indique une applicabilité plus large à travers différents sujets.

Résultats clés

• Précision de la classification : Le modèle SciBERT-TextCNN a obtenu la performance la plus élevée sur le jeu de données nettoyé, avec un score Micro-F1 de 0,850, un Macro-F1 de 0,848 et un Samples-F1 de 0,859. Cela démontre que l'approche automatisée atteint une précision comparable au codage manuel.
• Tendances de la fréquence d'utilisation :
  • L'analyse de contenu (18,63 %) et la bibliométrie (17,70 %) étaient les méthodes les plus fréquemment utilisées.
  • Un changement longitudinal a été observé : l'approche théorique et l'analyse de contenu ont montré une tendance à la baisse, tandis que l'entretien et le questionnaire ont montré une tendance à la hausse. Cela indique un passage stratégique des recherches conceptuelles vers des stratégies de recherche empiriques en SIB.
• Modèles de variété d'application :
  • L'analyse de contenu a présenté la plus grande variété d'application (7,084), agissant comme une « super-méthode » applicable à un large éventail de sujets.
  • L'étude Delphi avait la variété la plus faible (0,134), indiquant une applicabilité étroite.
  • Quatre modèles distincts ont émergé : les méthodes avec une variété globale en augmentation (ex. : bibliométrie, entretien), celles qui ont augmenté puis diminué (ex. : questionnaire, analyse de journaux de transactions), celles avec une diminution globale (approche théorique), et celles qui ont diminué puis augmenté (méthode historique).
• Relations Thème-Méthode :
  • Les sujets de recherche ont glissé des questions centrées sur les systèmes (ex. : « recherche d'information/modèles et algorithmes ») vers des sujets centrés sur l'utilisateur (ex. : « services d'information »).
  • Des couplages spécifiques méthode-thème ont été identifiés : les expériences étaient fortement utilisées pour le « traitement/la recherche de texte » et le « comportement de recherche d'information » ; l'approche théorique était liée à l'« éthique de l'information/philosophie de l'information » ; et la bibliométrie était centrale pour l'« évaluation de la science » et la « webométrie ».
  • L'étude a visualisé ces relations dynamiques via une carte interactive, permettant une observation longitudinale année par année.

Signification et contributions
L'article revendique trois contributions principales à la méthodologie de la recherche en SIB :

1. Évolutivité via l'apprentissage automatique : En utilisant l'apprentissage profond et l'apprentissage de confiance, l'étude surmonte les limites de données de l'analyse de contenu manuelle. Elle a traité avec succès un ensemble de près de 27 000 articles sur 31 ans, offrant une vue panoramique des tendances méthodologiques auparavant inaccessibles.
2. Analyse à double perspective : Contrairement aux études précédentes qui traitaient les méthodes et les thèmes séparément, cette recherche analyse simultanément la fréquence d'utilisation et la variété d'application. Elle révèle comment l'étendue de l'application d'une méthode change au fil du temps, offrant une compréhension plus nuancée de l'utilité méthodologique.
3. Validation de la classification automatisée : L'étude démontre que l'apprentissage automatique peut atteindre une précision de classification (Kappa = 0,74) comparable au codage humain manuel. Cela valide l'utilisation de techniques automatisées pour les études bibliométriques à grande échelle, suggérant que si le codage manuel reste essentiel pour élaborer des schèmes de codage, le ML est un complément viable pour exécuter des analyses de grande envergure.

Les auteurs maintiennent une position modeste, notant que leur méthodologie est un complément plutôt qu'un remplacement complet de l'analyse manuelle, car l'expertise humaine reste nécessaire pour affiner les schèmes de codage à mesure que les méthodes de recherche évoluent. L'étude ne propose pas de nouveaux cadres théoriques mais fournit plutôt des preuves empiriques de l'évolution du domaine grâce à une analyse rigoureuse pilotée par les données.