Usage frequency and application variety of research methods in library and information science: Continuous investigation from 1991 to 2021

Technische Samenvatting: Gebruiksfrequentie en Toepassingsbreedte van Onderzoeksmethoden in Library and Information Science (1991–2021)

Probleemstelling
Eerdere onderzoeken naar onderzoeksmethoden binnen Library and Information Science (LIS) hebben zwaar geleund op handmatige inhoudsanalyse. Hoewel fundamentele studies door wetenschappers zoals Järvelin en Vakkari (1990) en Chu (2015) classificatieschema's hebben vastgesteld, beperkt het handmatige karakter van deze analyses de hoeveelheid verwerkbare gegevens. Gevolgelijk zijn de meeste eerdere studies beperkt tot enkele jaren of kleine deelsets van de literatuur, wat een uitgebreid, longitudinaal begrip van methodologische evolutie verhindert. Bovendien behandelen bestaande onderzoeken onderzoeksmethoden en onderzoeksthema's vaak als afzonderlijke entiteiten, waarbij een dynamische analyse van hun onderlinge relaties over langere perioden ontbreekt. Deze studie adresseert de behoefte aan een grootschalige, geautomatiseerde aanpak om onderzoeksmethoden te classificeren en hun gebruiksfrequentie en toepassing breedte over een periode van 31 jaar (1991–2021) te analyseren.

Methodologie
De studie maakt gebruik van een machine learning (ML) pipeline om 26.965 onderzoeksartikelen uit 21 kern-LIS-tijdschriften te analyseren. De methodologie is gestructureerd in drie primaire componenten:

1. Dataset Constructie en Expansie:

   • De dataset beslaat de periode 1991–2021. Een voorlopige trainingsset van 1.977 handmatig geannoteerde artikelen (gebaseerd op Chu en Ke, 2017) werd gebruikt.
   • Om klassenonbalans aan te pakken (waarbij bepaalde methoden zoals de "Delphi-studie" minder dan 300 instanties hadden), hebben de auteurs de trainingsdata uitgebreid. Door TextRank te gebruiken voor het extraheren van trefwoorden, doorzochten zij Web of Science naar relevante abstracts, die vervolgens handmatig werden gefilterd en geannoteerd. Dit proces creëerde een uitgebreide dataset voor training.
   • Confident Learning: Om ruis te beperken die wordt geïntroduceerd tijdens de data-expansie, maakte de studie gebruik van "confident learning" via de Cleanlab-tool om foutief gelabelde data te identificeren en te verwijderen vóór de definitieve modeltraining.

2. Automatische Classificatie van Onderzoeksmethoden:

   • Coderingsschema: De studie adopteerde de taxonomie van Chu en Ke (2017) met 16 onderzoeksmethoden (bijv. Bibliometrie, Inhoudsanalyse, Interview, Theoretische benadering).
   • Modelarchitectuur: Verschillende modellen werden geëvalueerd, waaronder traditionele multi-label classifiers (BR-XGB, CC-XGB, etc.) en deep learning architecturen. Het uiteindelijke geselecteerde model combineerde SciBERT (een BERT-model dat vooraf is getraind op wetenschappelijke teksten) met TextCNN voor feature extractie en classificatie.
   • Trainingsstrategie: De modellen werden getraind met Adam en SGD optimizers met Binary Cross Entropy (BCE) loss. Vijf-voudige cross-validatie werd gebruikt voor evaluatie.
   • Validatie: De prestaties van het model werden gevalideerd tegen een handmatig gelabelde testset (N=80), wat een Kappa-waarde van 0,74 opleverde, wat wijst op een acceptabele consistentie tussen machine- en menselijke annotatie.

3. Topic Modeling en Metriekberekening:

   • Topic Identificatie: Top2Vec werd gebruikt voor topic modeling. Het optimale aantal topics werd bepaald op 18 op basis van CV (context-vector-gebaseerde coherentie) scores.
   • Metrieken: Twee belangrijke metrieken werden berekend:
     • Gebruiksfrequentie: De proportie artikelen die een specifieke methode rapporteren in een gegeven jaar.
     • Toepassingsbreedte: Een op entropie gebaseerde maatstaf die de diversiteit kwantificeert van de onderzoeksthema's waarop een specifieke methode in een gegeven jaar wordt toegepast. Hogere entropie duidt op een bredere toepasbaarheid over verschillende thema's.

Belangrijkste Resultaten

• Classificatienauwkeurigheid: Het SciBERT-TextCNN model behaalde de hoogste prestaties op de schoongemaakte dataset, met een Micro-F1 score van 0,850, een Macro-F1 van 0,848 en een Samples-F1 van 0,859. Dit demonstreert dat de geautomatiseerde aanpak een nauwkeurigheid bereikt die vergelijkbaar is met handmatige codering.
• Trends in Gebruiksfrequentie:
  • Inhoudsanalyse (18,63%) en Bibliometrie (17,70%) waren de meest frequent gebruikte methoden.
  • Een longitudinale verschuiving werd waargenomen: de Theoretische benadering en Inhoudsanalyse vertoonden een neerwaartse trend, terwijl Interview en Vragenlijst een opwaartse trend vertoonden. Dit duidt op een strategische verschuiving van conceptueel onderzoek naar empirische onderzoeksstrategieën in LIS.
• Patronen in Toepassingsbreedte:
  • Inhoudsanalyse vertoonde de hoogste toepassing breedte (7,084), optredend als een "super-methode" die toepasbaar is op een breed scala aan thema's.
  • De Delphi-studie had de laagste breedte (0,134), wat wijst op een smalle toepasbaarheid.
  • Vier duidelijke patronen kwamen naar voren: methoden met een algemeen toegenomen breedte (bijv. Bibliometrie, Interview), methoden die toen toenamen en daarna afnamen (bijv. Vragenlijst, Transaction log analysis), methoden met een algemeen afgenomen breedte (Theoretische benadering), en methoden die eerst afnamen en daarna toenamen (Historische methode).
• Relaties tussen Thema en Methode:
  • Onderzoeksthema's verschoven van systeemgecentreerde kwesties (bijv. "Informatie retrieval/modellen en algoritmen") naar gebruikersgecentreerde thema's (bijv. "Informatiediensten").
  • Specifieke methode-thema combinaties werden geïdentificeerd: Experimenten werden veel gebruikt voor "Tekstverwerking/retrieval" en "Informatiezoekgedrag"; de Theoretische benadering was gekoppeld aan "Informatie-ethiek/filosofie van informatie"; en Bibliometrie stond centraal bij "Wetenschapsevaluatie" en "Webometrie".
  • De studie visualiseerde deze dynamische relaties via een interactieve kaart, waardoor jaarlijkse longitudinale observatie mogelijk werd.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen aan de methodologie van het LIS-veld:

1. Schaalbaarheid via Machine Learning: Door gebruik te maken van deep learning en confident learning, overwint de studie de databeperkingen van handmatige inhoudsanalyse. Het heeft succesvol een dataset van bijna 27.000 artikelen over 31 jaar verwerkt, wat een panoramisch beeld geeft van methodologische trends dat voorheen onbereikbaar was.
2. Dubbel Perspectief Analyse: In tegenstelling tot eerdere studies die methoden en thema's apart behandelden, analyseert dit onderzoek gelijktijdig de gebruiksfrequentie en de toepassing breedte. Het onthult hoe de breedte van de toepassing van een methode in de loop van de tijd verandert, wat een genuanceerder begrip biedt van de methodologische bruikbaarheid.
3. Validatie van Automatische Classificatie: De studie demonstreert dat machine learning een classificatienauwkeurigheid (Kappa = 0,74) kan bereiken die vergelijkbaar is met handmatige menselijke codering. Dit valideert het gebruik van geautomatiseerde technieken voor grootschalige bibliometrische studies, en suggereert dat hoewel handmatige codering essentieel blijft voor het ontwikkelen van coderingsschema's, ML een levensvatbaar complement is voor het uitvoeren van grootschalige analyses.

De auteurs hanteren een bescheiden standpunt door te stellen dat hun methodologie een complement is en geen volledige vervanging voor handmatige analyse, met name omdat menselijke expertise nog steeds vereist is om coderingsschema's te verfijnen naarmate onderzoeksmethoden evolueren. De studie stelt geen nieuwe theoretische kaders voor, maar levert empirisch bewijs van de evolutie van het veld door middel van een rigoureuze, op data gebaseerde analyse.