Non-synchronism in Global Usage of Research Methods in Library and Information Science from 1990 to 2019

Technische Samenvatting: Niet-synchronisme in het wereldwijde gebruik van onderzoeksmethoden in Library and Information Science (1990–2019)

Probleemstelling
Library and Information Science (LIS) is een interdisciplinair veld waarbij onderzoeksmethoden afkomstig zijn uit diverse disciplines. Hoewel het belang van het begrijpen van deze methoden voor disciplinaire onafhankelijkheid en ontwikkeling goed is vastgesteld, is er een gebrek aan een uitgebreid, kwantitatief begrip van hoe het gebruik van onderzoeksmethoden varieert tussen verschillende landen. Eerdere studies hebben zich grotendeels gericht op algemene internationale trends, specifieke regio's of individuele landen, waarbij vaak werd vertrouwd op handmatige codering. Bovendien blijft de evolutie van internationale verschillen en trends over de afgelopen twee decennia, met de opkomst van nieuwe onderzoeksmethoden, onduidelijk. Deze studie adresseert de kloof in het begrip van het "niet-synchronisme" of de asynchrone ontwikkeling van onderzoeksmethoden over 81 landen gedurende een periode van 30 jaar.

Methodologie
De studie maakt gebruik van een grootschalige, geautomatiseerde kwantitatieve analyse van academische literatuur om de distributie en evolutie van onderzoeksmethoden in kaart te brengen.

• Databron: De dataset bestaat uit 5.281 volledige onderzoeksartikelen gepubliceerd tussen 1990 en 2019 in drie internationaal representatieve tijdschriften: Journal of the Association for Information Science and Technology (JASIST), Journal of Documentation (JDoc) en Library and Information Science Research (LISR). Artikelen uit 81 landen werden opgenomen; artikelen met meerdere auteurs werden toegeschreven aan alle relevante landen.
• Coderingsschema: De auteurs hanteerden een coderingsschema gebaseerd op Chu & Ke (2017), waarbij methoden werden gecategoriseerd in 15 verschillende typen (bijv. bibliometrie, inhoudsanalyse, experiment, vragenlijst) plus een "Overige" categorie.
• Datavolume-expansie: Om de klassenonbalans in de trainingsdata aan te pakken (waarbij sommige methoden minder dan 300 monsters hadden), hebben de auteurs de dataset uitgebreid. Ze gebruikten TextRank om trefwoorden uit bestaande artikelen te extraheren, selecteerden de top-trefwoorden voor ondervertegenwoordigde methoden en haalden aanvullende abstracts op uit Web of Science. Deze werden handmatig geannoteerd, wat resulteerde in een uitgebreide trainingsset van 2.799 artikelen.
• Automatisch Classificatiemodel: Een deep learning-model genaamd CogFT (Full-text cognitive-based classification) is ontwikkeld.
  • Architectuur: Geïnspireerd door CogLTX, verdeelt het model volledige artikelen in 128 blokken. Een Summary Network (gebruikmakend van SciBERT en Self-Attention) identificeert de blokken die het meest relevant zijn voor onderzoeksmethoden, waardoor irrelevante inhoud wordt gefilterd. De top vier blokken worden samengevoegd en gevoed aan een Classification Network (SciBERT met een Sigmoid outputlaag) voor multi-label classificatie.
  • Ruisreductie: De auteurs gebruikten Confident Learning om potentieel ruisgevoelige labels in de dataset te identificeren en handmatig te verifiëren, waardoor de trainingsdata werd bijgewerkt om de nauwkeurigheid van het model te verbeteren.
  • Prestaties: Het uiteindelijke model behaalde een Macro-F1 score van 0,8299 en een Micro-F1 score van 0,8171.
• Analytische Technieken:
  • Gelijkenis-analyse: De distributies van onderzoeksmethoden werden gevectoriseerd. UMAP werd gebruikt voor 2D-visualisatie, en K-means clustering (gebaseerd op Euclidische afstand) groepeerde landen met vergelijkbare methodenprofielen.
  • Statistische Toetsing: De Kolmogorov-Smirnov (K-S) test werd gebruikt om statistisch significante verschillen in methodeverdelingen tussen landen te identificeren.
  • Temporele Analyse: De Shannon Variety Index mat de diversiteit van methoden en onderwerpen in de loop van de tijd. Dynamic Time Warping (DTW) en hiërarchische clustering werden gebruikt om landen te groeperen op basis van het traject van veranderingen in de variëteit van methoden. Jensen-Shannon divergentie mat de afstand tussen nationale en internationale methodeverdelingen voor specifieke onderwerpen.

Belangrijkste Resultaten

• Publicatieconcentratie: De top 20 landen zijn verantwoordelijk voor meer dan 90% van de totale artikelen. De Verenigde Staten zijn de dominante bijdrager (ca. 37-40% van de auteurs), gevolgd door het VK, China en Canada.
• Verschillen in Methodeverdeling: Er bestaat significante heterogeniteit in het gebruik van methoden. Zo vertonen België en Nederland bijvoorbeeld een sterke voorkeur voor bibliometrie (meer dan 45-60% van de papers), terwijl Noorwegen voornamelijk vragenlijsten gebruikt. De top vijf methoden in de meeste landen beslaan meer dan 60% van hun publicaties, wat wijst op een afhankelijkheid van een beperkt aantal methoden.
• Statistische Divergentie: K-S tests bevestigden significante verschillen in methodeverdelingen tussen veel landparen, met name tussen landen met een hoog en laag publicatievolume.
• Temporele Trends:
  • Meerdere Methoden: Het algemene gebruik van meerdere onderzoeksmethoden is in 30 jaar tijd aanzienlijk toegenomen. Deze trend wordt echter grotendeels gedreven door landen met een lager publicatievolume (vooral na 2008), terwijl top-publiceerders zoals de VS en het VK een minder duidelijke opwaartse trend in het gebruik van meerdere methoden laten zien.
  • Methodevariëteit: De meeste landen laten een opwaartse trend zien in de variëteit van gebruikte onderzoeksmethoden. Dit correleert met een expansie in onderzoeksonderwerpen.
  • Clustering: Landen werden in drie groepen geclusterd op basis van hun trajecten van methodevariëteit: (1) Ontwikkelde landen (VS, VK, Canada) met een consistent hoge variëteit; (2) Snel ontwikkelende landen (bijv. China, Australië, Finland) die een scherpe toename in variëteit laten zien; en (3) Specialisatie-landen (België) met stabiele, door traditie beïnvloede patronen.
• Convergentie: Hoewel nationale verschillen blijven bestaan, is de Jensen-Shannon divergentie tussen nationale en internationale methodeverdelingen voor specifieke onderwerpen (bijv. "Information seeking behavior") in de afgelopen drie decennia afgenomen, wat wijst op een geleidelijke convergentie naar internationale normen.

Betekenis en Bijdragen
Het artikel claimt verschillende bijdragen aan het LIS-veld:

1. Globaal Perspectief: Het biedt de eerste grootschalige, geautomatiseerde analyse van het gebruik van onderzoeksmethoden over 81 landen gedurende 30 jaar, waarmee het verder gaat dan studies op enkelvoudig land- of regionaal niveau.
2. Methodologische Innovatie: De studie demonstreert de effectiviteit van het gebruik van deep learning (CogFT) en volledige tekstanalyse voor de automatische classificatie van onderzoeksmethoden, waarmee de beperkingen van handmatige codering en abstract-gebaseerde analyse worden overwonnen.
3. Disciplinaire Inzicht: Door het "niet-synchronisme" in methodegebruik te belichten, biedt de studie een kader voor het begrijpen van de unieke ontwikkelingspaden van LIS in verschillende nationale contexten. Het suggereert dat de disciplinaire ontwikkeling wordt beïnvloed door lokale economische, sociale en culturele factoren, evenals door disciplinaire tradities.
4. Praktische Begeleiding: De bevindingen kunnen dienen als richtlijn voor de ontwikkeling van het discipline-niveau door hiermee tekortkomingen of een overmatige afhankelijkheid van specifieke methoden te identificeren. Bovendien kan het begrijpen van deze verschillen de transnationale wetenschappelijke samenwerking en academische uitwisseling bevorderen door verwachtingen en methodologieën op elkaar af te stemmen.

De auteurs concluderen dat hoewel verschillen in onderzoeksmethoden blijven bestaan, het veld meer geïntegreerd wordt, met een geleidelijke afname van de divergentie tussen nationale praktijken en internationale trends.