SciFilter: A Metadata-Driven Approach to Registry-Aligned Screening of Scholarly Publication Sources at Scale
Dit artikel introduceert SciFilter, een open-access, op metadata gebaseerd systeem dat de schaalbare screening van wetenschappelijke publicatiebronnen automatiseert door bibliografische gegevens af te stemmen op nationale registers zoals JUFO en het Noorse Register, waarbij een hoge nauwkeurigheid (precisie 0,95, recall 0,96) en betrouwbaarheid (Fleiss' Kappa 0,94) wordt bereikt ten opzichte van door mensen gecureerde benchmarks.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte, overvolle landschap van de moderne wetenschap, waar jaarlijks miljoenen onderzoeksartikelen worden gepubliceerd, blijft een stil maar kritiek probleem bestaan: hoe weten we welke tijdschriften en conferenties betrouwbaar zijn? Decennialang heeft de academische wereld vertrouwd op diverse methoden om het kaf van het koren te scheiden. Sommigen kijken naar hoe vaak een artikel door anderen wordt geciteerd, terwijl anderen vertrouwen op de reputatie van de uitgever. Deze methoden hebben echter gebreken. Citaties kunnen worden gemanipuleerd of vertekend door vakspecifieke gewoonten, en brede zoekmachines bevatten vaak kwalitatief laagstaande of predatorische bronnen naast legitiem onderzoek. Om dit op te lossen, hebben landen als Finland en Noorwegen door experts geleide registers opgebouwd. In deze systemen beoordelen panelen van specialisten in specifieke vakgebieden handmatig tijdschriften en conferenties, en wijzen ze toe aan kwaliteitsniveaus op basis van strikte redactionele standaarden in plaats van alleen populariteit. Dit zorgt ervoor dat de status van een tijdschrift de werkelijke kwaliteit van het peer review- en redactieproces weerspiegelt. Toch kampen deze expertsystemen met een praktische flessenhals: ze zijn ontworpen voor menselijke raadpleging. Het controleren van één enkel tijdschrift duurt enkele minuten, maar het controleren van duizenden bronnen voor een groot onderzoeksproject of een institutionele audit is een taak die een leven lang handmatig werk zou kosten.
Hier komt een nieuwe tool genaamd SciFilter in beeld, die een manier biedt om menselijke expertise naar de schaal van big data te brengen zonder de nuance van deskundige oordeelsvorming te verliezen. De onderzoekers achter deze tool, gevestigd aan de Tallinn University en de University of Ilesa, wilden een systeem bouwen dat automatisch een lijst met publicatiebronnen kan matchen met de officiële Finse en Noorse registers. Ze creëerden geen nieuwe metriek of een nieuwe manier om kwaliteit te beoordelen; in plaats daarvan bouwden ze een brug die ruwe data — zoals de namen van tijdschriften en identificatienummers — verbindt met de bestaande, vertrouwde lijsten die door menselijke experts zijn samengesteld. Het doel was om te zien of een computer de beslissingen van menselijke curatoren met hoge nauwkeurigheid kon repliceren, zodat instellingen enorme lijsten met publicaties snel en consistent kunnen screenen.
Om hun creatie te testen, stelde het team een gecontroleerde set samen van 500 verschillende wetenschappelijke bronnen, variërend van bekende tijdschriften tot obscure conferentieverslagen en zelfs enkele bronnen die bekendstaan als problematisch. Ze verdeelden deze groep gelijkmatig tussen bronnen die officieel worden erkend in de registers en bronnen die dat niet zijn. Twee menselijke experts controleerden vervolgens onafhankelijk van elkaar elke van deze 500 bronnen tegen de officiële registers, waarbij zij fungeerden als de gouden standaard voor de waarheid. Zij legden vast of een bron geïndexeerd was en, zo ja, welk kwaliteitsniveau deze bezat. Zodra deze menselijke benchmark was vastgesteld, voerden de onderzoekers dezelfde lijst van 500 bronnen in bij SciFilter. Het systeem verwerkte de data, corrigeerde slordige opmaak en voerde een strikt, stapsgewijs matchingsproces uit. Eerst zocht het naar exacte overeenkomsten met behulp van unieke identificatienummers, daarna probeerde het de exacte namen van de tijdschriften te matchen, en tot slot gebruikte het een gevoelige tekstmatchingsmethode om kleine variaties in titels op te vangen.
De resultaten toonden aan dat het geautomatiseerde systeem met opmerkelijke betrouwbaarheid presteerde. Wanneer de onderzoekers de output van de machine vergeleken met de oordelen van de menselijke experts, was de overeenkomst bijna perfect. Het systeem identificeerde correct of een bron geïndexeerd was of niet in 96 procent van de gevallen. Het was even succesvol bij het toewijzen van het juiste kwaliteitsniveau, waarbij het de beslissingen van de menselijke experts in 9 percent van de gevallen waarbij een specifiek niveau werd toegewezen, evenaarde. De weinige fouten die het systeem maakte, waren niet willekeurig of catastrofaal; ze deden bijna altijd voorkomen op de grenzen tussen vergelijkbare niveaus. Bijvoorbeeld, het systeem kon af en toe een top-tier tijdschrift aanzien voor een iets lager niveau, of een hoogwaardige bron verwarren met een bron die net onder de drempel voor inclusie ligt. Het maakte zelden het soort massale fout dat een top-tier tijdschrift naar de onderste laag zou sturen of een bron van lage kwaliteit naar de bovenste. Dit patroon suggereert dat het systeem de algemene structuur van de kwaliteitsrangschikking goed begrijpt, waarbij verwarring alleen optreedt op de randen waar de verschillen van nature vaag zijn.
De studie onthulde ook dat de tool geen vervanging is voor menselijk oordeel, maar eerder een krachtige eerste controle. De onderzoekers benadrukken dat SciFilter niet de kwaliteit van individuele artikelen of onderzoekers evalueert; het controleert simpelweg of een publicatiekanaal op de officiële lijst staat en welk niveau het bezit. Omdat het systeem afhankelijk is van de data die door de registers wordt geleverd, hangt de nauwkeurigheid af van de kwaliteit van de input en de actualiteit van het register zelf. Als een tijdschrift onlangs van naam is veranderd of als het register de gegevens nog niet heeft bijgewerkt, kan het systeem dit missen. Maar voor het overgrote deel van de gevallen automatiseert de tool echter succesvol het tijdrovende werk van het kruisverwijzen van duizenden bronnen, waardoor onderzoekers en administrateurs vrijkomen voor de complexere aspecten van onderzoeksevaluatie. Door een handmatig, traag proces om te zetten in een snel en reproduceerbaar proces, biedt SciFilter een praktische manier om de principes van verantwoord wetenschappelijk onderzoek toe te passen op de enorme datasets die de moderne wetenschap definiëren, en garandeert het dat de instrumenten die we gebruiken om kennis te evalueren even robuust zijn als de kennis zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.