Assessing the impact of Open Research Information Infrastructures using NLP driven full-text Scientometrics: A case study of the LXCat open-access platform

Deze studie presenteert een schaalbaar, op NLP gebaseerd scientometrisch raamwerk om de impact van open onderzoeksinfrastructuur te kwantificeren door middel van volledige tekstanalyse, waarbij het LXCat-platform als casestudy wordt gebruikt om de invloed op wetenschappelijke praktijken en onderzoekstrends aan te tonen.

De kern

De "Digitale Bibliotheek van de Plasma-wereld": Hoe we met AI meten wat echt belangrijk is

Stel je voor dat je een enorme, wereldwijde bibliotheek hebt. In deze bibliotheek staan geen boeken, maar de "bouwstenen" van de wetenschap: de exacte gegevens die nodig zijn om te begrijpen hoe plasma (een soort supergevoelige, energierijke gasvorm) zich gedraagt. Dit platform heet LXCat.

Wetenschappers gebruiken LXCat om te voorspellen hoe plasma werkt in alles, van de productie van computerchips tot het genezen van ziektes met medische apparatuur.

Het probleem: De "Citaties-valstrik"

Normaal gesproken meten we hoe belangrijk een wetenschappelijk platform is door te kijken naar citaties. Dat is alsof je een restaurant beoordeelt alleen op basis van hoe vaak mensen de naam op hun menukaart zetten. Maar dat zegt niet alles! Je weet niet wat ze precies hebben gegeten, of ze de kruiden van de chef gebruikten, of dat ze alleen de naam noemden omdat het toevallig op de kaart stond.

De onderzoekers van dit paper wilden dieper graven. Ze wilden niet alleen weten dat mensen LXCat noemen, maar hoe ze het gebruiken.

De oplossing: Een digitale detective (NLP)

Om dit te doen, hebben de onderzoekers een soort "super-detective" ingezet: Natural Language Processing (NLP). Dit is een vorm van Kunstmatige Intelligentie die tekst kan lezen en begrijpen zoals een mens dat doet, maar dan duizend keer sneller.

In plaats van alleen naar de namen te kijken, heeft deze AI de volledige tekst van 400 wetenschappelijke artikelen "gelezen". Het was alsof de AI door duizenden recepten liep om te kijken welke specifieke ingrediënten (zoals stikstof of zuurstof) en welke keukenapparatuur (zoals de 'BOLSIG+' software) de koks daadwerkelijk gebruikten.

Wat hebben ze ontdekt? (De resultaten)

De AI heeft een heel gedetailleerd beeld geschetst van de "smaak" van de plasma-wetenschap:

1. De Favoriete Ingrediënten: De AI zag dat stikstof ($N_2$) en zuurstof ($O_2$) de absolute sterren van de show zijn. Ze worden bijna overal in de "recepten" gebruikt.
2. De Onmisbare Keukengerei: De AI ontdekte dat de LXCat-data en de BOLSIG+-software als een perfecte match worden gebruikt. Het is alsof je ontdekt dat bijna elke chef die een bepaalde pan gebruikt, ook direct die specifieke snijmachine gebruikt. Ze horen bij elkaar in de workflow.
3. Wereldwijde Smaakmakers: De onderzoekers zagen dat het platform niet alleen in één land populair is, maar dat de hele wereld (van de VS tot China en India) de "ingrediënten" van LXCat gebruikt om hun eigen wetenschappelijke gerechten te maken.
4. Nieuwe Trends: Door de tekst te analyseren, konden ze zien dat de wetenschap verschuift. Waar het vroeger vooral ging over basiskennis, gaat het nu steeds meer over ingewikkelde toepassingen zoals het omzetten van $CO_2$ of het aandrijven van raketten in de ruimte.

Waarom is dit belangrijk voor de toekomst?

Dit onderzoek is een blauwdruk. De onderzoekers hebben niet alleen LXCat geanalyseerd; ze hebben een gereedschapskist gebouwd.

In de toekomst kunnen andere wetenschappers deze AI-detective gebruiken om andere belangrijke digitale bibliotheken te onderzoeken. Zo kunnen overheden en universiteiten precies zien welke wetenschappelijke tools echt de motor zijn van de innovatie, en welke ze misschien meer steun moeten geven.

Kortom: Ze hebben de "cijfers" achtergelaten en de "inhoud" opgezocht, om zo de echte impact van open wetenschap te bewijzen.

Technische samenvatting

Technische Samenvatting: Beoordeling van de impact van Open Research Information Infrastructures middels NLP-gestuurde full-text Scientometrie

1. Probleemstelling

De impact van Open Research Information (ORI) infrastructuren — platforms die wetenschappelijke data delen, valideren en hergebruiken — wordt traditioneel gemeten via bibliometrische indicatoren zoals citaties. Deze methode is echter beperkt: citaties geven wel de zichtbaarheid aan, maar onthullen niet hoe data daadwerkelijk worden gebruikt in wetenschappelijke workflows (bijv. welke specifieke datasets worden gecombineerd met welke software, of welke chemische stoffen de focus vormen).

In het veld van de laagtemperatuurplasma (LTP) wetenschap is de LXCat-databank cruciaal, maar er ontbrak een systematische methode om de diepere, functionele impact van dit platform op de onderzoekspraktijken te kwantificeren.

2. Methodologie

De auteurs presenteren een schaalbaar, domein-agnostisch framework dat gebruikmaakt van Natural Language Processing (NLP) om de volledige tekst van wetenschappelijke artikelen te analyseren. De methodologie bestaat uit vier hoofdfasen:

• Dataverzameling & Extractie: Er is een corpus samengesteld van 403 volledige artikelen die drie fundamentele LXCat-publicaties citeren. PDF's werden met het Marker-framework omgezet naar gestructureerde Markdown- en JSON-formaten.
• NLP-gebaseerde Entiteitsextractie:
  • Chemische Entiteiten: Gebruik van ChemDataExtractor en PubChem om chemische soorten (gassen/ionen) te identificeren en te normaliseren.
  • Database & Solver Mentions: Een pipeline die zinnen segmenteert en trefwoorden filtert om specifieke LXCat-databases en de BOLSIG+ solver te detecteren.
  • Geografische Mapping: Extractie van landelijke affiliaties uit de eerste pagina's van de documenten via ISO-standaard mapping.
• Topic Modeling: Toepassing van BERTopic, een transformer-gebaseerde techniek, om latente thematische structuren in de literatuur te ontdekken door middel van contextuele embeddings en clustering (HDBSCAN).
• Integratie: Alle geëxtraheerde data werden samengevoegd in een gestructureerde dataset voor kwantitatieve analyse.

3. Belangrijkste Bijdragen

• Nieuw Scientometrisch Framework: De verschuiving van "citatie-gebaseerde" naar "gebruik-bewuste" (usage-aware) analyse door middel van full-text mining.
• Gedetailleerde Impactanalyse van LXCat: De eerste systematische kwantificering van hoe LXCat de LTP-gemeenschap ondersteunt.
• Open Source Software: De volledige analyse-pipeline is vrijgegeven als open-source software, waardoor andere wetenschappelijke domeinen (zoals biologie of materiaalkunde) dezelfde methode kunnen toepassen op hun eigen dataplatforms.

4. Resultaten

• Thematische Verschuivingen: De topic modeling identificeerde acht duidelijke clusters, variërend van fundamentele "Elektronenbotsingen" tot toegepaste domeinen zoals "Plasma-voortstuwing voor de ruimte" en "CO2-conversie".
• Data- en Tool-koppeling: Er werd een sterke functionele koppeling aangetoond tussen specifieke databases (zoals Phelps en Biagi) en de BOLSIG+ solver. Dit bewijst dat LXCat niet slechts een opslagplaats is, maar een integraal onderdeel van de computationele workflow.
• Chemische Trends: Stikstof ($N_2$) en zuurstof ($O_2$) blijven dominant, maar de analyse toonde ook de opkomst van gespecialiseerde gassen aan, wat wijst op evoluerende onderzoeksinteresses.
• Geografische Verspreiding: Hoewel de VS leidend blijft, toont de data een groeiende internationale adoptie, inclusief een stijgende participatie uit China, het VK en opkomende landen zoals India en Brazilië.

5. Betekenis en Conclusie

Dit onderzoek bewijst dat ORI-infrastructuren zoals LXCat fungeren als epistemische infrastructuren: ze vormen de manier waarop kennis wordt geproduceerd en gevalideerd.

De methodologie biedt beleidsmakers en financiers een krachtig instrument om de effectiviteit van open-data-investeringen te meten op een manier die verder gaat dan oppervlakkige citaties. Het werk legt de basis voor een meer datagestuurde benadering van het beheer, de governance en de duurzaamheid van wetenschappelijke infrastructuur wereldwijd.