Generative AI and the future of scientometrics: current topics and future questions

Probleemstelling
Het vakgebied van de scientometrie, dat wetenschap en technologie kwantitatief bestudeert, adopteert steeds vaker Generatieve Artificiële Intelligentie (GenAI) voor taken variërend van onderwerpidentificatie en classificatie tot onderzoeksevaluatie en citatievoorspelling. De huidige staat van het veld wordt echter gekenmerkt door een "trial-and-error"-benadering. Bestaande literatuur leunt grotendeels op empirische vergelijkingen tussen GenAI-outputs en menselijk oordeel of traditionele technieken, waarbij vaak een fundamenteel begrip ontbreekt van waarom GenAI in specifieke contexten slaagt of faalt. Er is geen duidelijke consensus over de betrouwbaarheid van GenAI in de scientometrie, met debatten die variëren van het potentieel om toegang tot data te democratiseren tot zorgen over de stabiliteit en kwaliteit ervan. Bovendien ontbreekt het het veld aan een theoretisch kader om prestaties te anticiperen op basis van taakkenmerken, en is er een groeiende bezorgdheid dat de geautomatiseerde generatie van wetenschappelijke taal door GenAI de tekstuele markers (vocabulaire, auteurschap, referenties) waarop scientometrische indicatoren rusten, fundamenteel kan veranderen.

Methodologie
Dit artikel is een opiniestuk dat een conceptueel kader voorstelt om de prestaties van GenAI te interpreteren en een theoretische discussie voert over de toekomstige impact ervan. De methodologie omvat:

1. Constructie van een linguïstisch kader: De auteurs passen de drieledige distinctie van Charles Morris betreffende taal — syntaxis, semantiek en pragmatiek — aan om scientometrische taken te categoriseren.
   • Syntaxis: De welgevormdheid van tekst (grammatica, structuur).
   • Semantiek: De betekenis van woorden afgeleid van een corpus (classificatie, labeling).
   • Pragmatiek: De relatie van tekst tot specifieke communicatieve situaties en contexten (evaluatie, oordeel).
2. Synthese van literatuur: De auteurs beoordelen recente empirische studies (2024–2025) die GenAI toepassen op scientometrische taken, waarbij deze toepassingen worden afgezet tegen het voorgestelde linguïstische kader om patronen in prestaties te identificeren.
3. Exploratieve theoretische analyse: Het artikel speculeert over de gevolgen van de brede adoptie van GenAI in academisch schrijven, waarbij de gevolgen voor de vervorming van kernaspecten van de scientometrie wordt geanalyseerd: vocabulaire, auteurschapspraktijken, productiviteitsmaten en referentiebruik.

Kernbijdragen

1. Een conceptueel kader voor taakclassificatie: Het artikel introduceert een onderscheid tussen taken die semantische inferentie vereisen (het begrijpen van betekenissen binnen een tekst) en taken die pragmatisch oordeel vereisen (het evalueren van teksten binnen specifieke institutionele of sociale contexten).
2. Criteria voor prestatievoorspelling: Het stelt dat de prestaties van GenAI niet uniform zijn, maar afhangen van drie sleutelparameters:
   • De aard van de taak (semantisch versus pragmatisch).
   • Het niveau van granulariteit (geaggregeerd/breed versus individueel/fijnmazig).
   • Het doel van de analyse (beschrijvend/inferentieel versus evaluatief).
3. Strategische begeleiding: De auteurs stellen dat GenAI zeer effectief is voor semantische taken (bijv. onderwerp-labeling, documentclassificatie) op een geaggregeerd niveau, maar inconsistent presteert bij pragmatische taken (bijv. peer review, het identificeren van prominente wetenschappers) waar individuele context en institutionele nuance cruciaal zijn.
4. Waarschuwing over de validiteit van indicatoren: Het artikel wijst op een kritiek, vaak over het hoofd gezien risico: dat de generatie van wetenschappelijke tekst door GenAI de statistische distributies van woorden, auteurschapspatronen en citaties kan veranderen, waardoor gevestigde scientometrische indicatoren die uitgaan van stabiele relaties tussen tekst en wetenschappelijke praktijk, ongeldig worden.

Resultaten en Bevindingen

• Semantische Taken: GenAI vertoont sterke prestaties in het afleiden van betekenissen, zoals het labelen van onderwerpen of het classificeren van documenten, met name wanneer dit wordt toegepast op brede categorieën (bijv. wetenschappelijke velden) in plaats van fijnmazige onderscheidingen. Echter, "hallucinaties" en stochastische variatie vereisen kalibratie en validatie tegen referentiedata.
• Pragmatische Taken: De prestaties zijn gemengd en instabiel voor taken die contextafhankelijk oordeel vereisen, zoals het evalueren van onderzoeks-kwaliteit, het voorspellen van de impact van citaties, of het identificeren van prominente wetenschappers. Hoewel GenAI op een geaggregeerd niveau statistische regelmatigheden kan vertonen, slaagt het er niet in de betrouwbaarheid van menselijk oordeel in individuele gevallen te repliceren.
• Mens-Machine Integratie: Het artikel concludeert dat robuuste adoptiestrategieën een "human-in-the-loop"-benadering vereisen. Voor semantische taken moeten mensen zich richten op kalibratie en validatie. Voor pragmatische/evaluatieve taken moet GenAI dienen als een hulpmiddel of assistent in plaats van een vervanging voor het menselijk oordeel.
• Impact op Scientometrische Maten: De auteurs identificeren vier gebieden waar GenAI de validiteit van huidige maten bedreigt:
  • Vocabulaire: GenAI kan leiden tot een toename van stilistische homogeniteit en de frequentie van woorden veranderen, wat potentieel bestaande associaties met onderwerpen versterkt en cognitieve dynamiek maskeert.
  • Auteurschap: Systematisch gebruik van GenAI voor het opstellen van teksten kan het vermelden van auteurschap loskoppelen van de werkelijke intellectuele bijdrage, wat samenwerkingen complexer maakt.
  • Productiviteit: GenAI kan de marginale kosten van publicatie verlagen, wat potentieel de outputcijfers opblaast terwijl de topische diversiteit afneemt, waardoor traditionele productiviteitsindicatoren minder vergelijkbaar worden over de tijd.
  • Referenties: GenAI-tools kunnen referenties fabriceren of ze selecteren op basis van woordassociatie in plaats van intellectuele afstamming, wat potentieel citatienetwerken en de interpretatie van wetenschappelijke invloed verstoort.

Betekenis en Claims
Het artikel beweert dat GenAI niet louter een nieuw productiviteitstool is, maar een kracht die in staat is de "tekstuele representatie van wetenschap" te veranderen. De significantie ligt in de verschuiving van het discours van eenvoudige prestatiebenchmarking naar een diepere theoretische en empirische herwaardering van de fundamenten van het veld.

• Voor de praktijk: Het dringt er bij wetenschappers op aan om weg te bewegen van trial-and-error naar methodologische consolidatie, waarbij wordt benadrukt dat de keuze om GenAI te gebruiken gedicteerd moet worden door de linguïstische aard van de taak en het vereiste niveau van granulariteit.
• Voor de theorie: Het roept op tot een nieuw onderzoeksprogramma om te begrijpen hoe GenAI gevestigde indicatoren beïnvloedt. De auteurs betogen dat het veld zonder zorgvuldig empirisch werk en theoretische reflectie het risico loopt zijn vermogen te verliezen om evoluerende patronen van kennisproductie te interpreteren.
• Bescheidenheid van de claims: De auteurs erkennen expliciet dat hun discussie over de toekomstige impact van GenAI op scientometrische maten grotendeels speculatief is vanwege het gebrek aan bestaande empirische bewijslast. Zij kaderen hun argumenten als hypothesen die strikte validatie vereisen door middel van longitudinale studies en gecontroleerde experimenten (bijv. het vergelijken van pre- en post-GenAI corpora).