Measuring coverage of cited fields by author publication histories

Technische Samenvatting: Het Meten van de Dekking van Geciteerde Velden door de Publicatiegeschiedenissen van Auteurs

Probleemstelling
Bibliometrische studies maken veelvuldig gebruik van referentielijsten om disciplinaire diversiteit, kenniscombinaties en de ouderdom van literatuur te karakteriseren. Echter, een cruciaal onderscheid blijft onbehandeld: de relatie tussen de geciteerde literatuur en de specifieke publicatiegeschiedenissen van de auteur die het werk produceert. Een diverse referentielijst kan goed vertegenwoordigd zijn in de eerdere dossiers van één onderzoeksteam, terwijl deze grotendeels afwezig is in die van een ander team. Bestaande maten van expertise-diversiteit richten zich vaak op de afstanden tussen auteursprofielen of de samenstelling van het geciteerde portfolio in isolatie, zonder de intersectie tussen de twee te kwantificeren. Het artikel stelt dat het begrijpen van teamonderzoek een specifieke meting vereist van hoeveel van de geciteerde referentieverdeling van een paper wordt gerepresenteerd in de individuele auteurshistorie versus de gecombineerde teamhistorie, en hoeveel onbedekt blijft.

Methodologie
De studie introduceert een referentie-gewogen decompositiekader om de geciteerde velden van een focus-paper te verdelen in drie componenten:

1. Maximale Individuele Dekking ($M$): Het aandeel geciteerde categorieën dat wordt gedekt door de enkele auteur met de meest uitgebreide relevante historie.
2. Aanvullende Co-auteur Dekking ($D$): Het incrementele aandeel geciteerde categorieën dat wordt gedekt door de historieken van alle co-auteurs te combineren, bovenop wat $M$ dekt.
3. Onbedekt Residu ($E$): Het aandeel geciteerde categorieën dat afwezig is in de geobserveerde publicatiegeschiedenis van elke auteur.

Het kader maakt onderscheid tussen twee observatievensters: een preproject-venster (vijf jaar voorafgaand aan de start van het project) en een prepublicatie-venster (vijf jaar voorafgaand aan de focus-paper). Dit maakt de berekening van de netto dekkingverandering ($A = E_{pre} - E_{pub}$) mogelijk, waarbij het onderscheid wordt gemaakt tussen basale onbedekte aandelen en daaropvolgende winsten of verliezen.

Data en Inferentiële Sequentie
De studie maakt gebruik van een gekoppelde dataset die gegevens combineert uit de Korean National Science and Technology Information Service (NTIS) subsidiegegevens, National Research Foundation (NRF) erkenningen en OpenAlex publicaties. De analyse volgt een driedelige inferentiële sequentie:

• Ontdekkingsfase: 115 subsidie-gelinkte papers.
• Eerste Bevestigingsfase: 240 papers (gepoolde $N=355$ voor exploratieve diagnostiek).
• Tweede Bevestigingsfase: Een prospectief vastgesteld protocol dat 194 subsidies (112 AI-gebruik, 82 niet-AI) analyseert, geselecteerd uit een grotere pool van 832.

De primaire toepassing onderzoekt of projecten die geclassificeerd zijn als gebruikmakend van Kunstmatige Intelligentie (AI) een hogere basale onbedekte aandeel ($E_{pre}$) vertonen vergeleken met niet-AI projecten, om hypothesen te testen over de rol van AI bij het introduceren van onbekende kennis.

Kernbijdragen en Metrieken

• Decompositie van Dekking: Het artikel biedt een reproduceerbare methode om de geciteerde velden te scheiden op een gemeenschappelijke noemer, gewogen door citatiefrequentie.
• Citatie-nadruk Analyse: Door middel van binnen-paper herallocatie-experimenten isoleert de studie het effect van waar citaties worden geplaatst (gedekte versus onbedekte velden), onafhankelijk van de samenstelling van het portfolio, terwijl auteurshistorie, diversiteit en totale velden constant worden gehouden.
• Onderscheid van Familiariteit: De auteur stelt expliciet dat $E$ de afwezigheid van geïndexeerd bewijs meet, en niet de afwezigheid van werkelijke expertise of leren. Het is een beschrijvende boekhouding van de intersectie tussen citaties en dossiers, geen proxy voor cognitieve familiariteit.

Resultaten

• Exploratieve Diagnostiek:

  • Referentiediversiteit (Shannon-entropie) blijft positief geassocieerd met het onbedekte aandeel ($E_{pre}$), zelfs na correctie voor aantal auteurs, aantal referenties en historievolume. In de ontdekkingsfase verhoogde het toevoegen van diversiteit aan het model de $R^2$ van 0,328 naar 0,502.
  • Citatie-nadruk: Werkelijke portfolio's leggen significant minder gewicht op onbedekte subvelden dan structurele benchmarks. In de ontdekkingsfase was het geobserveerde onbedekte aandeel 8,66 procentpunt lager dan de veld-geconditioneerde herallocatie-benchmark (95% CI: 6,22–11,36). Dit contrast bleef bestaan, zelfs nadat referenties in het eigen primaire subveld van de paper werden uitgesloten.
  • Aggregatie-effecten: In AI-gebruik papers bedraagt de "aanvullende co-auteur dekking" ($D$) gemiddeld 10,89% per paper, maar slechts 3,45% per citatie-gebeurtenis in de eerste bevestigingsfase, wat benadrukt hoe aggregatiemetrieken de marginale bijdrage van co-auteurs aan specifieke citaties kunnen maskeren.

• AI Toepassing (Hypothesetest):

  • Ontdekking: Suggereerde een positieve associatie tussen AI-gebruik en onbedekt aandeel.
  • Eerste Bevestiging: Faalde in de primaire test van positieve netto dekkingverandering ($A$).
  • Tweede Bevestiging: Het primaire eindpunt werd verschoven naar $E_{pre}$ (preproject onbedekt aandeel) op basis van eerdere resultaten. De AI-gebruik coëfficiënt was nabij nul (+0,455 punten, 95% CI: −6,831 tot 7,742) onder aanpassing voor het ouder-veld en (+0,517 punten, 95% CI: −7,395 tot 8,428) onder gedetailleerde veld-aanpassing.
  • Conclusie over AI: De studie bevestigt niet dat AI-gebruik projecten een hoger basaal onbedekt aandeel hebben. Hoewel AI-papers meer AI-literatuur citeren, is deze literatuur vaak al vertegenwoordigd in de eerdere dossiers van de auteur.

Significantie en Claims
Het artikel claimt een reproduceerbare account van citatie-nadruk relatief aan gedocumenteerde publicatiegeschiedenissen te bieden. De primaire bijdrage is methodologisch: het vestigt een kader om te kwantificeren hoeveel van de geciteerde velden van een paper "gedekt" zijn door het verleden van het team versus "onbedekt".

De auteur is bescheiden in de claims en benadrukt dat:

1. Dekking $\neq$ Familiariteit: Een onbedekte referentie duidt op een gebrek aan geïndexeerde historie, niet noodzakelijkerwijs op een gebrek aan expertise of leren.
2. Geen Causaal Mechanisme: De studie beschrijft associaties en structurele contrasten, maar stelt geen causale mechanismen vast voor waarom teams onbedekte velden citeren of hoe kennis wordt verworven.
3. Contextafhankelijkheid: De resultaten zijn specifief voor de geobserveerde, conservatief gelinkte populatie van Koreaanse subsidies en generaliseren niet noodzakelijkerwijs naar alle onderzoekscontexten zonder verdere validatie.
4. Interpretatiebeperkingen: Het kader identificeert de relatie tussen citatie-nadruk en dossiers, maar stelt geen onbekendheid vast. Het falen om de AI-associatie te bevestigen suggereert dat AI-onderzoek in deze steekproef niet noodzakelijkerwijs steunt op velden buiten de eerdere dossiers van de auteur.

Uiteindelijk betoogt het artikel dat het meten van dekking een noodzakelijke laag van granulariteit biedt aan de bibliometrische analyse, waarbij het onderscheid maakt tussen de diversiteit van de referenties van een paper en de uitlijning van die referenties met de gedocumenteerde expertise van de auteur.