Exploring the relationship between team institutional composition and novelty in academic papers based on fine-grained knowledge entities

Technische Samenvatting: Onderzoek naar de relatie tussen de institutionele samenstelling van teams en de nieuwheid van academische papers

Probleemstelling
Hoewel de samenstelling van auteursteams wordt erkend als een belangrijke factor die de nieuwheid van academische papers beïnvloedt, vertoont bestaand onderzoek twee primaire beperkingen. Ten eerste richten studies naar teamcompositie zich voornamelijk op individuele attributen zoals teamgrootte, genderbalans en internationale samenwerking, waarbij de impact van de institutionele typen (academisch versus industrieel) waaraan auteurs behoren, grotendeels wordt genegeerd. Ten tweede blijven huidige maten voor nieuwheid vaak op een algemeen of macro niveau, waardoor ze geen fijnmazige nuances kunnen vastleggen. Traditionele methoden vertrouwen op brede entiteitscombinaties (bijv. verwijzingen in tijdschriften of topic-paren) zonder specifieke kenniscomponenten zoals methoden, datasets, tools of metrieken te onderscheiden. Dit gebrek aan granulariteit maakt het moeilijk om specifieke soorten nieuwheid te analyseren of gedetailleerde verklaringen te geven over hoe verschillende institutionele biases zich manifesteren in onderzoeksresultaten.

Methodologie
De studie hanteert een kwantitatieve benadering met behulp van gegevens uit het veld van Natural Language Processing (NLP) als casestudy. De methodologie verloopt via vier afzonderlijke stappen:

1. Dataverzameling en Teamcategorisering:

   • Bron: 15.337 papers gepubliceerd tussen 1979 en 2021 zijn verzameld van drie top-tier NLP-conferenties: ACL, EMNLP en NAACL.
   • Institutionele Classificatie: Auteursaffiliaties zijn geëxtraheerd en in kaart gebracht met behulp van de Global Research Identification Database (GRID). Instellingen werden ingedeeld in acht typen (bijv. onderwijs, bedrijven, gezondheidszorg) en vervolgens geaggregeerd in drie teamcompositietypen:
     • A&A: Puur academische instellingen.
     • I&I: Puur industriële instellingen.
     • A&I: Gemengde academische en industriële samenwerkingen.
   • Filtering: Papers met één auteur werden uitgesloten, wat resulteerde in een definitieve dataset van 14.812 papers.

2. Fijnmazige Entiteitsextractie:

   • De studie identificeerde vier specifieke typen kennisentiteiten die relevant zijn voor NLP-onderzoek: Methoden (algoritmen/modellen), Datasets (corpora), Tools (software/frameworks) en Metrieken (evaluatiestandaarden).
   • Een gecascadeerd SciBERT+BiLSTM-model werd getraind en gebruikt om deze entiteiten uit de volledige tekst van de papers te extraheren. Dit model behaalde een F1-score van 86,27, waarmee het algemene pre-trained modellen zoals BERT en XLM-RoBERTa overtrof.

3. Meting van Nieuwheid:

   • Combinatorische Innovatie: Nieuwheid werd gedefinieerd op basis van de theorie van combinatorische innovatie, waarbij nieuwheid voortkomt uit atypische combinaties van kenniscomponenten.
   • Semantische Afstand: De semantische afstand tussen paren geëxtraheerde entiteiten werd berekend met behulp van cosinusafstand op woordembeddings.
   • Scoring: Entiteitparen die binnen de top 10% van de semantische afstanden vielen (wat duidt op de minst voorkomende/atypische combinaties), werden geïdentificeerd. De proportie van deze atypische combinaties in een paper diende als de Nieuwheidsscore. Papers in de top 10% van de scores werden geclassificeerd als "nieuwe papers".

4. Biasanalyse en Regressie:

   • Fijnmazige Bias: De studie berekende het bijdragepercentage van de tien mogelijke paarvormige combinaties van de vier entiteitstypen (bijv. Methode-Methode, Methode-Metriek, Methode-Tool) aan de algehele nieuwheid van de papers.
   • Statistische Analyse: Regressiemodellen werden ingezet om de relatie tussen de institutionele teamcompositie en nieuwheidsscores te analyseren, waarbij werd gecontroleerd voor variabelen zoals publicatiejaar, onderzoeksopdracht, teamgrootte, internationale samenwerking en institutionele prestige.

Belangrijkste Resultaten

• Publicatietrends: Academische instellingen (A&A) blijven de dominante producenten van NLP-papers. Echter, gemengde academisch-industriële samenwerkingen (A&I) hebben sinds 2010 een opmerkelijke stijging in publicatievolume laten zien, waarbij ze de groei van puur academische papers overtreffen.
• Institutionele Impact op Nieuwheid: Regressieanalyse onthult dat, vergeleken met puur industriële teams (I&I), zowel puur academische teams (A&A) als gemengde teams (A&I) papers produceren met significant hogere nieuwheidsscores. Specifiek vertonen gemengde teams (A&I) de hoogste positieve impact op nieuwheid.
• Fijnmazige Nieuwheidsbias:
  • Algemeen: Methode-gerelateerde entiteitcombinaties dragen het meest bij aan nieuwheid over alle institutionele typen heen.
  • Gemengde Teams (A&I): Deze teams vertonen een significant hogere bijdrage aan nieuwheid door Methode-Metriek combinaties. Dit suggereert een neiging om diverse methodologische benaderingen te integreren met evaluatie-indicatoren.
  • Industriële Teams (I&I): Deze teams vertonen een significant hogere bijdrage aan nieuwheid door Methode-Tool combinaties, wat wijst op een focus op het benutten van innovatieve tools om praktische toepassingsproblemen op te lossen.
  • Academische Teams (A&A): Deze teams tonen een evenwichtige maar onderscheidende voorkeur voor Methode-Data en Methode-Methode combinaties.

Betekenis en Bijdragen
Het artikel claimt twee primaire bijdragen aan het veld van scientometrie en teamwetenschap:

1. Institutioneel Perspectief op Nieuwheid: De studie vult een gat in de literatuur door de focus te verschuiven van individuele auteurattributen naar institutionele compositie. Het levert empirisch bewijs dat het type instelling (academisch, industrieel of gemengd) de nieuwheid van onderzoeksresultaten significant beïnvloedt, waarbij de cruciale rol van industrie-academische samenwerking bij het genereren van nieuwe kennis wordt benadrukt.
2. Fijnmazige Meting van Nieuwheid: Het onderzoek breidt de meting van nieuwheid uit voorbij binaire of scalaire beoordelingen. Door een fijnmazige nieuwheidsbiasmeting te introduceren op basis van specifieke kennisentiteiten (methoden, data, tools, metrieken), onthult de studie onderscheidende "innovatiehandtekeningen" voor verschillende institutionele typen. Dit maakt een genuanceerder begrip mogelijk van hoe verschillende teams innoveren (bijv. industriële teams die focussen op tool-integratie versus gemengde teams die focussen op methode-indicator synthese).

Beperkingen
De auteurs erkennen verschillende beperkingen:

• Dataprofiel: De studie is beperkt tot het NLP-veld en drie specifieke conferenties, wat mogelijk niet het volledige spectrum van wetenschappelijk onderzoek vertegenwoordigt.
• Data-onbalans: De dataset bevat een aanzienlijk groter aantal academische papers vergeleken met industriële papers, wat een bias kan introduceren.
• Contextuele Nuance: De entiteitsextractie en combinatieanalyse werden uitgevoerd over het gehele document zonder onderscheid te maken tussen specifieke secties (bijv. methodologie versus resultaten), wat de precisie van de interpretatie van de nieuwheid potentieel kan beïnvloeden.
• Causaliteit: De studie identificeert correlaties tussen institutionele compositie en nieuwheid, maar stelt geen definitieve causale relatie vast.

Conclusie
De studie concludeert dat hoewel industriële instellingen steeds actiever zijn in publicaties, hun hoogste potentieel voor nieuwheid wordt gerealiseerd door samenwerking met academische instellingen. De bevindingen suggereren dat interdisciplinaire samenwerking tussen de academische wereld en de industrie een belangrijke drijfveer is voor onderzoek met een hoge nieuwheid, waarbij verschillende institutionele typen unieke biases bijdragen aan de soorten kenniscombinaties die zij produceren. Dit biedt richtlijnen voor het bevorderen van effectieve industrie-universiteit-onderzoeksamenwerking om de kwaliteit en innovativiteit van wetenschappelijke output te vergroten.