How Do Algorithms Interact in Scientific Research? Large-Scale Semantic Relation Identification and Analysis Based on Full-Text Papers

Technische Samenvatting: Hoe interageren algoritmen in wetenschappelijk onderzoek?

Probleemstelling
In het tijdperk van kunstmatige intelligentie zijn algoritmen centrale drijfveren van wetenschappelijke innovatie. Hoewel bestaand onderzoek succesvol heeft geconstateerd welke algoritme-entiteiten bestaan en hun vermeldingsfrequenties en co-occurrences (gelijktijdige voorkomen) heeft geanalyseerd, bieden deze benaderingen beperkt inzicht in de aard van de interacties tussen algoritmen. Co-occurrence-analyse kan aangeven dat twee algoritmen samen voorkomen, maar faalt in het verklaren van waarom ze samen voorkomen, hoe ze concurreren, samenwerken of evolueren. Er is een gebrek aan grootschalige, fijnmazige semantische relatie-identificatie die verder gaat dan eenvoudige entiteitslijsten naar gestructureerde relatiegrafen, wat een systematisch begrip van de innovatietrajecten van algoritmen en de evolutie van gemeenschappen belemmert.

Methodologie
Deze studie richt zich op het domein van Natural Language Processing (NLP) om semantische relaties tussen algoritme-entiteiten in volledige academische papers te identificeren en te analyseren. De methodologie verloopt via vier hoofdfasen:

1. Dataverzameling en Preprocessing:

   • Corpus: Volledige papers van drie belangrijke NLP-conferenties (ACL, EMNLM, NAACL) gepubliceerd tussen 1979 en 2025 zijn verzameld.
   • Entiteitsextractie: Een bijgewerkte trainingscorpus werd geconstrueerd door bestaande data (1979–2020) aan te vullen met handmatig geannoteerde zinnen uit 2021–2025. Het model SciBERT + BiLSTM + CRF werd gefinetuned om algoritme-entiteiten te extraheren en relevante zinnen te filteren.
   • Standaardisatie: Een strikte normalisatie-pipeline werd toegepast, inclusclusief tokenisatie, lemmatisering en vectorgebaseerde clustering (met behulp van Gemma embeddings en ChromaDB) om varianten van namen van hetzelfde algoritme samen te voegen, wat resulteerde in een definitieve set van 30.274 unieke algoritme-entiteiten.

2. Relatiekader en Annotatie:

   • Een semantisch relatiekader werd gedefinieerd met zes categorieën: Vergelijken met (Compare with), Gebruiken (Use), Samenwerken met (Cooperate with), Is hetzelfde als (Same as), Is superklasse van (Superclass of), en Overig (Other).
   • Een gold-standard corpus van 16.531 zinnen met meerdere algoritme-entiteiten werd handmatig geannoteerd door vier annotatoren, waarbij een paar-inter-annotator-overeenkomst (Cohen's Kappa) van 0,7630 werd behaald.

3. Model Evaluatie voor Relatie-extractie:

   • Large Language Models (LLMs): Verschillende modellen (GPT-5, DeepSeek-Reasoner, Gemini-3.1-pro-preview, Claude-Sonnet-4-6) werden geëvalueerd met gebruikmakend van zero-shot, few-shot en chain-of-thought (CoT) prompting-strategieën.
   • Pre-trained Language Models (PLMs): Modellen waaronder BERT, SciBERT en DeBERTa (met en zonder BiLSTM-lagen) werden via supervised fine-tuning getraind. Daarnaast werden Qwen-serie modellen gefinetuned met behulp van Low-Rank Adaptation (LoRA).
   • Selectie: SciBERT behaalde de beste prestaties en werd geselecteerd als het definitieve model voor grootschalige relatie-extractie.

4. Netwerkanalyse:

   • De intensiteit van interactie werd berekend op basis van de frequentie van algoritme-paren die in papers voorkomen over de tijd, genormaliseerd door het totale publicatievolume.
   • Jaarlijkse relatienetwerken werden geconstrueerd voor elk relatietype om evolutie te analyseren in termen van netwerkomvang (nodes/edges), interne connectiviteit (gemiddelde graad, clusteringcoëfficiënt) en vernieuwingsdynamiek (edge-gelijkenis, nieuwe/verdwijnende edges).

Belangrijkste Resultaten

• Modelprestaties: SciBERT behaalde de hoogste macro-F1-score (77,79%) voor relatie-identificatie, waarmee het zowel gefinetuned LLM's (bijv. Qwen-8B met 75,60%) als directe LLM-prompting versloeg. Hoewel LLM's met few-shot learning en CoT-redenering competitieve resultaten lieten zien (bijv. GPT die 74,63% F1 bereikte), overtroffen zij de gefinetuned domeinspecifieke PLM niet.
• Relatieverdeling: De Compare-relatie is dominant en beslaat 54,37% van alle geïdentificeerde semantische relaties. Synonym (12,54%) en Use (10,67%) volgen, terwijl Collaborate de minst frequente is (5,68%).
• Interactiepatronen:
  • Interacties met een hoge intensiteit weerspiegelen vaak technologische clustering (bijv. BERT–RoBERTa, GPT-3.5–GPT-4).
  • Compare-relaties omvatten zowel intra-categorie competitie (bijv. BERT vs. RoBERTa) als cross-paradigma vergelijkingen (bijv. BERT vs. ELMo).
  • Superclass-relaties onthullen hiërarchische structuren, met name in de afstamming van pre-trained modellen en hun varianten.
• Netwerkevolutie:
  • Alle relatienetwerken zijn sinds 2000 overgegaan van schaarste naar expansie.
  • Het Compare-netwerk vertoont de snelste groei in nodes en edges, de hoogste gemiddelde graad en de hoogste clusteringcoëfficiënt, wat wijst op een verdiepende en verdichtende competitieve ecosystem.
  • Netwerken vertonen een hoge vernieuwingsdynamiek (hoge instroom en uitstroom van edges), wat suggereert dat algoritme-relaties geen statische accumulaties zijn maar dynamische systemen. Het Compare-netwerk vertoont echter een grotere stabiliteit in edge-retentie vergeleken met de Use of Collaborate netwerken.

Betekenis en Claims
De auteurs stellen dat dit onderzoek een cruciale verschuiving biedt van geïsoleerde entiteitsidentificatie naar gestructureerde relatie-identificatie, wat een nieuw fundament biedt voor het verkennen van kennisorganisatie en evolutiepatronen in wetenschappelijk onderzoek. Door relatie-specifieke netwerken te construeren, onthult de studie dat het NLP-veld wordt gekenmerkt door een steeds intensiever ecosysteem van algoritmische competitie, grotendeels gedreven door prestatiebenchmarking en methode-substitutie.

Het artikel stelt dat de dominantie van de Compare-relatie niet alleen technologische competitie weerspiegelt, maar ook de evoluerende onderzoeksrituelen, schrijfwijzen en evaluatielogica van de academische gemeenschap (bijv. de noodzaak van baseline-vergelijkingen). De studie biedt databronnen en methodologische referenties voor het construeren van kennisgrafen tussen algoritme-entiteiten, hoewel de auteurs bescheiden opmerken dat er beperkingen zijn met betrekking tot de reikwijdte van de data (alleen NLP-conferenties) en de noodzaak voor verdere verfijning van entiteitsdisambiguatie en relatieclassificatiemethoden.