Exploring Academic Influence of Algorithms by Co-occurrence Network Based on Full-text of Academic Papers

Technische Samenvatting: Onderzoek naar de Academische Invloed van Algoritmen op basis van een Co-occurrence Netwerk gebaseerd op de Volledige Tekst van Academische Artikelen

Probleemstelling
In het tijdperk van kunstmatige intelligentie zijn algoritmen cruciale onderzoeksobjecten. Hoewel bestaande methoden de academische invloed van algoritmen evalueren, vertrouwen zij voornamelijk op individuele metrieken zoals de frequentie van vermeldingen of citaties. Deze benaderingen behandelen algoritmen als geïsoleerde entiteiten en negeren de collectieve impact die voortvloeit uit hun onderlinge verbondenheid binnen een onderzoekscommunity. Bijgevolg slagen huidige evaluaties er niet in om de structurele rollen te vatten die algoritmen binnen clusters spelen, zoals hun vermogen om verschillende tijdperken te overbruggen of te bemiddelen tussen afzonderlijke algoritmische modules. Er is een gebrek aan onderzoek dat analyseert of algoritmen in een specifiek veld samen worden genoemd, of de onderlinge verbondenheid, scheiding en statusverschillen tussen individuele algoritmen binnen een community verkent.

Methodologie
De studie construeert een co-occurrence netwerk van algoritmische entiteiten binnen het domein van Natural Language Processing (NLP) met behulp van de volledige tekstinhoud van wetenschappelijke artikelen van de Annual Meeting of the Association for Computational Linguistics (ACL) over de periode 1979 tot 2020.

1. Dataverzameling en Entiteitsextractie:

   • Corpus: De studie maakt gebruik van een trainingscorpus van 4.604 ACL-artikelen (1979–2015) met handmatig geannoteerde algoritme-zinnen en een ruw corpus van 2.793 artikelen (2016–2020) in PDF-formaat.
   • Extractiemodel: De taak wordt geframed als Named Entity Recognition (NER). Drie deep learning modellen (BiLSTM+CRF, BERT+CRF, en BERT+BiLSTM+CRF) werden getraind en vergeleken. Het BERT+BiLSTM+CRF model behaalde de hoogste F1-score (0,9642) en werd geselecteerd voor het extraheren van kandidaat-algoritme-entiteiten.
   • Normalisatie: Een rigoureus normalisatieproces werd toegepast om variaties in naamgeving (bijv. "SVM" versus "Support Vector Machine") en ambiguïteit (bijv. "BP" verwijzend naar back-propagation versus belief propagation) te verwerken. Dit omvatte edit distance-algoritmen voor volledige namen en regelgebaseerde/handmatige controle voor afkortingen, wat resulteerde in een definitieve woordenlijst van 3.841 unieke algoritme-entiteiten.

2. Netwerkconstructie:

   • Nodes en Edges: Algoritmen dienen als nodes (knopen). Een edge (verbinding) wordt gevestigd tussen twee nodes als zij in hetzelfde artikel voorkomen. De gewichten van de edges worden berekend op basis van het aantal co-occurrente artikelen, genormaliseerd door het totaal aantal dat jaar gepubliceerde ACL-artikelen.
   • Netwerktypen: Drie netwerkconfiguraties werden gebouwd: (1) een Totaal Netwerk (alle artikelen), (2) Cumulatieve Netwerken (geaggregeerd van 1979 tot elk specifiek jaar), en (3) Jaarlijkse Netwerken (artikelen gepubliceerd in een enkel jaar).

3. Evaluatie van Invloed:

   • De studie gebruikt vier netwerkcentraliteitsmetrieken om academische invloed vanuit verschillende perspectieven te beoordelen:
     • Populariteit: Gemeten door Degree Centrality (DC), wat de mate van directe verbindingen weerspiegelt.
     • Controle: Gemeten door Betweenness Centrality (BC), wat de mate aangeeft waarin een algoritme kan fungeren als een brug tussen niet-verbonden nodes.
     • Centrale Positie: Gemeten door Closeness Centrality (CC), wat de efficiëntie van informatieverspreiding naar andere nodes weerspiegelt.
     • Balans: Gemeten door Adjacency Information Entropy (AC), waarbij de uniformiteit van de invloed van een algoritme over zijn buren wordt beoordeeld.

Belangrijkste Resultaten

• Netwerktopologie: Het algoritme co-occurrence netwerk vertoont kenmerken van een complex netwerk, specifelijk een "small world"-structuur met een hoge clusteringcoëfficiënt (82,5%), een grote gigantische component (99,2%) en een power-law graadverdeling (scale-free). Dit geeft aan dat een klein aantal algoritmen de meerderheid van de verbindingen bezit.
• Evolutie van Connectiviteit: Over vier decennia evolueerde het netwerk van een losse structuur naar een strak verbonden small world. De gemiddelde graad nam significant toe, waarbij 2001 een keerpunt vormde in de groeicijfers. De gemiddelde afstand tussen nodes piekte in 1994 en nam daarna af, wat wijst op verbeterde communicatie-efficiëntie.
• Hoog-invloedrijke Algoritmen:
  • Totaal: Algoritmen die hoog scoren op meerdere centraliteitsmetrieken delen gemeenschappelijke kenmerken: ze zijn klassiek, presteren goed en ontstaan vaak op het snijvlak van verschillende tijdperken. Long Short-Term Memory (LSTM) (Neurale Netwerken), Support Vector Machine (SVM) (Classificatie), Adaptive Moment (Adam) (Optimalisatie) en Conditional Random Field (CRF) (Probabilistische Grafische Modellen) kwamen naar voren als top-influencers in hun respectievelijke categorieën.
  • Temporele Verschuivingen: De dominante algoritmen verschoven in de loop der tijd:
    • 1979–1993: Grammatica-gebaseerde algoritmen (bijv. ATN, CFG, TAG) waren centraal.
    • 1994–2015: Statistische machine learning algoritmen (bijv. HMM, MaxEnt, SVM) domineerden.
    • 2016–2019: Deep learning modellen, in het bijzonder LSTM, vormden de kern.
    • 2020: Het pre-training model BERT steeg snel naar de top positie, wat een nieuw tijdperk signaleert.
• Patronen van Invlootevolutie: De studie identificeert een levenscyclus voor algoritmische invloed. Naarmate de invloed van een algoritme afneemt, verliest het doorgaans eerst zijn kernpositie (Betweenness Centrality), gevolgd door een afname van de gebalanceerde invloed (Adjacency Information Entropy), en uiteindelijk een vermindering van het aantal verbonden buren (Degree Centrality).

Betekenis en Bijdragen
Het artikel claimt de eerste grootschalige analyse van algoritmische netwerken te zijn gebaseerd op volledige tekstinhoud, en biedt een methodologie die verder gaat dan eenvoudige frequentietelling om invloed te evalueren via netwerktopologie.

• Methodologische Innovatie: Door gebruik te maken van volledige tekstgegevens in plaats van metadata, legt de studie een completer landschap van algoritmisch gebruik en relaties vast.
• Nieuw Perspectief op Invloed: De resultaten suggereren dat traditionele, op frequentie gebaseerde ranglijsten de structurele belangrijkheid van "brug"-algoritmen kunnen missen. Netwerkgebaseerde metrieken onthullen dat algoritmen die fungeren als transitielinks tussen verschillende tijdperken of subvelden (bijv. SVM die de brug slaat tussen statistische en deep learning) unieke, hoogwaardige rollen hebben die frequentie alleen niet kan kwantificeren.
• Fundament voor Toekomstig Onderzoek: Het geconstrueerde netwerk dient als hoeksteen voor het bouwen van veelzijdige netwerken die algoritmen, wetenschappers en taken met elkaar verbinden. Dit faciliteert toekomstig onderzoek naar wetenschappelijke rollen, semantische relaties en de ontwikkeling van algoritme-aanbevelings- en ophaaldiensten.

Beperkingen
De auteurs erkennen dat de studie beperkt is tot het NLP-domein (ACL-artikelen), en dat de resultaten mogelijk niet generaliseerbaar zijn naar andere velden met andere citatie- of vermeldingspraktijken. Daarnaast is de analyse gebaseerd op co-occurrence op artikelniveau, waardoor de granulariteit op zinsniveau ontbreekt, en reflecteert het netwerk co-occurrence relaties zonder expliciet semantische nuances zoals samenwerking of competitie te modelleren.