💬 NLP

Mapping the Web of Science, a large-scale graph and text-based dataset with LLM embeddings

Dit artikel demonstreert de praktische bruikbaarheid van het combineren van LLM-embeddingmodellen met graafgebaseerde analyse om het semantische landschap van de Web of Science-dataset, die ongeveer 56 miljoen wetenschappelijke publicaties bevat, in kaart te brengen.

Oorspronkelijke auteurs: Tim Kunt, Annika Buchholz, Imene Khebouri, Thorsten Koch, Ida Litzel, Thi Huong Vu

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tim Kunt, Annika Buchholz, Imene Khebouri, Thorsten Koch, Ida Litzel, Thi Huong Vu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de hele wereld van wetenschappelijk onderzoek voor als een enorme, chaotische bibliotheek met meer dan 56 miljoen boeken (wetenschappelijke artikelen). Een tijd lang hebben bibliothecarissen geprobeerd deze bibliotheek te organiseren door te kijken naar de "voetnoten" en "citaties"—eigenlijk: wie wie citeert. Als Papier A Papier B citeert, zijn ze buren. Dit is als het organiseren van een bibliotheek door te kijken welke boeken vaak samen worden uitgeleend. Het is een nuttige kaart, maar het laat alleen de verbindingen tussen boeken zien, niet waar de boeken daadwerkelijk over gaan.

Dit artikel introduceert een nieuwe manier om deze bibliotheek in kaart te brengen met behulp van een "super-slimme lezer" (een AI genaamd een Large Language Model, of LLM). In plaats van alleen naar voetnoten te kijken, leest deze lezer de abstracts (samenvattingen) van de papers om de betekenis te begrijpen.

Hier is de onderverdeling van hun aanpak met behulp van eenvoudige analogieën:

1. De twee manieren om de wereld in kaart te brengen

De auteurs stellen dat we twee verschillende manieren om de wetenschap te begrijpen moeten combineren:

De Graaf (Het web van verbindingen): Dit is de oude manier. Het kijkt naar de structuur: "Wie citeert wie?" Dit is als het tekenen van een kaart op basis van welke steden door wegen met elkaar verbonden zijn.
De Tekst (De betekenis): Dit is de nieuwe manier. Het gebruikt AI om de inhoud te lezen en de ideeën te begrijpen. Dit is als het kijken naar een kaart op basis van de taal die in elke stad wordt gesproken.

Het artikel suggereert dat hoewel de "wegenkaart" (citaties) goed is, de "taalkaart" (AI-lezen) de ware vorm van het landschap kan onthullen, door ons te laten zien hoe ideeën zich natuurlijk groeperen op basis van wat ze daadwerkelijk zeggen.

2. Woorden omzetten in coördinaten

Om dit werkend te krijgen, gebruikten de onderzoekers een hulpmiddel dat elke zin omzet in een reeks getallen (een vector).

De analogie: Stel je voor dat elk wetenschappelijk artikel een druppel water is. De AI laat elke druppel in een gigantische, onzichtbare 3D- (of zelfs 1.000-dimensionale) wereldbol vallen.
Het resultaat: Papers over hetzelfde onderwerp (zoals "Quantumfysica") zweven van nature dicht bij elkaar, waardoor ze een cluster vormen. Papers over "Oudheidgeschiedenis" zweven ver weg.
De vorm: De auteurs beschrijven dit als een "puntenwolk" die lijkt op continenten op een wereldbol. Als je een kaart van deze "continenten" zou tekenen, zou je duidelijke landmassa's zien voor Natuurwetenschappen, Sociale Wetenschappen en Geesteswetenschappen.

3. De kaart testen

Het team heeft niet alleen geraden; ze hebben getest of deze nieuwe "betekeniskaart" overeenkomt met de oude "citatiekaart".

De correlatie: Ze vonden een positieve link. Over het algemeen, als twee papers vaak samen worden geciteerd (dichtbij op de wegenkaart), praten ze ook over vergelijkbare zaken (dichtbij op de taalkaart).
De verrassing: De link was echter niet perfect (ongeveer 33% tot 45% correlatie). Dit is goed nieuws! Het betekent dat de twee kaarten verschillende dingen zien.
- Interdisciplinaire papers: Sommige papers gaan over twee zeer verschillende onderwerpen. Op de "wegenkaart" kunnen ze ver uit elkaar liggen omdat ze niet veel citaties delen. Maar op de "taalkaart" ziet de AI de verbinding omdat de AI de woorden leest.
- De hybride aanpak: De auteurs stellen voor dat de beste kaart een combinatie van beide is. Door zowel de "weg"-data als de "taal"-data te gebruiken, krijg je een nauwkeuriger beeld van de wetenschappelijke wereld.

4. De "zachte" grenzen

Een van de meest interessante bevindingen is dat je geen harde lijnen tussen wetenschappelijke velden kunt trekken.

De analogie: Stel je voor dat de continenten op onze wereldbol geen scherpe grenzen hebben zoals een politieke kaart. In plaats daarvan hebben ze vage randen waar het land langzaam in water overgaat.
De realiteit: Een paper kan voor 60% uit "Biologie" bestaan en voor 40% uit "Chemie". De auteurs ontdekten dat omdat wetenschappers vaak onderwerpen mengen, de beste manier om een paper te classificeren niet is om te zeggen "Dit is Biologie", maar om te zeggen "Dit is vooral Biologie, maar ook een beetje Chemie".

Samenvatting

Kortom, dit artikel gaat over het bouwen van een nieuwe, gigantische kaart van de menselijke kennis. In plaats van alleen te tellen hoe vaak wetenschappers elkaar citeren, hebben ze AI gebruikt om de werkelijke tekst van 56 miljoen papers te lezen. Ze ontdekten dat dit een prachtig, zelforganiserend landschap creëert waar ideeën zich natuurlijk rondom elkaar groeperen. Ze bewezen dat het combineren van deze "lees"-kaart met de traditionele "citatie"-kaart ons een veel helderder en genuanceerder beeld geeft van hoe de wetenschap is gestructureerd.

Noot: Het artikel richt zich strikt op het creëren en analyseren van deze kaart van bestaande wetenschappelijke data. Het beweert niet deze methode te gebruiken voor het voorspellen van toekomstige medische genezingen, klinische behandelingen of specifieke toepassingen in de echte wereld buiten de analyse van de data zelf.

Technische Samenvatting: Het in kaart brengen van de Web of Science met LLM-embeddings

Probleemstelling

Het vakgebied van de scientometrie staat voor een fundamentele uitdaging bij het categoriseren van wetenschappen en het organiseren van kennissystemen. Traditionele benaderingen vertrouwen zwaar op citatiegrafen, waarbij relaties worden gedefinieerd door referenties en co-citaties. Hoewel effectief voor clustering, zijn deze graafgebaseerde methoden verschillend van Natural Language Processing (NLP)-technieken die de semantische inhoud van individuele teksten analyseren. Er bestaat een aanzienlijke kloof in het integreren van deze twee onafhankelijke methodologieën: grafentheorie abstraheert relaties tussen media, terwijl NLP de tekst zelf analyseert. Wiskundig gezien hanteren deze benaderingen incompatibele methoden, en pogingen om tussen hen te vertalen resulteren vaak in aanzienlijk informatieverlies. Bovendien zijn bestaande classificatieschema's (zoals gebruikt in Web of Science) vaak top-down en missen zij de neutraliteit van bottom-up, datagedreven benaderingen.

Methodologie

De auteurs stellen een grootschalig onderzoek voor naar de Web of Science (WoS) dataset met behulp van Large Language Model (LLM) embeddings om een tekstgebaseerde kaart van de wetenschap te creëren, die vervolgens wordt vergeleken met graafgebaseerde structuren.

Datapreparatie

Dataset: De studie maakt gebruik van de Web of Science-collectie tot 2024, bestaande uit ongeveer 56,1 miljoen records die verbonden zijn door bijna 988 miljoen citaties.
Steekproef: Een willekeurige substeekproef van 48.076 records werd geselecteerd (waarschijnlijkheid $10^{-3}$ ). Na voorbewerking (het verwijderen van records zonder publicatiejaren, auteurs, referenties, tijdschriften, unieke identificatoren of abstracts onder de 100 tekens) bevatte de uiteindelijke werkset 41.901 records.
Hardware: Experimenten werden uitgevoerd op een NVIDIA Grace Hopper-architectuur, hoewel de auteurs opmerken dat de methoden haalbaar zijn op standaard hardware.

Embedding-strategie

Modellen: Twee open-source LLM-embeddingmodellen werden toegepast via het ollama framework:
1. mxbai-embed-large:335m (1024 dimensies).
2. nomic-embed-text:v1.5 (768 dimensies).
Rationale: Wetenschappelijke abstracts werden gekozen als de inputtekst omdat ze beschrijvend, formulematig en homogeen zijn en relevante trefwoorden bevatten, wat ze geschikt maakt voor LLM-embedding zonder de linguïstische complexiteit die in volledige teksten wordt gevonden.
Metriek: Genormaliseerde vectoren werden gegenereerd, waarbij cosinus-gelijkenis werd gebruikt als de afstandmetriek. De auteurs conceptualiseren de resulterende puntenwolk als liggend op een $n$ -sfeer, waarbij clustering staat voor het "tekenen van een kaart" op deze bol.

Analytisch Kader

Onderwerpscentra: Het middelpunt voor elk van de 255 unieke WoS-onderwerpen werd berekend als het gewogen gemiddelde van de embedding-vectoren voor records binnen dat onderwerp (gewogen door de inverse van het totaal aantal onderwerpen per record).
Afstandscorrelatie: Paarsgewijze afstanden in de embeddingruimte werden vergeleken met de kortste-pad-afstanden in de citatiegraaf om te testen op een positieve correlatie.
Dimensiereductie: Principal Component Analysis (PCA) werd uitgevoerd om de verklaarde variantie over de dimensies te evalueren.
Hybride Potentieel: De studie onderzoekt de interactie tussen "interdisciplinaire" records (hoge variantie in de embeddingruimte, lage graafafstand) en "afstandelijke onderwerp-gelijkenis" (lage graafafstand, hoge embedding-nabijheid).

Belangrijkste Resultaten

Kenmerken van de Embeddingruimte

Volledige Dimensionaliteit: PCA-analyse toonde aan dat beide embeddingmodellen alle dimensies van hun vectorruimtes vullen, zelfs met homogene tekstdata. De auteurs concluderen dat dimensionaliteitsreductie ten koste kan gaan van granulariteit en niet noodzakelijkerwijs gunstig is voor daaropvolgende clustering.
Correlatie met Citaties: Een positieve correlatie werd waargenomen tussen de afstand in de embeddingruimte en de afstand in de citatiegraaf.
- Pearson Correlatiecoëfficiënt (PCC): 0,455 voor mxbai-embed-large:335m.
- PCC: 0,337 voor nomic-embed-text:v1.5.
- De correlatie is sterker voor nabije paren en neemt af voor verre paren.

De Kaart van de Wetenschappen

Structurele Vorming: De embeddingruimte onthult een zelfgestructureerd landschap waarbij natuurwetenschappen, sociale wetenschappen en geesteswetenschappen grote, onderling verbonden "wolken" vormen, met hun respectieve takken die subclusters vormen.
Onderwerpverdeling: De distributie van records varieert per onderwerp, sterk beïnvloed door de interdisciplinaire aard.
Zachte Classificatie: Vanwege de multi-labeling (records die tot meerdere onderwerpen behoren) en de waargenomen continue distributies, stellen de auteurs dat wetenschappelijke classificatie niet rigide kan zijn. In plaats daarvan moet het "zacht" zijn, waarbij waarschijnlijkheidsverdelingen over meerdere onderwerpen worden toegewezen in plaats van discrete categorieën.

Betekenis en Claims

Het artikel beweert niet de classificatieproblematiek definitief te hebben opgelost, maar demonstreert de praktiseerbaarheid en het potentieel van het gebruik van LLM-embeddings voor grootschalige scientometrische analyse.

Complementariteit: De primaire betekenis ligt in het aantonen dat tekstgebaseerde embeddings en graafgebaseerde methoden niet wederzijds uitsluitend zijn, maar gecombineerd kunnen worden. De auteurs stellen dat omdat de twee methoden methodologisch verschillend zijn, hun respectieve uitschieters waarschijnlijk onafhankelijk zijn.
Hybride Toekomst: Het artikel postuleert dat een hybride benadering — het combineren van embedding-afstand en graafafstand — de tekortkomingen van elke individuele methode kan compenseren. Deze combinatie belooft een verbeterde nauwkeurigheid in onderwerpclassificatie en datasetclustering.
Fundament: Dit werk dient als fundament voor het voorspellen en classificeren van de locatie van teksten binnen een semantisch landschap, waarbij een "bottom-up" alternatief wordt geboden voor bestaande, potentieel bevooroordeelde taxonomie-systemen.

De auteurs geven expliciet aan dat toekomstig werk zal onderzoeken hoe de specifieke implementatie van deze gecombineerde maatstaf voor featureselectie kan worden ingezet om een hogere nauwkeurigheid te bereiken, in plaats van een definitief, superieur classificatiesysteem te presenteren in deze studie.