Mapping Scientific Literature with Large Language Models and Topic Modeling

Technische Samenvatting: Het mappen van wetenschappelijke literatuur met Large Language Models en Topic Modeling

Probleemstelling
Wetenschappelijke literatuur wordt steeds meer gefragmenteerd door disciplinaire grenzen, gespecialiseerde terminologie en schaarse trefwoordensystemen, wat het vermogen belemmert om de evoluerende structuur van de moderne wetenschap te vatten. Traditionele bibliometrische mappenmethoden (bijv. co-woordanalyse, citatienetwerken) vertrouwen vaak op subjectieve trefwoordselectie of lijden onder tekst-schaarsheid. Statistische topic modeling technieken, zoals Latent Dirichlet Allocation (LDA) en Non-Negative Matrix Factorization (NMF), worstelen met de complexiteit van wetenschappelijke teksten en produceren vaak onderwerpen die louter verzamelingen van woorden zijn ("the leaves in the tea"), die een gebrek aan semantische interpreteerbaarheid vertonen. Bovendien kampen nieuwere deep embedding methoden zoals BERTopic nog steeds met uitdagingen met betrekking tot interpreteerbaarheid en het bepalen van een optimaal aantal onderwerpen zonder grondwaarheid (ground truth). Bestaande Large Language Model (LLM) benaderingen voor topic modeling vertrouwen vaak op verouderde evaluatiemetrieken, willekeurige topic-seeding, of missen robuuste mechanismen voor het filteren van ruisende documenten en uitschieters.

Methodologie
De studie stelt een hybride, tweefasige classificatiepijplijn voor die ontworpen is om het thematische landschap van wetenschappelijk onderzoek autonoom in kaart te brengen zonder afhankelijk te zijn van vooraf gedefinieerde seed-topics. Het framework werd toegepast op een corpus van 20 jaar (2005–2024) bestaande uit 1.519 engineering-gerelateerde artikelen uit de Proceedings of the National Academy of Sciences (PNAS).

1. Primaire Abstract Classificatie (Unsupervised LLM-Refined Clustering):

   • Embedding en Clustering: Abstracten worden gecodeerd in dichte vectoren met behulp van text-embedding-3-small. Een iteratief K-means clusteringproces verdeelt de abstracten in $k$ clusters.
   • LLM Annotatie en Verfijning: Voor elk cluster genereert een LLM (GPT-4o-mini) een thematische titel en beschrijving.
   • Consensus Reclassificatie: Om hallucinaties en stochasticiteit te mitigeren, herclassificeert de LLM elke abstract vijf keer tegen de gegenereerde thema's. Er wordt een "3-uit-5" consensus-criterium toegepast; een abstract krijgt alleen een label als ten minste drie runs overeenstemming vertonen.
   • Overeenstemmingsscore en Recursieve Verfijning: Een overeenstemmingsscore ($A_j^t$) meet de afstemming tussen de oorspronkelijke K-means cluster en de LLM-reclassificatie. Clusters met een score onder een drempelwaarde ($\tau = 0,60$) worden als instabiel beschouwd. Hun constituerende abstracten worden meegenomen naar de volgende iteratie voor her-clustering.
   • Terminatie: De recursie gaat door totdat de resterende niet-geclassificeerde abstracten onder een terminatiedrempel ($\delta = 0,10$ van de initiële datasetgrootte) vallen. Deze resterende abstracten worden gegroepeerd in een "Overig" categorie.
   • Output: Een stabiele set van $n^*$ thematische categorieën met menselijk interpreteerbare labels.

2. Secundaire Full-Text Classificatie (Multi-Label Analyse):

   • Volledige PDF-bestanden worden geparst in segmenten (paragrafen/zinnen).
   • In tegen afwezigheid van de primaire fase, die één topic per abstract toewijst, classificeert de LLM elk tekstsegment tegen de stabiele set thema's.
   • Segmenten kunnen aan meerdere onderwerpen worden toegewezen, wat latente cross-topic verbindingen en methodologische toepassingen onthult die niet zichtbaar zijn in de abstract.

3. Evaluatie en Validatie:

   • Geautomatiseerde Metrieken: Coherentie (CV, UMass), Topic Diversiteit (TD) en Jaccard-gelijkenis werden berekend tegenover baselines (LDA, NMF, BERTopic, TopicGPT, PDDP).
   • Handmatige Validatie: Een blinde review van 20% van de abstracten (303 monsters) beoordeelde de Top-1 en Top-3 nauwkeurigheid tegenover menselijke oordelen.
   • NLP Analyse: Bag-of-Words (BoW) en class-based TF-IDF (c-TF-IDF) werden gebruikt om te verifiëren dat de door de LLM gegenereerde topics overeenkwamen met betekenisvolle linguïstische patronen en statistische distributies (bijv. de wet van Zipf).
   • Bipartiete Netwerk: Een graaf die abstract-niveau topics verbindt met segment-niveau classificaties werd geconstrueerd om cross-topic relaties te visualiseren en te vergelijken met het duale classificatiesysteem van PNAS.

Belangrijkste Bijdragen

• Een Hybride Framework: Introduceert een gestructureerd, iteratief protocol dat embedding-gebaseerde clustering combineert met LLM-gestuurde verfijning om onderwerpen te ontdekken zonder seed-inputs.
• Robuustheidsmechanismen: Implementeert een "3-uit-5" consensusregel en een expliciete "Overig" categorie om ruis en uitschieters te filteren, wat de instabiliteit aanpakt die vaak bij LLM-gebaseerde topic modeling voorkomt.
• Dual-Level Analyse: Gaat verder dan abstract-alleen analyse door gebruik te maken van full-text segmentatie om secundaire thema's en cross-topic relaties te identificeren, wat een meer genuanceerd beeld biedt van interdisciplinaire verbindingen.
• Validatie zonder Grondwaarheid: Demonstreert een methodologie voor het evalueren van topic modellen in de afwezigheid van ground-truth labels door het combineren van geautomatiseerde metrieken, handmatige validatie en traditionele NLP statistische controles.

Resultaten

• Topic Discovery: De pijplijn identificeerde 16 stabiele onderzoeksonderwerpen (bijv. Tissue Engineering, Diagnostic Technologies, Material Science) en een "Overig" categorie (9,8% van de abstracten).
• Prestaties: De voorgestelde methode behaalde de hoogste topic diversiteit (TD = 0,909) en de laagste Jaccard-gelijkenis (6,15 × 10⁻³) onder de vergeleken modellen, wat duidt op onderscheidende, niet-overlappende onderwerpen. Hoewel MALLET LDA hogere coherentiescores liet zien, bood de LLM-benadering superieure interpreteerbaarheid en diversiteit.
• Nauwkeurigheid: Handmatige validatie leverde een Top-1 nauwkeurigheid op van 52,5% en een Top-3 nauwkeurigheid van 75,9%. De hogere Top-3 score weerspiegelt de cross-topic aard van het corpus, waarbij veel artikelen meerdere subdomeinen beslaan.
• Cross-Topic Inzichten: De bipartiete netwerkanalyse toonde aan dat terwijl sommige onderwerpen (bijv. Material Science) zeer gespecialiseerd zijn (lage Lift), andere (bijv. Tissue Engineering, Synthetic Biology) fungeren als hubs met een hoge interdisciplinaire Lift, waardoor ze engineering verbinden met biologische wetenschappen. De full-text analyse toonde aan dat 75% van de tekstsegmenten aan meerdere onderwerpen werd toegewezen, wat de beperkingen van single-label abstract classificatie benadrukt.
• Linguïstische Consistentie: c-TF-IDF en BoW analyses bevestigden dat de door de LLM gegenereerde topics overeenkwamen met onderscheidende vocabulaire-distributies en de bekende statistische wetten volgden (wet van Zipf), wat suggereert dat het model betekenisvolle semantische structuren heeft ontdekt in plaats van willekeurige groeperingen.

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework een krachtig hulpmiddel biedt voor het mappen van wetenschap en het identificeren van opkomende cross-topic verbindingen zonder voorafgaande kennis van het schema van een tijdschrift. Het demonstreert dat LLM's onafhankelijk een groot deel van de duale classificatiestructuur van PNAS kunnen herstellen, terwijl ze ook latente relaties onthullen die niet zichtbaar zijn via trefwoorden of abstracts alleen.

De auteurs benadrukken dat deze aanpak dichte, gespecialiseerde jargon vertaalt naar een gedeelde, interpreteerbare thematische ruimte, wat potentieel kan helpen bij wetenschapscommunicatie en meta-onderzoek. De studie blijft echter bescheiden over de beperkingen van LLM's, waarbij de risico's op hallucinaties en de noodzaak voor gestructureerde waarborgen (zoals consensus voting en het schudden van inputs) worden erkend. De studie concludeert dat hoewel LLM's geen vervanging zijn voor menselijk oordeel, hun integratie met traditionele NLP-validatietechnieken een flexibele, robuuste aanpak biedt voor exploratieve analyse in domeinen die ontbreken aan formele ground-truth labels. Het framework wordt gepresenteerd als een dynamisch systeem dat in staat is om de opkomst en ondergang van onderzoeks paradigma's door de tijd heen te volgen, met name door het monitoren van de "Overig" categorie als trigger voor her-evaluatie.