Technische Samenvatting: Het inzetten van Large Language Models voor het genereren van onderwerptaxonomieën voor onderzoek

Probleemstelling

Ontologieën en taxonomieën zijn fundamenteel voor het organiseren van wetenschappelijke kennis en faciliteren de classificatie, verspreiding en ontsluiting van onderzoeksoutput (bijv. artikelen, patenten, datasets). De creatie en het onderhoud van deze Kennisorganisatiesystemen (KOSs) zijn echter kostbaar, tijdrovend en leunen zwaar op de gecoördineerde inspanning van domeinexperts. Bijgevolg lijden bestaande ontologieën vaak aan een ongelijke disciplinaire dekking, zwakke interdisciplinaire connectiviteit en incidentele updates die niet voldoen aan de snelle wetenschappelijke vooruitgang. Hoewel eerdere pogingen om de generatie van ontologieën te automatiseren gebruikmaakten van linguïstische tools en machine learning, worstelen zij met het produceren van grootschalige, fijnmazige representaties vanwege de inherente complexiteit en specialisatie van onderzoeksdomeinen. Deze studie adresseert de kloof in het systematisch evalueren van het vermogen van Large Language Models (LLMs) om semantische relaties tussen onderzoeksonderwerpen te identificeren, een kerntaak bij het construeren en verfijnen van academische ontologieën.

Methodologie

De studie onderzoekt de prestaties van 12 open-weight LLMs (variërend van 3 miljard tot 27 miljard parameters) over drie verschillende optimalisatiestrategieën:

1. Zero-Shot Learning (ZSL): Het evalueren van modellen zonder voorafgaande training op de specifieke taak met behulp van twee prompting-strategieën:
   • Standard Prompting: Een vooraf gedefinieerd sjabloon dat de taak en het outputformaat definieert.
   • Bidirectional Chain-of-Thought (CoT): Een tweestaps prompting-techniek waarbij het model eerst onderwerpen definieert en een zin construeert, en vervolgens de relatie classificeert, waarbij het proces wordt herhaald met verwisselde positie van de onderwerpen om discrepanties op te lossen.
2. Fine-Tuning: Het aanpassen van modellen met behulp van Low-Rank Adaptation (LoRA) op een nieuwe dataset.
3. Evaluatiescenario's: De studie hanteert een modulair experimenteel ontwerp dat de volgende zaken test:
   • Disciplinespecifiek: Training en testen binnen hetzelfde domein.
   • Cross-discipline: Training op één domein en testen op een ander.
   • Multidisciplinair: Training en testen op een gecombineerde dataset.

De PEM-Rel-8K Dataset

Ter ondersteuning van deze analyse hebben de auteurs PEM-Rel-8K geïntroduceerd, een nieuwe benchmark die meer dan 8.000 semantische relaties bevat, geëxtraheerd uit drie belangrijke taxonomieën:

• IEEE Thesaurus: Engineering en Computer Science (~3.200 relaties).
• PhySH (Physics Subject Headings): Natuurkunde (~875 relaties).
• MeSH (Medical Subject Headings): Biomedische wetenschappen (~4.000 relaties).

De dataset categoriseert relaties in vier wederzijds uitsluitende klassen:

• Broader (Breder): Onderwerp A omvat Onderwerp B.
• Narrower (Specifieker): Onderwerp A wordt omvat door Onderwerp B.
• Same-as (Gelijk aan): Onderwerpen zijn semantisch equivalent.
• Other (Overig): Er bestaat geen semantische relatie.

De constructie van de dataset omvatte handmatige expertcontrole, met name voor het identificeren van "same-as" relaties, die niet altijd expliciet gedefinieerd zijn in bron-taxonomieën (bijv. het onderscheid tussen synoniemen en alternatieve labels).

Belangrijkste Bijdragen

1. Uitgebreide LLM-analyse: Een systematische evaluatie van 12 LLMs over drie wetenschappelijke disciplines (Engineering, Natuurkunde, Biomedische wetenschappen) om semantische relaties te identificeren.
2. Methodologische Vergelijking: Een rigoureuze vergelijking van Zero-Shot, Chain-of-Thought en Fine-Tuning benaderingen voor de generatie van ontologieën.
3. Cross-Discipline Transferability Studie: Een onderzoek naar de vraag of modellen die getraind zijn op één discipline kunnen generaliseren naar andere, wat het potentieel voor verenigde multidisciplinaire modellen onthult.
4. PEM-Rel-8K Benchmark: De introductie en publieke release van een modulaire, multidisciplinaire dataset die specif specifiek is ontworpen voor het trainen en evalueren van modellen op de identificatie van relaties tussen onderzoeksonderwerpen.
5. Open Source Release: Het beschikbaar stellen van de volledige codebase, datasets en prompt-templates om reproduceerbaarheid te waarborgen.

Resultaten

De experimenten leverden de volgende belangrijke bevindingen op:

• Superioriteit van Fine-Tuning: Fine-tuning van LLMs op PEM-Rel-8K presteerde significant beter dan zowel Zero-Shot als Chain-of-Thought prompting. Het best presterende model, gemma-2-27b-it, behaalde een F1-score van 93,5% op de multidisciplinaire testset.
• Prestaties van CoT: Hoewel Bidirectional CoT beter presteerde dan standaard prompting in Zero-Shot settings (verbetering van de F1 met ~5,1%), bleef het nog steeds aanzienlijk achter bij de gefinetunede modellen.
• Cross-Discipline Generalisatie: Modellen die gefinetuned zijn op een enkele discipline vertoonden een sterke transfereerbaarheid. Zo behaalde een model getraind op natuurkundige data competitieve resultaten bij tests op biomedische data. Cruciaal was dat een model gefinetuned op de gecombineerde PEM-Rel-8K dataset een gemiddelde F1-score over de drie disciplines behaalde die slechts 1,2% lager was dan die van modellen die exclusief op disciplinespecifieke datasets zijn gefinetuned.
• Model Variabiliteit: Hoewel gemma-27b de beste overall performer was, vertoonden andere modellen zoals phi-4 en mistral-22b ook sterke capaciteiten, waarbij de prestaties varieerden per discipline (bijv. phi-4 presteerde het best op MeSH, terwijl gemma-9b uitblonk op PhySH).
• Foutanalyse: De meest uitdagende relatie om te classificeren was "same-as" (gemiddelde F1: 88,5%), die vaak werd verward met hiërarchische relaties door lexicale overlap en inconsistente definities binnen taxonomieën. De categorie "other" (niet-gerelateerde paren) was het makkelijkst te identificeren.

Betekenis en Claims

Het artikel claimt dat deze studie de eerste grootschalige onderzoek is naar het gebruik van LLMs voor het identificeren van semantische relaties tussen onderzoeksonderwerpen over een breed scala aan wetenschappelijke disciplines. De primaire betekenis ligt in het aantonen dat het finetunen van LLMs op een gecureerde, multidisciplinaire dataset robuuste modellen kan produceren die in staat zijn om te generaliseren over verschillende wetenschappelijke velden.

De auteurs stellen dat deze aanpak een levensvatbaar pad biedt om de fragmentatie en ongelijke dekking van huidige onderzoeksontologieën te overwinnen. Door aan te tonen dat een enkel model effectief kan omgaan met engineering, natuurkunde en biomedische wetenschappen met minimaal prestatieverlies ten opzichte van gespecialiseerde modellen, suggereert de studie een verschuiving weg van de kostbare, handmatige curatie van afzonderlijke ontologieën naar geautomatiseerde, verenigde kennisorganisatiesystemen. De resultaten wijzen erop dat LLMs de drempel voor het creëren en onderhouden van hoogwaardige, actuele ontologieën aanzienlijk kunnen verlagen, waardoor de vindbaarheid en analyse van wetenschappelijke literatuur wordt verbeteren.

De auteurs blijven bescheiden over de huidige beperkingen en merken op dat hoewel LLMs krachtige ondersteunende tools zijn, ze nog steeds uitdagingen kennen op het gebied van consistentie en nauwkeurigheid die menselijk toezicht kunnen vereisen, met name voor complexe semantische relaties zoals "same-as". Toekomstig werk wordt voorgesteld om uit te breiden naar sociale wetenschappen en geesteswetenschappen en om systemen te ontwikkelen voor ontologie-matching en -evolutie.