💬 NLP

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models

Dit artikel introduceert ScienceMeter, een raamwerk voor het evalueren van wetenschappelijke kennisupdates in Large Language Models via drie metrieken — preservatie, acquisitie en projectie — waarbij wordt onthuld dat huidige update-methoden moeite hebben met het behouden van bestaande kennis terwijl ze effectief nieuwe feiten leren en toekomstige wetenschappelijke ontwikkelingen anticiperen.

Oorspronkelijke auteurs: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Gepubliceerd 2026-07-22✓ Author reviewed ⓘ

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robot-bibliothecaris hebt die bijna elk boek heeft gelezen dat ooit is geschreven tot een bepaald jaar. Deze bibliothecaris is geweldig in het beantwoorden van vragen over geschiedenis, wetenschap en popcultuur uit dat tijdperk. Maar er is een addertje onder het gras: de wereld staat niet stil. Elke dag worden er nieuwe wetenschappelijke artikelen gepubliceerd die nieuwe ontdekkingen onthullen die de bibliothecaris nog niet heeft gezien. Als je deze robot naar een doorbraak vraagt die gisteren heeft plaatsgevonden, kan hij je met vol vertrouwen iets verkeerds vertellen, of hij kan gewoon zeggen: "Ik weet het niet", omdat zijn brein bevroren is in het verleden. Dit is het probleem van "verouderde kennis" voor Kunstmatige Intelligentie. Wetenschappers proberen uit te vogelen hoe ze deze robots nieuwe informatie kunnen voeren zonder dat ze vergeten wat ze al wisten of dat ze wilde, onjuiste feiten gaan verzinnen (hallucineren). Het is alsof je probeert een student een nieuw hoofdstuk in een tekstboek te leren zonder dat hij de vorige hoofdstukken vergeet of zijn eigen nepfeiten verzint om de gaten op te vullen.

Maak kennis met ScienceMeter, een nieuw framework ontwikkeld door onderzoekers aan de University of Washington om precies te testen hoe goed we deze AI-hersenen kunnen bijwerken met verse wetenschappelijke kennis. Zie de onderzoekers als "kennismechanici" die een hoogwaardige motor proberen af te stemmen. Ze vroegen niet alleen: "Heeft de robot de nieuwe dingen geleerd?" In plaats daarvan bouwden ze een drieledige stresstest om te zien of de robot de volgende drie zaken kon doen:

De oude dingen onthouden (Preservatie): Is het de basis vergeet die het jaren geleden heeft geleerd?
De nieuwe dingen leren (Acquisitie): Heeft het de nieuwe artikelen die het net te zien kreeg daadwerkelijk begrepen?
De toekomstige dingen raden (Projectie): Kon het de nieuw geleerde informatie gebruiken om een slimme gok te doen over een ontdekking die nog niet heeft plaatsgevonden?

Om deze test uit te voeren, creëerden ze een enorme dataset die tien verschillende wetenschappelijke velden beslaat, van informatica tot geneeskunde. Ze behandelden wetenschappelijke kennis als een tijdlijn: "Verleden" papers (wat de robot al wist), "Nieuwe" papers (wat ze de robot probeerden te leren) en "Toekomstige" papers (wat ze hoopten te voorspellen). Vervolgens probeerden ze vijf verschillende methoden om het brein van de robot bij te werken, variërend van simpelweg de nieuwe papers lezen tijdens een gesprek (inferentie) tot het daadwerkelijk hertrainen van de robot met de nieuwe data (training).

De resultaten waren een broodnodige reality check. Zelfs de beste methoden hadden moeite om alle drie de zaken tegelijkertijd te doen. De best presterende update-methode slaagde erin om 85,9% van de oude kennis veilig te houden, leerde 71,7% van de nieuwe kennis succesvol, maar kon slechts 37,7% van de toekomstige kennis projecteren. Met andere woorden: de robot was redelijk goed in het onthouden van het verleden, redelijk goed in het leren van het heden, maar nog steeds erg wankel in het voorspellen van de toekomst.

De studie toonde ook aan dat de omvang van de robot ertoe deed. Grotere, krachtigere modellen waren verrassend goed in het leren van nieuwe dingen door ze simpelweg tijdens een gesprek te lezen (inferentie), bijna als een geniale student die een nieuw onderwerp kan leren door slechts één keer een tekstboek te lezen. Echter, kleinere modellen moesten vanaf nul worden "hertraind" om nieuwe zaken effectief te leren; het simpelweg tonen van de nieuwe informatie was voor hen niet genoeg.

Misschien wel de meest interessante bevinding was dat het type wetenschap uitmaakte. In velden waar kennis langzaam verandert, zoals politieke wetenschappen, deden de robots het erg goed bij het onthouden en voorspellen. Maar in snel bewegende velden zoals materiaalkunde, waar constant nieuwe ontdekkingen worden gedaan, raakten de robots veel sneller in de war. De onderzoekers suggereren dat hoe volatieler een veld is, hoe moeilijker het voor een AI is om de kennis up-to-date te houden zonder de boel door elkaar te halen.

Uiteindelijk concludeert het artikel dat hoewel we beter worden in het bijwerken van AI, we de code nog niet hebben gekraakt. Er is geen magische knop waarmee een AI direct nieuwe wetenschap kan leren, al zijn oude feiten kan behouden en de toekomst kan voorspellen op hetzelfde moment. De onderzoekers stellen dat het ontwikkelen van een methode die echt deze drie doelen kan balanceren, een van de grootste uitdagingen is om AI een betrouwbare partner te maken voor echte wetenschappelijke ontdekkingen. Ze waarschuwen dat als we dit niet oplossen, onze AI-tools zelfverzekerde experts in de wetenschap van gisteren kunnen worden, terwijl ze totaal onwetend zijn over de doorbraken van morgen.

Technische Samenvatting: SCIENCEMETER

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker ingezet om wetenschappelijk onderzoek te ondersteunen, maar hun statische pre-training natuur zorgt ervoor dat hun wetenschappelijke kennis snel veroudert door het snelle tempo van wetenschappelijke vooruitgang. Hoewel er generieke update-strategieën bestaan (bijv. continue pre-training, instruction tuning, RAG), blijft het onduidelijk of deze methoden effectief kunnen voldoen aan de complexe eisen van de evolutie van wetenschappelijke kennis. Specifiek moeten effectieve updates meer doen dan alleen nieuwe informatie injecteren; ze moeten bestaande kennis behouden, nieuwe bevindingen integreren zonder vertekening, en in staat zijn tot generalisatie om te redeneren over toekomstige of onontdekte wetenschappelijke claims. Huidige evaluatiekaders richten zich vaak op generieke feitelijke retentie of eenvoudige kennisinjectie, waardoor ze de nuances van wetenschappelijke redenering, vertrouwen en het vermogen om toekomstige vooruitgang te projecteren, niet kunnen vatten.

Methodologie: Het SCIENCEMETER-framework

De auteurs introduceren SCIENCEMETER, een uitgebreid framework ontworpen om wetenschappelijke kennisupdates te evalueren over drie temporele dimensies: Verleden (behoud), Heden (verwerving) en Toekomst (projectie).

1. Dataset Constructie

Het framework maakt gebruik van een gecureerde dataset die tien snel evoluerende wetenschappelijke domeinen beslaat (Informatica, Geneeskunde, Biologie, Materiaalkunde, Psychologie, Bedrijfskunde, Politicologie, Milieuwetenschappen, Landbouw- en Voedselwetenschappen, en Onderwijswetenschappen).

Paper Collectie: Voor elk domein worden 1.000 papers via Semantic Scholar opgehaald. De papers worden chronologisch gecategoriseerd in:
- Prior ( $P_{prior}$ ): Gepubliceerd vóór de trainingsstop van het model.
- New ( $P_{new}$ ): Gepubliceerd na de stop, maar vóór een "recente" stop.
- Future ( $P_{future}$ ): Gepubliceerd na de "recente" stop, dienend als een proxy voor kennis die het model nog niet heeft gezien.
Synthetische Claim Generatie: Voor elke paper genereert het framework atomaire wetenschappelijke claims (verifieerbare beweringen over een enkel aspect van een entiteit of proces). Met behulp van GPT-4O genereert het systeem:
- SUPPORT claims: Uniek ondersteund door de specifieke paper.
- REFUTE claims: Relevant voor het onderwerp, maar niet ondersteund door de paper.
- Evaluatie door experts (PhD-studenten) bevestigde dat ~90,2% van de gegenereerde claims strikt aan deze regels voldoet.

2. Evaluatietaken

Wetenschappelijke kennis wordt geëvalueerd via twee taken, waarbij zowel de feitelijke nauwkeurigheid als het vertrouwen van het model worden beoordeeld:

Claim Oordeel (Claim Judgment): Het model verifieert of een claim wordt ondersteund of weerlegd door een gegeven paper (voor Prior/New) of voorspelt de geldigheid van een claim op basis van interne kennis (voor Future).
Claim Generatie (Claim Generation): Het model genereert een ondersteunende claim op basis van een paper-titel (Prior/New) of een onderzoeks onderwerp (Future).
Kennis Categorisering: Modelbeantwoordingen worden geclassificeerd als Correct (accuraat + zelfverzekerd), Incorrect (onnauwkeurig + zelfverzekerd), of Onbekend (laag vertrouwen).

3. Kernmetrieken

SCIENCEMETER definieert drie primaire metrieken om de update-prestaties te kwantificeren:

Kennisbehoud (Knowledge Preservation): Het percentage eerder correcte claims in $P_{prior}$ $P_{p r i or}$ dat correct blijft na de update.
- Distortion (Vertekening): Voorheen correcte claims die incorrect worden (fout met hoog vertrouwen).
- Loss (Verlies): Voorheen correcte claims die onbekend worden.
Kennisverwerving (Knowledge Acquisition): De proportie onbekende claims in $P_{new}$ $P_{n e w}$ die correct worden na de update.
- Distortion (Vertekening): Onbekende claims die incorrect worden.
- Loss (Verlies): Onbekende claims die onbekend blijven.
Kennisprojectie (Knowledge Projection): Het percentage onbekende claims in $P_{future}$ $P_{f u t u r e}$ dat het model na de update correct voorspelt, wat het vermogen tot extrapolatie aantoont.
- Loss (Verlies): Toekomstige claims die onbekend blijven.

4. Experimentele Opzet

Het framework evalueerde vijf representatieve kennisupdate-methoden over standaard (LLaMA3.1-8B) en frontier (OLMo2-32B) modellen in het domein Informatica:

Continual Pre-training (CNT PRETRAIN): Autoregressieve training op nieuwe data.
Standard Instruction-tuning (INST TUNE): Fine-tuning op QA-paren afgeleid van nieuwe data.
Pre-instruction-tuning (PRE INST TUNE): Instruction tuning voorafgaand aan continue pre-training.
Inference (INFER): Retrieval-Augmented Generation (RAG) stijl context-injectie tijdens inferentie.
Combined (INST TUNE + INFER): Een hybride aanpak.

Vertrouwen werd geschat via een meerderheidsstemming van drie methoden: "More Information" prompting, consistentie van responsen over parafrases heen, en linguïstische vertrouwensanalyse via GPT-4O.

Belangrijkste Resultaten

De experimenten laten zien dat geen enkele methode simultaan alle drie de doelstellingen (Behoud, Verwerving en Projectie) bereikt.

Prestatieplafond: De best presterende methode (Standard Instruction-tuning) behaalde:
- 85,9% Kennisbehoud.
- 71,7% Kennisverwerving.
- 37,7% Kennisprojectie.
Modelgrootte Dispariteit: Inferentie-gebaseerde methoden (INFER) presteerden aanzienlijk beter dan training-gebaseerde methoden voor grotere modellen (OLMo2-32B), met een 10,9% hogere score voor behoud. Omgekeerd hadden kleinere modellen (LLaMA-8B) training-gebaseerde benaderingen nodig om vergelijkbare prestaties te behalen, omdat ze moeite hadden met het filteren van ruis in context-alleen settings.
Fout Ernst: In de meer uitdagende generatie-taken was distortion (fouten met hoog vertrouwen) aanzienlijk hoger dan loss (onzekerheid), met een gemiddelde van drie keer zo hoog. Dit suggereert dat update-methoden vaak zelfverzekerde hallucinaties introduceren in plaats van simpelweg te falen in het leren.
Cross-Domein Correlatie: Prestaties varieerden per domein. Domeinen met een hoge volatiliteit (gemeten aan het gemiddelde aantal citaties), zoals Materiaalkunde en Milieuwetenschappen, vertoonden lagere scores voor behoud en projectie. Daarentegen vertoonden stabiele domeinen zoals Politicologie hogere prestaties. De beschikbaarheid van pre-training corpora had een beperkte impact op de verwervingscapaciteiten.
Wetenschappelijke LLM's: Het toepassen van het framework op domeinspecifieke modellen (bijv. HoneyBee voor Materiaalkunde) leverde geen significante verbeteringen op ten opzien van algemene modellen van vergelijkbare grootte, wat aangeeft dat gespecialiseerde pre-training alleen het update-probleem niet oplost.

Betekenis en Claims

Het artikel stelt dat het ontwikkelen van robuuste mechanismen voor wetenschappelijke kennisupdates zowel cruciaal als uitdagend is. De auteurs beweren:

Nieuw Evaluatieparadigma: SCIENCEMETER is het eerste framework dat expliciet de "projectie" van toekomstige wetenschappelijke kennis evalueert, waarbij de focus verschuift van statische feitenretentie naar het beoordelen van het vermogen van een model om opkomende trends te anticiperen en over onontdekte claims te redeneren.
Beperkingen van Huidige Methoden: Bestaande update-strategieën zijn onvoldoende voor het wetenschappelijke domein. Ze worstelen met het balanceren van de triade van het behouden van oude kennis, het verwerven van nieuwe feiten en het generaliseren naar toekomstige concepten.
Belang van Vertrouwen: Het evalueren van wetenschappelijke kennis zonder rekening te houden met het vertrouwen van het model is onvoldoende. Fouten met hoog vertrouwen (distortion) zijn bijzonder gevaarlijk in wetenschappelijke contexten, omdat ze potentieel de verspreiding van onjuiste hypothesen kunnen veroorzaken.
Domein-volatiliteit: De moeilijkheid om LLM's bij te werken is intrinsiek verbonden met de volatiliteit van het wetenschappelijke domein, wat suggereert dat een "one-size-fits-all" update-strategie onwaarschijnlijk succesvol zal zijn over alle wetenschappelijke velden heen.

De auteurs concluderen dat hoewel LLM's potentieel tonen voor het ondersteunen van wetenschappelijke ontdekkingen, hun integratie in wetenschappelijke workflows nieuwe update-mechanismen vereist die betrouwbaar kunnen omgaan met de dynamische, tegenstrijdige en snel evoluerende aard van de wetenschappelijke literatuur.