💬 NLP

WikiSTAR: A System for Shedding Light on the Hidden History of Scientific Wikipedia Articles

WikiSTAR is een interactief systeem dat een LLM-classifier en een multi-label taxonomie gebruikt om routinewijzigingen uit de revisiegeschiedenis van Wikipedia te filteren, waardoor experts de evolutie van wetenschappelijke kennis met een ongekende granulariteit kunnen visualiseren en analyseren.

Oorspronkelijke auteurs: Omer Ehrlich, Nitzan Barzilay, Rona Aviram, Tom Hope

Gepubliceerd 2026-07-15✓ Author reviewed ⓘ

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Omer Ehrlich, Nitzan Barzilay, Rona Aviram, Tom Hope

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Wikipedia voor als een enorme, bruisende bibliotheek waar miljoenen vrijwilligers constant boeken herschrijven. Voor wetenschappelijke artikelen bevat deze bibliotheek een geheime geschiedenis: een verslag van hoe ons begrip van het universum, virussen en computers door de tijd heen is veranderd. Maar er is een addertje onder het gras. De bibliotheek is zo luidruchtigig dat de belangrijke updates — zoals de ontdekking van een nieuwe ster of een doorbraak in AI — volledig begraven liggen onder een berg kleine, saaie wijzigingen, zoals het corrigeren van een typefout of het veranderen van een lettertypekleur. Het is alsof je probeert een specifiek nieuw hoofdstuk te vinden in een boek dat 18.000 keer is herschreven, waarbij 99% van de wijzigingen slechts het verplaatsen van de meubels is.

Maak kennis met WIKISTAR (Scientific Tracking of Article Revisions). Denk aan WIKISTAR als een superintelligente, tijdreizende detective die door die berg ruis kan zeven om het goud te vinden.

De gereedschapskist van de detective

WIKISTAR leest niet alleen de tekst; het begrijpt de wetenschap achter de bewerkingen. Het gebruikt een speciale set regels (een "taxonomie") ontworpen door wetenschapsexperts. Dit regelboek heeft tien specifieke categorieën voor wat telt als een "wetenschappelijke" wijziging, zoals:

Het toevoegen van een nieuw stuk wetenschappelijke informatie.
Het introduceren van een nieuwe technische term.
Het veranderen van het verhaal of de "narratief" van hoe een wetenschappelijk concept wordt uitgelegd.
Het toevoegen of verwijderen van verwijzingen naar academische studies.

Als een bewerking niet in deze wetenschappelijke categorieën past (zoals het corrigeren van een spelfout), negeert WIKISTAR dit. Dit is cruciaal omdat het paper expliciet pleit tegen het idee dat alle bewerkingen gelijk zijn. Eerdere tools keken naar de hele pagina of zelfs naar individuele woorden, maar WIKISTAR zoomt in op secties (zoals specifieke hoofdstukken van een boek). De auteurs vonden dat kijken naar de hele pagina te rommelig is, en kijken naar losse zinnen te veel context verliest. De "sectie" is precies de juiste grootte om te zien wat er werkelijk gebeurt.

Hoe het werkt: De magische pijplijn

Hier is de stapsgewijze magische truc die WIKISTAR uitvoert:

De Splitsing: Het neemt een Wikipedia-artikel en breekt elke versie ervan op in de individuele secties.
De Match: Het speelt een spannend spel van "zoek de verschillen". Het koppelt een sectie van vandaag aan de versie van diezelfde sectie van gisteren, zelfs als de redacteurs de sectie een andere naam hebben gegeven of hem in tweeën hebben gesplitst.
De Classificatie: Het gebruikt een krachtig AI-brein (een LLM) om de "voor"- en "na"-versies te lezen. Het vraagt: "Heeft deze wijziging nieuwe wetenschap toegevoegd? Is er een feit verwijderd? Is het verhaal veranderd?"
Het Dashboard: Ten slotte zet het al die antwoorden om in kleurrijke, interactieve kaarten en grafieken.

Wat de detective ontdekte

Het paper beweert niet dat WIKISTAR het mysterie van de wetenschap voor altijd heeft opgelost. In plaats daarvan suggereert het dat dit hulpmiddel een compleet nieuwe manier opent om de geschiedenis te bestuderen. Om dit te testen, bouwde het team een "trainingsgym" genaamd WIKISTAR-BENCH. Ze verzamelden 1.387 echte voorbeelden van sectie-bewerkingen uit de biologie, computerwetenschappen en neurowetenschappen en lieten menselijke experts deze labelen.

Toen ze hun AI-detective testten tegenover deze menselijke experts, waren de resultaten veelbelovend maar niet perfect. De AI kreeg ongeveer 82% van de overkoepelende classificaties goed (een score genaamd macro-F1). De AI was erg goed in het herkennen van duidelijke zaken, zoals het toevoegen van een nieuwe academische referentie (met een score van 88%), maar had meer moeite met lastige, interpretatieve wijzigingen, zoals het beslissen of het "verhaal" van de wetenschap is veranderd (een score van 61%). Dit laat zien dat hoewel het hulpmiddel krachtig is, het geen toverstaf is die alles telkens foutloos doet; het heeft nog steeds menselijke begeleiding nodig voor de meest complexe oordelen.

De "tijdmachine" voor experts

Om te zien of dit hulpmiddel daadwerkelijk nuttig was, nodigden de onderzoekers drie echte experts uit om ermee te experimenteren: een Wikipedia-redacteur die ook een PhD-student in de natuurkunde is, een wetenschapsjournalist en een wetenschapsfilosoof.

De resultaten waren lovend. De experts zeiden dat WIKISTAR patronen liet zien die ze nooit handmatig hadden kunnen vinden door de geschiedenis te lezen.

Eén expert bekeek het artikel over "Artificiële Intelligentie" en zag hoe de focus verschoof van brede definities naar diepe technische details en uiteindelijk naar maatschappelijke impact, allemaal in één oogopslag.
Een ander keek naar het artikel over "Chaostheorie" en realiseerde zich dat de structuur van het artikel was veranderd op manieren die geen enkel ander hulpmiddel kon laten zien, en noemde het een "droom" voor onderzoekers.
Een derde expert, die de vaccins bestudeerde, vond een specifiek moment waarop een enorme hoeveelheid nieuwe wetenschappelijke inhoud werd toegevoegd. Het hulpmiddel liet de expert inzoomen, een samenvatting van die wijzigingen lezen en vervolgens direct in de ruwe tekst duiken om het te verifiëren. De expert beschreef het als "bijna als geleide lezing."

De kern van het verhaal

WIKISTAR is een systeem dat suggereert dat we eindelijk de verborgen geschiedenis van de wetenschap op Wikipedia kunnen zien. Het verandert een chaotische bende van 18.000 bewerkingen in een helder verhaal over hoe wetenschappelijke ideeën groeien, veranderen en soms worden gecorrigeerd. Het vervangt de noodzaak voor menselijke experts niet, maar geeft hen een superkrachtige microscoop om de evolutie van kennis te zien op een manier die voorheen onmogelijk was. Het paper stelt de tool, de code en de dataset beschikbaar, zodat iedereen die nieuwsgierig is naar hoe wetenschap wordt geschreven, zelf met deze tijdmachine aan de slag kan.

Technische Samenvatting van WIKISTAR: Een systeem voor het werpen van licht op de verborgen geschiedenis van wetenschappelijke Wikipedia-artikelen

Probleemstelling
Wikipedia dient als een primaire bron voor het publieke wetenschappelijke begrip, en de open toegankelijke revisiegeschiedenis biedt een uniek longitudinaal verslag van hoe wetenschappelijke kennis evolueert. Echter, de enorme hoeveelheid routinematige bewerkingen (bijv. opmaak, herformulering) vertroebelt wetenschappelijk betekenisvolle wijzigingen. Het handmatig isoleren van deze significante bewerkingen is uiterst arbeidsintensief, waardoor de wetenschappelijke geschiedenis van artikelen verborgen en ontoegankelijk blijft. Hoewel eerder werk algemene bewerkingen heeft geclassificeerd of auteursconflicten heeft gevisualiseerd, opereren deze benaderingen op het niveau van de gehele pagina of tokens en richten zij zich niet specifief op de wetenschappelijke betekenis van wijzigingen. Er is behoefte aan een systeem dat wetenschappelijke tekstuele wijzigingen automatisch kan detecteren, kwantificeren en contextualiseren op een granulair niveau om te onthullen hoe wetenschappelijke concepten worden geïntroduceerd, bediscussieerd en verfijnd over de tijd heen.

Methodologie
De auteurs presenteren WIKISTAR (Scientific Tracking of Article Revisions), een systeem ontworpen om wetenschappelijke bewerkingen op sectieniveau te extraheren, te classificeren en te visualiseren. De methodologie bestaat uit drie primaire fasen:

Sectie-identificatie en Koppeling:
- Het systeem haalt artikelrevisies op via de MediaWiki API en parseert ruwe wikitext naar constituerende secties met behulp van regex-gebaseerde parsers.
- Om "sectie-bewerkingsparen" te creëren (de huidige versie en de direct voorafgaande versie van een specifieke sectie), koppelt het systeem secties over revisies heen. Omdat secties niet stabiel zijn (ze kunnen worden hernoemd, gesplitst of samengevoegd), zoekt het systeem achteruit door revisies en berekent het twee mate van gelijkenis: titelgelijkenis (genormaliseerde Levenshtein-afstand) en inhoudelijke gelijkenis (cosine similarity over embeddings). Een sectie wordt gekoppeld aan de meest recente kandidaat die een gelijkenis-drempelwaarde overschrijdt.
Classificatie van Wetenschappelijke Bewerkingen:
- De kerntaak wordt gedefinieerd als wetenschappelijke bewerkingsclassificatie: het toekennen van labels aan sectie-bewerkingsparen op basis van een taxonomie van tien door experts ontworpen, wetenschappelijk betekenisvolle bewerkingstypen (bijv. Nieuwe Wetenschappelijke Informatie, Technische Termen Toegevoegd, Verandering in Wetenschappelijk Narratief, Academische Referenties Toegevoegd) plus een label Niet-Wetenschappelijke Bewerking.
- Het systeem gebruikt Large Language Models (LLMs) als classificators. De auteurs evalueerden zeven modellen (waaronder GPT-5 varianten, LLaMA 3.3 en Qwen3-Next) tegen een door mensen geannoteerde benchmark.
- Verfijningen in prompt engineering, zoals het vragen aan het model om eerst te bepalen of een bewerking wetenschappelijk is en het signaleren van veelvoorkomende definitiefouten, verbeterden de prestaties aanzienlijk.
Interactieve Visualisatie:
- De geclassificeerde gegevens worden gepresenteerd via interactieve weergaven waarmee gebruikers de geschiedenis kunnen verkennen op verschillende granulariteiten:
  - Geschiedenisoverzicht: Een door een LLM gegenereerde chronologische samenvatting van belangrijke wetenschappelijke claims en narratieve verschuivingen.
  - Trends in de tijd: Een interactieve lijngrafiek die de frequentie van bewerkingstypen over de tijd weergeeft, met de mogelijkheid om te filteren op sectie en tekstuele samenvattingen van specifieke perioden te genereren.
  - Sectievergelijking: Een heatmap die de trends in bewerkingstypen over verschillende artikelsecties vergelijkt.
  - Sectie-evolutie: Een weergave die de levenscyclus van secties laat zien (verschijnen, hernoemen, bewerken).
  - Bewerkings-tabel: Een filterbare tabel van alle bewerkingen met metadata.

Belangrijkste Bijdragen

WIKISTAR Systeem: Een nieuw systeem voor het volgen van de evolutie van wetenschappelijke inhoud in Wikipedia-artikelen, waarmee de kloof wordt overbrugd tussen ruwe revisielogboeken en bruikbare wetenschappelijke inzichten.
Wetenschappelijke Bewerkingsclassificatie Taak: De introductie van een specifieke classificatietaak voor Wikipedia-secties, gebaseerd op een 10-label taxonomie ontworpen door experts in wetenschappelijke Wikipedia.
WIKISTAR-BENCH: De release van de eerste door mensen geannoteerde dataset voor deze taak, bevattende 1.387 sectie-niveau bewerkingsparen over drie domeinen (Biologie, Computerwetenschappen en Neurowetenschappen). De dataset vertoont een hoge inter-annotator overeenstemming (gemiddelde pairwise Cohen's $\kappa = 0,89$ ).
Empirische Evaluatie: Een uitgebreide vergelijking van zeven LLM's als classificators, waarbij GPT-5-mini en GPT-5.4 als de beste presteerders werden vastgesteld (Macro-F1 scores van respectievelijk 0,83 en 0,82).

Resultaten

Classificatieprestaties: Op WIKISTAR-BENCH behaalde het best presterende model (GPT-5-mini) een Macro-F1 van 0,83 en een Micro-F1 van 0,86. De prestaties varieerden per type label: het model excelleerde bij objectieve labels met expliciete tekstuele signalen (bijv. Wikilink Toegevoegd F1=0,89), maar had moeite met interpretatieve labels (bijv. Verandering in Wetenschappelijk Narratief F1=0,61), waar de menselijke overeenstemming ook lager was.
Domeinconsistentie: De prestaties bleven stabiel over Biologie, Computerwetenschappen en Neurowetenschappen, wat aangeeft dat de taxonomie en prompts goed generaliseren zonder te overfitten op een enkel domein.
Gebruikersstudie: In een studie met drie experts (een Wikipedia-redacteur/fysicus, een wetenschapsjournalist en een wetenschapsfilosoof) beoordeelden deelnemers het systeem hoog op een 5-punts Likert-schaal (gemiddelde scores van 4,33–5,00). Deelnemers rapporteerden dat WIKISTAR patronen aan het licht bracht die zij niet gemakkelijk handmatig hadden kunnen ontdekken, nieuwe onderzoeksvragen stimuleerde en analyses mogelijk maakte die voorheen als onpraktisch werden beschouwd vanwege de hoeveelheid gegevens.

Significantie
Het artikel stelt dat WIKISTAR de wetenschappelijke bewerkingsgeschiedenis van Wikipedia toegankelijk maakt voor onderzoekers, journalisten en wetenschappers op een schaal die voorheen onmogelijk was. Door over te stappen van handmatige, arbeidsintensieve nauwgezet lezen van revisiegeschiedenissen naar geautomatiseerde analyse op sectieniveau, maakt het systeem het mogelijk om de evolutie van kennis te bestuderen als een "rijk longitudinaal verslag". De auteurs positioneren WIKISTAR als de eerste tool die specifiek op sectieniveau opereert voor wetenschappelijke significantie, waardoor gebruikers kunnen traceren hoe wetenschappelijke concepten zich ontwikkelen, waar de aandacht zich concentreert en hoe narratieven in de loop van de tijd verschuiven. De release van de benchmark en de code heeft tot doel verdere research naar de representatie van wetenschap in online encyclopedieën te faciliteren.