Predicting Replication from Domain-Stripped Fingerprints, Where Citations Fail

Wetenschap is gebouwd op een eenvoudige belofte: als je een experiment herhaalt, zou je hetzelfde resultaat moeten krijgen. Toch is in de moderne wereld van onderzoek de bekendste manier om de waarde van een studie te beoordelen het tellen van hoe vaak andere wetenschappers er in hun eigen werk naar verwijzen. Deze vermeldingen, citaties genoemd, fungeren als een populariteitswedstrijd. Hoe vaker een artikel wordt geciteerd, hoe waardevoller het wordt aangenomen. Maar er is een groeiend vermoeden dat dit systeem kapot is. Een studie kan razend populair zijn en duizenden keren worden geciteerd simpelweg omdat het iets verrassends of nieuws zegt, zelfs als die bevinding uiteenvalt wanneer iemand probeert het te herhalen. Sterker nog, sommige onderzoeken suggereren dat bevindingen die niet herhaalbaar zijn, vaak zelfs meer worden geciteerd dan die dat wel kunnen. Dit creëert een gevaarlijk blinde vlek waar de wetenschappelijke gemeenschap aandacht beloont maar de waarheid negeert.

Een onderzoeker aan de KU Leuven, Eryk Kulikowski, heeft een nieuwe manier ontwikkeld om naar wetenschappelijke artikelen te kijken die deze twee ideeën van elkaar scheidt. In plaats van te proberen de waarde van een artikel terug te brengen tot één enkel getal, behandelt de studie onderzoeks kwaliteit als een profiel met twee duidelende zijden. De ene kant is nieuwheid, wat meet hoe verrassend of nieuw een idee is. De andere kant is verifieerbaarheid, wat meet hoe waarschijnlijk het is dat het resultaat standhoudt als iemand het experiment herhaalt. De studie betoogt dat het huidige citatiesysteem alleen de eerste kant ziet. Het beloont de verrassende bewering, maar is bijna blind voor de vraag of die bewering daadwerkelijk solide is. Om dit te repareren, bouwde de onderzoeker een hulpmiddel dat de abstract van een artikel kan lezen en kan voorspellen of de bevindingen zullen overleven bij een herhaalde test, zonder dat het hoeft te weten over welke specifieke medische conditie of maatschelijk vraagstuk het gaat.

De methode werkt door de specifieke details van een studie weg te strippen om de onderliggende structuur te onthullen. Stel je voor dat je een complexe machine neemt, de verf en de merknamen verwijdert, en alleen kijkt naar de tandwielen en hendels om te begrijpen hoe hij werkt. De onderzoeker gebruikte een taalmodel om duizenden wetenschappelijke abstracts te lezen en ze te herschrijven tot een "vingerafdruk". Deze vingerafdruk beschrijft het ontwerp van de studie, wat er gemeten werd en hoe de gegevens werden geanalyseerd, maar verwijdert alle specifieke jargon over ziekten, populaties of chemicaliën. Hierdoor kan de computer een studie over geheugen bij mensen vergelijken met een studie over geheugen bij ratten, of een studie over economie met een studie over psychologie, omdat de vingerafdrukken zich richten op de gedeelde mechanica van hoe de wetenschap is uitgevoerd.

Zodra deze vingerafdrukken waren gemaakt, testte de onderzoeker ze tegen een eenvoudig, transparant computerprogramma. Dit programma gebruikte geen complexe, verborgen algoritmen. In plaats daarvan zocht het naar specifieke woorden en zinnen in de vingerafdruk die de neiging hadden om te verschijnen in studies die succesvol werden herhaald versus studies die faalden. De resultaten waren opmerkelijk. Toen het team deze methode testte op een database van bijna vijfhonderd psychologiestudies, voorspelde het correct of een studie zou repliceren in ongeveer drieëndertig procent van de gevallen. Dit is een significante verbetering ten opzichte van de huidige standaard, die vertrouwt op citaties. Sterker nog, toen het team controleerde hoe goed citaties de replicatie voorspelden, was het resultaat niet beter dan willekeurige gokken. Het citatiesysteem was volkomen niet in staat om te onderscheiden welke bevindingen zouden standhouden en welke niet.

De studie bewees ook dat dit nieuwe hulpmiddel niet alleen de namen van verschillende wetenschappelijke velden leerde kennen. Als de computer simpelweg had geleerd dat "sociale psychologie"-studies vaker falen dan "cognitieve psychologie"-studies, had het goed kunnen scoren zonder de wetenschap daadwerkelijk te begrijpen. Maar toen de onderzoekers het hulpmiddel binnen specifieke subgebieden testten, werkte het nog steeds even goed. Het kon een solide studie onderscheiden van een wankele studie, zelfs wanneer beide over exact hetzelfde onderwerp gingen. Bovendien werkte het hulpmiddel even goed op een volledig andere set gegevens van een ander groot onderzoeksproject, wat aantoont dat het signaal dat het vond echt was en geen toevalstreffer van één specifieke dataset.

Misschien wel de belangrijkste bevinding was wat er gebeurde toen de onderzoekers probeerden de twee kanten van de onderzoeks waarde samen te voegen. Ze namen hun maatstaf voor nieuwheid en voegden die toe aan het hulpmiddel dat replicatie voorspelt. Het resultaat was dat de voorspelling slechter werd. Dit bevestigde dat nieuwheid en verifieerbaarheid werkelijk gescheiden zaken zijn. Een studie kan zeer nieuw en zeer fragiel zijn, of saai en rotsvast. Het huidige citatiesysteem faalt omdat het zwaar leunt op de kant van nieuwheid, waarbij het het verrassende beloont en het solide negeert. Door deze twee concepten in één enkele score te dwingen, verliest het systeem het vermogen om het belangrijkste deel te zien: of de wetenschap waar is.

De onderzoekers ontdekten ook dat deze nieuwe aanpak niet de volledige, vaak ontoegankelijke volledige tekst van een artikel hoeft te lezen. Het werkt perfect met alleen de abstract, de korte samenvatting die aan het begin van elk artikel verschijnt. Dit maakt het hulpmiddel goedkoop en gemakkelijk te gebruiken voor elke bibliotheek of database. Het hele proces is transparant; omdat het computerprogramma eenvoudig is, kunnen wetenschappers kijken naar de specifieke woorden die het gebruikte om een beslissing te nemen en begrijpen precies waarom een artikel werd gemarkeerd als waarschijnlijk te repliceren of waarschijnlijk te falen. Dit staat in scherp contrast met andere moderne tools die fungeren als zwarte dozen, die een score geven zonder uit te leggen hoe die is bereikt.

Uiteindelijk biedt dit werk een nieuwe manier om over wetenschappelijke waarde na te denken. Het suggereert dat we moeten stoppen met het proberen te rangschikken van elk artikel met een enkel getal. In plaats daarvan moeten we kijken naar een profiel dat ons laat zien zowel hoe nieuw een idee is als hoe waarschijnlijk het is dat het waar is. Het hulpmiddel dat in deze studie is ontwikkeld, biedt een heldere, eerlijke en transparante manier om het tweede deel van die vergelijking te meten. Het laat zien dat hoewel we niet altijd kunnen voorspellen welke bevindingen de wereld zullen veranderen, we nu met redelijke nauwkeurigheid kunnen voorspellen welke bevindingen de test van de tijd zullen doorstaan. Deze verschuiving van het najagen van aandacht naar het verifiëren van de waarheid zou wetenschappers, financiers en het publiek kunnen helpen zich te concentreren op het werk dat daadwerkelijk standhoudt, in plaats van alleen op het werk dat de meeste aandacht trekt.