Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It

De wetenschap steunt op een eenvoudige, eeuwenoude belofte: voordat een nieuwe ontdekking wordt gepubliceerd, lezen onafhankelijke experts het werk om te controleren of de experimenten correct zijn uitgevoerd, of de wiskunde klopt en of de conclusies volgen uit het bewijs. Dit proces, bekend als peer review, is de poortwachter van de waarheid in de geneeskunde en biologie. Decennialang heeft dit systeem goed genoeg gewerkt om ons moderne begrip van het leven op te bouwen. Maar het volume van wetenschappelijke artikelen is geëxplodeerd. Sinds 1991 is het aantal biomedische artikelen dat jaarlijks wordt gepubliceerd meer dan elf keer gegroeid, wat de groei van het aantal beschikbare menselijke experts om ze te lezen ver voorbijstreeft. Wanneer de vloedgolf aan nieuw onderzoek de capaciteit van menselijke beoordelaars overstijgt, kan de kwaliteit van wat er wordt gepubliceerd afnemen. Fouten in statistiek, ontbrekende controles of gebrekkige logica kunnen door de mazen van het net glippen, en omdat deze fouten vaak subtiel zijn, kunnen ze jarenlang onopgemerkt blijven, waardoor andere wetenschappers een vals pad worden ingeslagen.

Om dit groeiende probleem aan te pakken, heeft een team van onderzoekers een nieuw soort scheidsrechter gebouwd: een kunstmatige intelligentie die is ontworpen om wetenschappelijke artikelen te lezen zonder te weten wie ze heeft geschreven of waar ze zijn gepubliceerd. Ze noemen dit systeem BARS, de Blinded AI Review System. Het idee is om alles weg te strippenen wat een lezer zou kunnen beïnvloeden — de beroemde namen van de auteurs, het prestige van het tijdschrift en de datum van publicatie — zodat het artikel uitsluitend kan worden beoordeeld op de kwaliteit van de wetenschap. De onderzoekers trainden dit systeem om naar vier specifieke zaken te kijken: of de methoden en statistiek solide zijn, of de data daadwerkelijk de geformuleerde claims ondersteunen, of de biologische ideeën realistisch zijn, en of de data en code openlijk worden gedeeld. Ze gaven elk artikel een score van nul tot tien, waarbij alles onder de vijf duidt op een fundamentele fout die de studie ondermijnt.

Het team testte eerst of hun systeem het verschil kon zien tussen goede wetenschap en slechte wetenschap zonder afgeleid te worden door reputatie. Ze voerden de AI een reeks artikelen die al bewezen onjuist waren en waren ingetrokken, samen met een reeks geverifieerde, hoogwaardige studies. Wanneer de AI de namen van de auteurs en de titels van de tijdschriften kon zien, gaf het de beroemde artikelen iets hogere scores, wat aantoont dat zelfs een machine beïnvloedbaar is door prestige. Maar wanneer het systeem blind was voor al die informatie, werd het een scherpe en objectieve rechter. Het identificeerde bijna alle gebrekkige artikelen correct en gaf perfecte scores aan de solide werken, zonder enkele valse alarmen. Het bleek ook veel consistenter dan menselijke beoordelaars; wanneer hetzelfde artikel meerdere keren door de AI werd beoordeeld, waren de scores vrijwel identiek, terwijl menselijke beoordelaars vaak van mening verschillen.

Toen de onderzoekers dit geblindeerde systeem toepasten op 320 recente artikelen in acht verschillende velden van de biologie, waren de resultaten sober. Meer dan de helft van deze artikelen slaagde niet voor de test en scoorde onder de drempel voor basiswetenschappelijke nauwkeurigheid. Het foutpercentage was niet overal gelijk. Velden die vertrouwen op strikte wiskundige modellen, zoals moleculaire evolutie, scoorden over het algemeen hoger. Velden die afhankelijk zijn van complexe datamining of assays die gevoelig zijn voor contaminatie, zoals single-cell genetica en microbiome-studies, scoorden veel lager. Het type tijdschrift speelde ook een grote rol. Artikelen gepubliceerd in zeer selectieve, traditionele tijdschriften scoorden aanzienlijk hoger dan die in enorme, open-access tijdschriften die een vergoeding vragen om te publiceren maar beweren alleen op technische nauwkeurigheid te beoordelen. Sterker nog, het gemiddelde artikel in een vooraanstaand genootschaps-tijdschrift was bijna een volle punt hoger in kwaliteit dan een artikel in een commercieel megatijdschrift, een gat dat suggereert dat het beoordelingsproces zelf een verschil maakt.

De onderzoekers keken ook naar de mate waarin peer review een artikel daadwerkelijk verbetert. Ze vergeleken de eerste versie van een artikel, die online werd geplaatst vóór enige beoordeling, met de definitieve versie die in een tijdschrift werd gepubliceerd. Voor artikelen die werden geaccepteerd door selectieve, rigoureuze tijdschriften, was de definitieve versie merkbaar beter, met duidelijkere methoden en sterker bewijs. Maar voor artikelen gepubliceerd in commerciële megatijdschriften was de definitieve versie nauwelijks anders dan het concept, en in sommige gevallen maakte het revisieproces het artikel zelfs slechter door nieuwe fouten te introduceren. De studie vond dat het geblindeerde AI-systeem bijna alle kritieken kon vangen die menselijke beoordelaars misten, inclus_ief wiskundige fouten en onmogelijke biologische claims, terwijl het ook gebreken opspoorde die door menselijke beoordelaars volledig over het hoofd waren gezien.

Terugblikkend op drieëndertig jaar wetenschappelijke literatuur, vonden het team een duidelijke neerwaartse trend in kwaliteit. De gemiddelde score van artikelen is sinds de jaren 1990 gestaag gedaald. Deze daling kwam niet doordat gevestigde tijdschriften hun standaarden verlaagden, maar omdat de mix van gepubliceerde onderzoeken is veranderd. Het veld is verschoven van primaire experimenten uitgevoerd in natte laboratoria naar studies die simpelweg bestaande data uit publieke databases heranalyseren, vaak met gebruik van formuleuze sjablonen die niet passen bij de specifieke vraagstelling. Hoewel deze database-studies goedkoper en sneller te produceren zijn, is de kans op fundamentele fouten hierin veel groter. De studie toonde aan dat goed gefinancierde onderzoeksteams niet automatisch betere wetenschap produceren; zodra een bepaald financieringsniveau is bereikt, leidt het toevoegen van meer geld niet tot een verbetering van de kwaliteit van het artikel. Eveneens publiceren de duurste tijdschriften niet noodzakelijkerwijs de meest rigoureuze wetenschap.

Misschien wel het meest opmerkelijke deel van de studie was dat de onderzoekers hun eigen systeem gebruikten om hun eigen carrières te auditeren. Ze voerden 238 van hun eigen gepubliceerde artikelen in het geblindeerde systeem in. De AI vond echte fouten in hun werk, waaronder kopieer-plakfouten in tabellen, foutief gelabelde eenheden en statistische gebreken die zowel de auteurs als de oorspronkelijke menselijke beoordelaars waren ontgaan. Het systeem ving zelfs vijf fouten op in het concept van dit huidige onderzoek voordat het werd gepubliceerd. Deze zelfaudit toonde aan dat geen enkele wetenschapper immuun is voor fouten en dat een objectieve, geautomatiseerde controle fouten kan vangen die menselijke vermoeidheid of bias zouden missen.

De onderzoekers concluderen dat het huidige systeem van wetenschappelijke publicatie onder druk staat, maar zij bieden een praktisch pad vooruit. Ze suggereren dat een eenvoudige, geautomatiseerde controle kan worden uitgevoerd op elk artikel voordat het naar menselijke beoordelaars wordt gestuurd. Deze controle zou slechts enkele centen per artikel kosten, een fractie van de kosten van menselijke arbeid, maar het zou duizenden fouten kunnen vangen die anders onopgemerkt zouden blijven. Door de invloed van roem en prestige te verwijderen en door de focus te leggen op de logica en het bewijs binnen de tekst, kan een dergelijk systeem helpen de betrouwbaarheid van de wetenschappelijke literatuur te herstellen. Het doel is niet om menselijke experts te vervangen, maar om hen een betere basis te geven, zodat de wetenschap die we lezen zo solide is als zij beweert te zijn.