Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models
Door 72.644 biomedische preprint-publicatieparen met behulp van grote taalmodellen te analyseren, toont deze studie aan dat de centrale claims van de meeste abstracts grotendeels intact blijven na peer review, wat de betrouwbaarheid van preprints als bron van biomedisch onderzoek ondersteunt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je de wereld van het biomedisch onderzoek voor als een enorme keuken waar wetenschappers constant nieuwe recepten bedenken (hun studies). Lange tijd werden deze recepten pas aan het publiek geserveerd na een strikte "proeverij" door een panel van deskundige critici (peer review). Maar onlangs zijn chefs begonnen met het plaatsen van hun rauwe, ongeteste recepten op een openbaar mededelingenbord genaamd een preprint (zoals bioRxiv), zodat iedereen ze direct kan zien.
Sommige mensen maken zich zorgen omdat deze recepten nog niet zijn getest, en dat ze vol fouten of overdrijvingen zouden kunnen zitten. Deze studie besloot die zorg weg te nemen door naar 72.644 paren recepten te kijken: de originele versie die op het mededelingenbord werd geplaatst en de definitieve, goedgekeurde versie die in het restaurant wordt geserveerd nadat de critici hun stempel van goedkeuring hebben gegeven.
Dit is wat de onderzoekers vonden, waarbij ze een super-slimme AI-assistent gebruikten (zoals een zeer zorgvuldige redacteur) om de twee versies te vergelijken:
1. De kernboodschap blijft hetzelfde
Beschouw de belangrijkste bewering van een studie als de kop van een nieuwsbericht. De onderzoekers ontdekten dat voor bijna 90% van de studies de kop niet veel veranderde.
- 40% van de tijd was de kop exact hetzelfde.
- 50% van de tijd kreeg de kop een beetje polijstwerk of een kleine aanpassing, zoals het veranderen van "We hebben een genezing gevonden" naar "We hebben een veelbelovende behandeling gevonden."
- Slechts 10% van de tijd kreeg de kop een complete make-over.
Met andere woorden: de "ziel" van het onderzoek overleeft de reis van het mededelingenbord naar de uiteindelijke publicatie meestal intact.
2. Wetenschappers worden voorzichtiger, niet zelfverzekerder
Wanneer wetenschappers een preprint plaatsen, zijn ze vaak enthousiast en zelfverzekerd. Nadat de critici naar hun werk hebben gekeken, hebben ze de neiging om het enthousiasme iets terug te schroeven.
- Stel je voor dat een wetenschapper zegt: "Dit medicijn is een wonder!" in de preprint.
- In het definitieve artikel kunnen ze er "Dit medicijn laat veelbelovende resultaten zien" van maken.
- De studie vond dat wetenschappers twee keer zo vaak voorzichtiger en behoedzamer werden na de review, dan dat ze zelfverzekerder werden. Ze maakten hun beweringen zelden dramatischer nadat de critici ernaar hadden gekeken.
3. Tijd speelt een rol, maar de trends verbeteren
- Het wachten op de beurt: Als een studie heel lang in de wachtrij voor review bleef staan (de "trage baan"), was deze eerder geneigd tot een grote herschrijving (14% kans) vergeleken met studies die snel werden beoordeeld (7% kans). Het lijkt erop dat hoe langer de critici aan een recept kauwen, hoe groter de kans dat ze om een totale verandering van het recept vragen.
- Het wordt beter: In de loop der jaren (van 2019 tot 2024) is de noodzaak voor grote herschrijvingen aanzienlijk afgenomen. Het is alsof de chefs steeds beter worden in het schrijven van hun recepten voordat ze ze überhaupt naar de critici sturen.
4. Het "Preprint Veiligheidsnet"
De studie merkte ook iets interessants op over papers die nooit op het mededelingenbord zijn verschenen. Deze papers werden twee keer zo vaak ingetrokken (verwijderd uit de registers omdat ze onjuist waren) dan papers die wel als preprint begonnen. Het is alsof het vroeg plaatsen van een recept, zodat het publiek het eerst kan zien, werkt als een veiligheidscontrole die fouten vangt voordat ze permanent worden.
De essentie
De belangrijkste conclusie is simpel: Preprints zijn een betrouwbare bron van waarheid.
Alleen omdat een wetenschappelijke studie nog niet "officieel" is gepubliceerd, betekent dit niet dat de belangrijkste bevindingen wilde gissingen zijn. De reis van het preprint-mededelingenbord naar de uiteindelijke publicatie bestaat meestal uit slechts een beetje polijsten, niet uit een volledige herschrijving. De centrale claims van het grootste deel van het biomedische onderzoek zijn solide, zelfs voordat de definitieve critici hun goedkeuring hebben gegeven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.