Attitudes and Perceptions Toward the Use of Artificial Intelligence Chatbots for Peer Review in Medical Journals: A Large-Scale, International Cross-Sectional Survey

Deze internationale enquête onder medische peer reviewers toont aan dat, hoewel de bekendheid met AI-chatbots groot is, hun daadwerkelijke toepassing in het reviewproces beperkt blijft vanwege aanhoudende ethische zorgen en een gebrek aan training, ondanks een duidelijke behoefte aan begeleiding.

De kern

Stel je voor dat medische tijdschriften een enorme bibliotheek zijn, waar duizenden wetenschappers hun nieuwe ontdekkingen neerleggen. Voordat deze ontdekkingen voor het publiek beschikbaar komen, moeten ze door een streng team van 'boekenrecensenten' (de peer reviewers) worden gecontroleerd. Deze recensenten kijken of de onderzoeken kloppen, of de cijfers eerlijk zijn en of de taal goed is.

Deze studie gaat over wat er gebeurt als je aan deze recensenten een slimme, digitale assistent geeft: een AI-chatbot (zoals ChatGPT).

Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaagse taal:

1. De situatie: Iedereen kent de robot, maar niemand laat hem nog werken
De onderzoekers hebben bijna 73.000 artsen en wetenschappers gevraagd mee te doen aan een enquête. Ruim 1.200 mensen hebben het formulier ingevuld.

• Het goede nieuws: Bijna iedereen (86%) kent deze digitale assistenten en heeft ze al eens gebruikt om een e-mail te schrijven of een recept te bedenken. Ze zijn dus niet bang voor de technologie.
• Het spannende nieuws: De meeste mensen (70%) hebben de AI nog nooit gebruikt om een medisch artikel te beoordelen. Ze laten de robot dus nog niet aan het werk in de bibliotheek.

2. De twijfel: Een onbekende passagier in de auto
De recensenten zijn wel geïnteresseerd, maar ze hebben grote zorgen.

• De angst voor vooroordelen: De meeste mensen (80%) zijn bang dat de AI 'vooringenomen' is. Stel je voor dat je een nieuwe auto koopt, maar de verkoper heeft alleen maar auto's van één merk gezien. Dan denkt hij dat dat het enige goede merk is. Zo is het met AI: als de computer alleen maar oude, specifieke gegevens heeft gelezen, kan hij onterecht oordelen over nieuwe ideeën.
• Vertrouwen: Mensen vinden het lastig om een machine te vertrouwen die geen 'geweten' heeft. Kun je erop vertrouwen dat de AI niet per ongeluk een foutje in een levensreddend medicijnoverzicht over het hoofd ziet?

3. Het gemiste stukje: Geen rijles voor de robot
Een groot probleem is dat de universiteiten en ziekenhuizen (de 'werkplekken') de recensenten geen rijles hebben gegeven.

• Bijna 70% van de mensen zegt: "We krijgen geen instructies over hoe we deze AI moeten gebruiken."
• Toch wil 60% heel graag leren hoe het werkt. Ze willen graag een handleiding of een cursus, zodat ze de robot veilig en slim kunnen inzetten.

Conclusie: De toekomst, maar eerst de veiligheidsriem
Kortom: De medische wereld kent de AI-robots, maar ze durven ze nog niet aan het stuur te zetten van de peer review. De mensen vinden het een interessant idee om hulp te krijgen, maar ze willen eerst zeker weten dat de robot eerlijk is, geen geheimen lekt en dat er regels zijn.

De boodschap van de studie is simpel: We moeten eerst een goede handleiding en veiligheidsregels maken, voordat we de AI volledig laten meewerken aan het controleren van medisch onderzoek. Pas dan kunnen we met een gerust hart kijken naar de toekomst.

Technische samenvatting

Technische Samenvatting: Attitudes en Percepties ten opzichte van AI-Chatbots voor Peer Review in Medische Tijdschriften

1. Het Probleem
De opkomst van generatieve kunstmatige intelligentie (AI), specifiek AI-chatbots (AIC's), heeft het potentieel om de academische peer review te transformeren door taken zoals het identificeren van methodologische fouten, het verifiëren van referenties en het verbeteren van taalkundige duidelijkheid te automatiseren. Ondanks deze potentiële voordelen, bestaat er aanzienlijke onzekerheid over de betrouwbaarheid, ethische implicaties en transparantie van deze technologie. Er is tot nu toe beperkt empirisch bewijs beschikbaar over hoe peer reviewers in medische tijdschriften de rol en impact van AIC's waarnemen, wat een cruciale kennislacune vormt voor de toekomstige integratie van AI in de wetenschappelijke publicatiecyclus.

2. Methodologie
De studie is opgezet als een grootschalig, internationaal cross-sectioneel onderzoek via een online enquête.

• Steekproefselectie: De onderzoekers hebben een R-gebaseerde aanpak gebruikt om auteursinformatie te extraheren uit MEDLINE-geïndexeerde artikelen die binnen een periode van twee maanden aan PubMed waren toegevoegd.
• Uitnodiging: In totaal werden 72.851 auteurs per e-mail uitgenodigd. Alleen respondenten die zichzelf identificeerden als peer reviewers waren in aanmerking voor deelname.
• Instrument: Een vragenlijst van 29 items, uitgevoerd via SurveyMonkey, die de volgende domeinen adresseerde:
  • Bekendheid met AIC's.
  • Waargenomen voordelen en beperkingen in de context van peer review.
  • Ethische bezorgdheden.
  • Verwachte toekomstige rollen.
• Dataverzameling: De enquête liep van 28 april tot 16 juni 2025, inclusief twee herinneringsmails om de respons te maximaliseren.

3. Belangrijkste Resultaten
Van de uitgenodigden voltooiden 1.260 respondenten de enquête. De belangrijkste bevindingen zijn:

• Bekendheid vs. Toepassing: Er is een hoge mate van bekendheid met AIC's onder respondenten (86,2%), en de meeste hebben tools zoals ChatGPT gebruikt voor algemene doeleinden (87,7%). Echter, het daadwerkelijke gebruik van AIC's specifiek voor peer review is nog marginaal; 70,3% van de respondenten heeft dit nog nooit gedaan.
• Opleiding: Een meerderheid (69,5%) gaf aan dat hun instelling geen training biedt over het gebruik van AIC's in de peer review. Desondanks toont 60,7% van de respondenten interesse in dergelijke training.
• Percepties en Bezorgdheden: De percepties over de voordelen van AIC's zijn gemengd. Er is echter brede consensus over de risico's. De meest genoemde zorgen zijn:
  • Potentiële algoritmische bias (80,3%).
  • Problemen met vertrouwen en gebruikersacceptatie (73,3%).
  • Algemene ethische en privacy-gerelateerde kwesties.

4. Belangrijkste Bijdragen

• Empirisch Bewijs: Dit onderzoek levert een van de eerste grootschalige, internationale datasets die de houding van medische peer reviewers ten opzichte van AI-integratie kwantificeert.
• Identificatie van de "Implementatiekloof": Het studieonderzoek benadrukt de discrepantie tussen hoge technische bekendheid en laag daadwerkelijk gebruik in de professionele context van peer review.
• Behoefte aan Structuur: Het onderzoek identificeert een duidelijke behoefte aan institutionele richtlijnen en training, aangezien de huidige onzekerheid over ethiek en integriteit een barrière vormt voor adoptie.

5. Betekenis en Conclusie
De studie concludeert dat hoewel medische peer reviewers vertrouwd zijn met AI-chatbots, de toepassing ervan in de peer review nog beperkt blijft. Er is een duidelijke bereidheid om te leren, maar de implementatie wordt gehinderd door fundamentele zorgen over dataprivacy, onderzoeksethiek en algoritmische integriteit. Voor een bredere implementatie van AIC's in medische tijdschriften is het noodzakelijk om eerst deze ethische en technische uitdagingen aan te pakken en duidelijke, gestructureerde richtlijnen en trainingen te ontwikkelen. Zonder deze maatregelen blijft het vertrouwen van de wetenschappelijke gemeenschap in AI-gedreven peer review beperkt.