Local AI pre-screening for human triple-blind peer review in health sciences
Dit artikel stelt een transparant, triple-blind kader voor voor peer review in de gezondheidswetenschappen dat gebruikmaakt van lokaal gehoste, open-weight LLM's voor meerfasige pre-screening om de risico's die gepaard gaan met niet-aangegeven AI-gebruik en een tekort aan reviewers te beperken, terwijl menselijke experts de uiteindelijke besluitvormingsbevoegdheid behouden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschap steunt op een stille, essentiële ritueel: voordat een nieuwe ontdekking met de wereld wordt gedeeld, moeten andere experts deze zorgvuldig lezen om te waarborgen dat deze deugdelijk is. Dit proces, bekend als peer review, is hoe de wetenschappelijke gemeenschap beslist welk werk het verdient om gepubliceerd te worden. Decennialang heeft dit systeem gefunctioneerd door een ingediend artikel te koppelen aan een handvol menselijke experts die het in het geheim lezen en hun oordeel geven over de vraag of de methoden correct zijn en de conclusies standhouden. Maar het systeem begint momenteel onder zijn eigen gewicht te bezwijken. In de afgelopen jaren is het aantal artikelen dat naar grote conferenties wordt ingediend geëxplodeerd, met aantallen zoals 21.575 voor een enkel evenement, terwijl het aantal gekwalificeerde experts dat bereid is ze te lezen, niet gelijke tred heeft gehouden. Het resultaat is een knelpunt waarbij goede wetenschap maandenlang moet wachten, en de druk is zo groot geworden dat sommige onderzoekers stilletjes zijn begonnen kunstmatige intelligentie te gebruiken om deze beoordelingen te schrijven, vaak zonder dit te melden. Deze verborgen verschuiving brengt nieuwe risico's met zich mee, zoals computers die nepreferenties verzinnen of die door auteurs worden misleid die instructies binnen hun tekst verbergen om een positieve beoordeling af te dwingen.
Als reactie op deze groeiende crisis heeft een onderzoeker genaamd Rodrigo M. Boos een nieuwe manier voorgesteld om het beoordelingsproces te organiseren, die het gebruik van kunstmatige intelligentie naar de openbaarheid brengt terwijl menselijke experts stevig de controle houden. Het artikel schetst een systeem dat specifiek is ontworpen voor medische tijdschriften, waar de belangen voor patiëntveiligheid en onderzoeksintegriteit uitzonderlijk hoog zijn. De kern van het idee is om een team van drie programma's met kunstmatige intelligentie te gebruiken om een eerste screening van elk artikel uit te voeren voordat een enkele menselijke beoordelaar het ooit ziet. Deze programma's nemen niet de uiteindelijke beslissing over het publiceren of afwijzen van een artikel; in plaats daarvan fungeren ze als een filter dat controleert of een manuscript überhaupt klaar is voor menselijke aandacht. Cruciaal is dat het systeem is gebouwd om de privacy van het ongepubliceerde werk te beschermen. In tegen tegenstelling tot veel commerciële tools die gegevens naar het internet sturen, vereist dit voorstel dat de kunstmatige intelligentie op de eigen lokale computers van het tijdschrift draait, waardoor wordt gegarandeerd dat de tekst van een nieuw medisch onderzoek nooit de beveiligde infrastructuur van het tijdschrift verlaat. Dit ontwerp adresseert direct de zorgen van grote financieringsinstanties die hun beoordelaars momenteel verbieden om externe kunstmatige intelligentie-tools te gebruiken omdat zij niet kunnen garanderen waar die ongepubliceerde gegevens worden opgeslagen.
Het systeem werkt door een ingediend manuscript door vijf verschillende stadia te leiden. Eerst wordt het artikel automatisch schoongemaakt om verborgen tekst of geheime instructies te verwijderen die de computer zouden kunnen misleken. Vervolgens lezen drie onafhankelijke modellen van kunstmatige intelligentie het geanonimiseerde artikel en scoren het tegen een specifieke set criteria, zoals de vraag of het onderzoeksontwerp de conclusies ondersteunt of of de statistiek deugdelijk is. Deze modellen mogen niet op zichzelf een definitief oordeel vellen; ze leveren enkel een score en een gestructureerde uitleg. Als de scores te laag zijn, wordt het artikel naar de auteur teruggestuurd met feedback over wat er hersteld moet worden. Als de scores hoog genoeg zijn, gaat het artikel naar de volgende fase, waar drie menselijke experts het lezen. Deze menselijke beoordelaars zijn blind voor de scores die door de kunstmatige intelligentie zijn gegeven; zij weten alleen dat het artikel de initiële computercontrole heeft doorstaan. Deze scheiding is essentieel om te voorkomen dat mensen simpelweg instemmen met de mening van de computer. Ten slotte beoordeelt een redacteur het werk van zowel de kunstmatige intelligentie als de mensen om de definitieve beslissing over publicatie te nemen.
Een bijzonder vernieuwend onderdeel van dit voorstel is een functie waarmee auteurs kunnen kiezen hoe zij behandeld willen worden als het artikel niet klaar is. In een standaard beoordeling ontvangt een auteur een afwijzingsbrief van een menselijke redacteur, wat een pijnlijke en stigmatiserende ervaring kan zijn die hen ontmoedigt om met hun werk door te gaan. Dit nieuwe systeem biedt een optie waarbij een auteur vooraf kan instemmen dat, indien de drie modellen van kunstmatige intelligentie het er allemaal over eens zijn dat het artikel niet klaar is, het artikel aan hen wordt geretourneerd voor revisie zonder dat er ooit een mens naar heeft gekeken. Dit creëert een private, "onbeziene" afwijzing die de auteur de sociale schaamte spaart van het feit dat een mens hun werk beoordeelt voordat het gepolijst is. De auteur van het artikel erkent dat dit een hypothese is die getest moet worden; het is nog niet bewezen dat deze aanpak de emotionele last van afwijzing vermindert, maar het is een bewuste poging om een bekend psychologisch nadeel in het huidige systeem aan te pakken.
Het artikel stelt zorgvuldig dat dit een ontwerpvoorstel is, en geen afgewerkt product dat al getest is op echte medische tijdschriften. De auteur geeft toe dat de specifieke scores die worden gebruikt om te beslissen of een artikel de computercontrole doorstaat, werkbare gissingen zijn die gekalibreerd moeten worden zodra het systeem daadwerkelijk wordt gebruikt. Er zijn ook bekende beperkingen: de modellen van kunstmatige intelligentie die in dit lokale systeem worden gebruikt, zijn iets minder krachtig dan de meest geavanceerde commerciële modellen die op internet beschikbaar zijn, een afruil die is gemaakt om totale privacy te waarborgen. Bovendien merkt de auteur op dat hoewel het systeem is ontworpen om duidelijke fouten te detecteren, het nog niet kan garanderen dat het nooit een subtiele fout zal missen of misleid zal worden door een geraffineerde aanval. Het voorstel claimt niet de menselijke beoordeling te vervangen, die de verplichte laatste stap blijft, maar dient eerder als een gestructureerde, transparante laag die helpt bij het beheren van de overweldigende hoeveelheid inzendingen. Door de rol van kunstmatige intelligentie zichtbaar en gecontroleerd te maken, betoogt de auteur dat de wetenschappelijke gemeenschap deze tools kan gebruiken om het proces te versnellen zonder het vertrouwen en de integriteit op te offeren die peer review beoogt te beschermen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.