On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists
Deze studie waarbij 45 experts de beoordelingen van 82 Nature-familieartikelen evalueerden, stelt vast dat hoewel geavanceerde AI-beoordelaars superieur kunnen zijn aan topmenselijke beoordelaars in het identificeren van correcte en significante kritiek, zij ook hogere foutmarges en unieke zwakheden vertonen, waardoor zij worden gepositioneerd als waardevolle aanvullingen in plaats van vervangingen voor menselijke peer review.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Decennialang vertrouwde de motor van wetenschappelijke ontdekking op een stil, menselijk ritueel: peer review. Voordat een nieuwe ontdekking in een belangrijk tijdschrift wordt gepubliceerd, wordt deze naar een handvol experts in dat specifieke vakgebied gestuurd. Deze wetenschappers lezen het werk, controleren de berekeningen en stellen lastige vragen om te verzekeren dat de bevindingen echt zijn en de conclusies deugdelijk zijn. Dit systeem is ontworpen om fouten te ontdekken en ideeën aan te scherpen, maar het staat onder enorme druk. Het aantal ingediende artikelen is sterk gegroeid, terwijl de groep gekwalificeerde experts met de tijd om ze te lezen, dat niet heeft gedaan. Als gevolg hiervan maken veel onderzoekers zich zorgen dat de kwaliteit van deze beoordelingen afneemt en dat het proces een knelpunt vormt voor de vooruitgang.
Als reactie hierop is er een nieuw hulpmiddel ontstaan: kunstmatige intelligentie-agenten die in staat zijn een manuscript te lezen en een beoordelingsverslag te schrijven. Deze digitale beoordelaars worden al gebruikt in sommige conferenties en tijdschriften, maar er blijft een hardnekkige twijfel bestaan. Kan een machine werkelijk de nuance van wetenschappelijk werk begrijpen? Kan het het verschil zien tussen een kleine typefout en een fatale fout in een experiment? Of is het slechts een geavanceerde papegaai die plausibel klinkende tekst genereert die geen echte inzichten mist? Om dit te beantwoorden, heeft een groot team van onderzoekers geprobeerd deze digitale beoordelaars te testen tegen de gouden standaard van menselijke experts, niet door te vragen of ze het eens zijn over een eindcijfer, maar door de specifieke kritiek die zij leveren te onderzoeken.
De onderzoekers verzamelden een enorme dataset van 82 artikelen gepubliceerd in de Nature-familie van tijdschriften, een groep die bekend staat om wetenschap met een hoge impact. Deze artikelen hadden al het standaard menselijke beoordelingsproces doorlopen, wat betekende dat ze drie afzonderlijke rapporten hadden van echte wetenschappers. Het team vroeg vervolgens aan drie verschillende geavanceerde AI-systemen om dezelfde artikelen te lezen en hun eigen beoordelingen te genereren. Om te zien wie het beter deed, rekruteerden ze 45 menselijke experts uit velden variërend van natuurkunde tot biologie en gezondheidswetenschappen. Deze experts besteedden honderden uren aan het lezen van elke individuele kritiek die zowel door mensen als door de AI werd geuit. Ze gaven niet alleen een score; ze evalueerden elk punt afzonderlijk door drie vragen te stellen: Is dit feitelijk juist? Is dit probleem belangrijk genoeg om ertoe te doen? En leverde de beoordelaar voldoende bewijs zodat de auteur het kan herstellen?
De resultaten onthulden een complex beeld dat de simpele gedachte van AI als óf een perfecte vervanging óf een totale mislukking, uitdaagt. Wanneer de onderzoekers naar de algehele kwaliteit van de beoordelingen keken, presteerde het beste AI-systeem beter dan de laagst beoordeelde menselijke beoordelaar op elk artikel. Sterker nog, op een gecombineerde score van juistheid, belang en bewijsvoering, presteerde het beste AI-systeem zelfs beter dan de beste menselijke beoordelaar voor elk artikel. Dit suggereert dat AI al in staat is om feedback te produceren die nuttiger is dan de zwakste menselijke beoordelingen die momenteel in omloop zijn.
De AI was echter niet foutloos. De menselijke experts merkten op dat de AI meer feitelijke fouten maakte dan de top menselijke beoordelaars. De AI las de tekst soms verkeerd of begreep de methoden niet goed. Toch waren de kritieken van de AI, wanneer deze wel correct waren, vaak significanter dan die van de mensen. De AI had de neiging om grote, cruciale problemen op te merken die menselijke beoordelaars over het hoofd zagen. In totaal riep de AI legitieme zorgen op die geen enkele menselijke beoordelaar had opgemerkt in 26% van de gevallen. Dit geeft aan dat de AI niet simpelweg herhaalt wat mensen zeggen; het vindt nieuwe, waardevolle invalshoeken die menselijke experts over het hoofd zien.
De studie keek ook naar de mate waarin de beoordelaars met elkaar overeenstemden. In een gezond peer review-proces brengen verschillende menselijke experts verschillende perspectieven in, waardoor hun beoordelingen vaak verschillende delen van het artikel behandelen. De studie bevestigde dat menselijke beoordelaars zelden exact dezelfde kritiek herhalen; zij zijn divers. De AI gedraagt zich echter anders. Wanneer een enkele AI-beoordelaar aan een panel wordt toegevoegd, fungeert het als een nieuwe mens, waarbij het een frisse blik brengt zonder de anderen simpelweg te kopiëren. Maar als een heel panel van menselijke beoordelaars wordt vervangen door een panel van AI-beoordelaars, wordt het systeem redundant. De AI-beoordelaars hebben de neiging om veel vaker dezelfde kritiek aan elkaar te herhalen dan mensen doen. Dit betekent dat hoewel één AI-beoordelaar een geweldige toevoeging is aan een team, een team dat volledig uit AI bestaat, de diversiteit aan denkwijzen zal missen die de menselijke beoordeling zo krachtig maakt.
Ten slotte gingen de onderzoekers dieper in op de specifieke sterktes en zwaktes van de AI om te begrijpen waarom hij zo presteerde. De AI blonk uit in taken die nauwgezetheid en aandacht voor detail vereisen. Het was uitstekend in het controleren van statistische aannames, het lezen van de door auteurs verstrekte broncode en het opsporen van inconsistenties tussen de abstract en de methodensectie. Het werd niet moe en miste geen kleine details die in de tekst begraven lagen. De zwaktes lagen echter in een gebrek aan context. De AI had vaak moeite met het beoordelen van de ernst van een probleem op basis van de normen van een specifiek wetenschappelijk veld. Het kon een vorm van validatie eisen die standaard is in het ene veld maar onnodig in het andere, of het kon beweren dat een detail ontbrak terwijl het eigenlijk in een aanvullend bestand verborgen zat. De AI was rigoureus maar soms ook rigide, waarbij het een eenheidsstandaard toepaste waar een menselijke expert de flexibiliteit zou hebben getoond.
De studie concludeert dat deze AI-beoordelaars niet moeten worden gezien als vervangers van menselijke wetenschappers, maar als krachtige aanvullingen. Ze zijn het best inzetbaar om het menselijke proces te versterken, door de fouten op te sporen en de grote problemen te signaleren die een vermoeide mens zou missen, terwijl mensen de noodzakelijke context en het oordeel leveren om te bepalen wat er werkelijk toe doet. De toekomst van de wetenschappelijke beoordeling, zo suggereert de data, ligt niet in de keuze tussen mens of machine, maar in het combineren van de onvermoeibare nauwkeurigheid van de AI met de diepe, contextuele wijsheid van de menselijke expert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.