Frontier language models recover scientific quality but predictably diverge from human reviewers
Hoewel frontier taalmodellen er succesvol in slagen gevestigde wetenschappelijke kwaliteits-hiërarchieën te herstellen en een hogere onderlinge overeenstemming bereiken dan menselijke beoordelaars, onderwaarderen zij systematisch originaliteit en vertonen zij een zwakke afstemming met mensen bij het identificeren van zwakheden in papers, wat structurele asymmetrieën in het beoordelingsproces onthult.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschap steunt op een proces dat peer review wordt genoemd, waarbij experts nieuwe wetenschappelijke artikelen lezen en beslissen of het werk goed genoeg is om gepubliceerd te worden. Dit systeem fungeert als een filter, dat ervoor zorgt dat alleen hoogwaardige ideeën in de wetenschappelijke verslaglegging terechtkomen. Echter, het aantal geschreven artikelen is geëxplodeerd, vooral in het snel bewegende vakgebied van kunstmatige intelligentie. Het enorme volume aan inzendingen heeft menselijke vrijwilligers overbelast, wat ertoe heeft geleid dat velen zich afvragen of computers zouden kunnen helpen. Large language models, dezelfde krachtige AI-systemen die essays kunnen schrijven of vragen kunnen beantwoorden, worden nu getest om te zien of ze als beoordelaars kunnen fungeren. De grote vraag is niet alleen of deze machines een artikel kunnen lezen, maar of ze kunnen begrijpen wat een artikel werkelijk goed maakt, en of hun oordeel overeenkomt met dat van menselijke experts.
Een team van onderzoekers zette zich in om dit te beantwoorden door drie van de meest geavanceerde AI-modellen op de proef te stellen. Ze verzamelden meer dan duizend artikelen over machine learning van belangrijke conferenties en tijdschriften, waaronder enkele die breed werden geaccepteerd en andere die dat minder waren. Ze vroegen de drie AI-systemen om elk artikel te lezen en ze te beoordelen op een eenvoudige vierpuntsschaal over vier categorieën: hoe wetenschappelijk solide het was, hoe duidelijk het geschreven was, hoe belangrijk het werk leek, en hoe nieuw of origineel de ideeën waren. De onderzoekers combineerden vervolgens de scores van alle drie de AI's om een enkel, consensusmatig oordeel voor elk artikel te creëren. Ze deden dit zonder de AI te vertellen welke artikelen waren geaccepteerd of welke waren afgewezen, om ervoor te zorgen dat de machines alleen het inhoudelijke aspect beoordeelden.
De resultaten toonden aan dat de AI-systemen verrassend goed waren in het herkennen van kwaliteit. Toen de onderzoekers naar de scores keken, gaf de AI consequent hogere cijfers aan artikelen van topconferenties dan aan die van kleinere workshops. Het gaf ook hogere scores aan tijdschriftartikelen die vaker door andere wetenschappers waren geciteerd dan aan vergelijkbare artikelen die minder vaak waren geciteerd. Zelfs zonder te weten wat de uitkomst was, rangschikte de AI artikelen die als mondelinge presentaties (oral talks) werden gepresenteerd hoger dan die die als posters werden gepresenteerd. Dit suggereert dat de AI de subtiele signalen van wetenschappelijke kwaliteit kan detecteren die menselijke experts al decennia gebruiken om uitstekend werk van gemiddeld werk te onderscheiden.
Echter, de studie vond ook een duidelijke en consistente fout in hoe de AI denkt. Hoewel de mensen en de machines het eens waren over de algemene kwaliteit van een artikel, onderwaardeerde de AI systematisch de originaliteit. In het beoordelingssysteem hoorde originaliteit even zwaar mee te tellen als technische nauwkeurigheid of helderheid, maar de AI-modellen gaven het consequent minder gewicht. Ze neigden de voorkeur te geven aan artikelen die methodologisch solide en goed geschreven waren, zelfs als de ideeën niet bijzonder nieuw waren, terwijl ze artikelen die wel nieuwe concepten boden maar misschien iets minder gepolijst waren, lager beoordeelden. Deze bias kwam voor in alle drie de verschillende AI-modellen, wat suggereft dat het een diepgeworteld patroon is in hoe deze systemen hebben geleerd wetenschappelijke teksten te evalueren, in plaats van een fout in een enkel programma.
De onderzoekers keken ook nauwgezet naar wat de AI zei over de sterktes en zwaktes van de artikelen, en vergeleken deze commentaren met die van menselijke beoordelaars. Ze vonden een vreemde splitsing in hoe de AI en mensen het met elkaar eens waren. Wanneer het ging om het identificeren van de goede punten van een artikel, waren de AI en de mensen vaak het sterk met elkaar eens. Maar wanneer het ging om het opsporen van de gebreken of zwaktes, miste de AI vaak zaken die mensen oppikten, of wees het problemen aan die mensen niet zagen. Deze kloof was niet uniek voor de AI; zelfs menselijke beoordelaars waren het onderling vaak oneens over zwaktes in plaats van over sterktes. Dit suggereert dat het identificeren van de gebreken in een wetenschappelijk argument een moeilijke vaardigheid is die moeilijk is voor zowel mens als machine om perfect te beheersen.
Uiteindelijk laat de studie zien dat hoewel AI een krachtig hulpmiddel kan zijn bij het sorteren door grote stapels onderzoek en het identificeren van hoogwaardig werk, het geen perfecte vervanging is voor menselijk oordeel. De machines zijn uitstekend in het herkennen van gevestigde verdienste en technische degelijkheid, maar ze worstelen met dezelfde moeilijke taak waar mensen voor staan: het opsporen van de subtiele, kritische zwaktes in een argument. De onderzoekers concluderen dat als deze tools in de toekomst worden gebruikt, ze gepaard moeten gaan met menselijk toezicht, specifiek om ervoor te zorgen dat de drang naar technische perfectie niet per ongeluk echt originele en creatieve ideeën opzij schuift.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.