Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
De Science Edge Evaluation (SEE) benchmark onthult dat huidige multimodale grote taalmodellen er moeite mee hebben om betrouwbaar op bewijs gebaseerde inzichten af te leiden uit experimentele gegevens bij wetenschappelijke ontdekkingen in de echte wereld, wat een kritieke kloof benadrukt tussen het verklaren van gevestigde concepten en het genereren van nieuwe, gerechtvaardigde wetenschappelijke inferenties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne laboratorium is ontdekking zelden een plotselinge ingeving. Het is een traag, doelgericht proces van het verzamelen van bewijs. Een wetenschapper kijkt naar een spectrum van licht dat van een molecuul weerkaatst, een microscopische afbeelding van een cel, of een grafiek van temperatuurveranderingen, en vraagt zich af wat deze stille signalen werkelijk betekenen. Het antwoord moet strikt gebaseerd zijn op wat de data laten zien, niet op wat de wetenschapper hoopt te vinden of wat hij in andere experimenten heeft gezien. Deze discipline om je aan het bewijs te houden, is het fundament van betrouwbare wetenschap. Vandaag de dag wordt van krachtige computerprogramma's, bekend als large language models, gevraagd om bij dit werk te assisteren. Deze systemen kunnen enorme bibliotheken aan wetenschappelijke papers lezen en complexe theorieën met gemak bespreken. Maar een kritische vraag blijft: kunnen zij kijken naar een ruwe, ongeordende set experimentele resultaten en een conclusie trekken die zowel correct als strikt beperkt is door wat de data toelaten?
Een nieuwe studie getiteld "Science Edge Evaluation" pakt deze vraag direct aan. Onderzoekers van Alibaba Group, Tsinghua University en andere instellingen creëerden een rigoureuze test om te zien of deze kunstmatige intelligentiesystemen werkelijk kunnen fungeren als partners in echte wetenschappelijke ontdekkingen. Zij bouwden een benchmark genaamd SEE, die bestaat uit meer dan duizend vragen afkomstig uit daadwerkelijk gepubliceerde onderzoeken in de chemie, biologie en materiaalkunde. In tegenstelling tot eerdere tests die simpelweg vroegen of een model een feit kende of een tekstboekprobleem kon oplossen, presenteert deze benchmark de modellen met hetzelfde visuele bewijs dat een menselijke wetenschapper zou zien—zoals gel-afbeeldingen, spectrale curves en microscoopfoto's—samen met de bijbehorende tekst. Het doel was om te zien of de modellen deze afbeeldingen konden interpreteren en een conclusie konden trekken die binnen de grenzen van het verstrekte bewijs bleef, zonder te gissen of feiten te verzinnen.
De resultaten van deze evaluatie waren sober. De onderzoekers testten achttien verschillende geavanceerde modellen, waaronder zowel algemene systemen als systemen die specifiek voor wetenschap zijn getraind. Zelfs het best presterende model slaagde er slechts in om 48,7 procent van de tijd correct te antwoorden. Geen enkel model bereikte de grens van 50 procent. Deze lage score suggereert dat de huidige kunstmatige intelligentie nog niet betrouwbaar genoeg is om de genuanceerde redenering aan te kunnen die nodig is in een echt laboratorium. Misschien nog verrassender is dat de modellen die specifiek voor de wetenschap zijn ontworpen, de algemene modellen niet overtroffen. Sterker nog, de algemene modellen waren gemiddeld iets beter. Deze bevinding geeft aan dat het simpelweg voeden van een computer met meer wetenschappelijke feiten of het trainen ervan op gespecialiseerde teksten niet genoeg is. Het ontbrekende stuk is niet kennis, maar het vermogen om zorgvuldig te redeneren op basis van de specifieke bewijslast die voorhanden is.
De studie keek ook naar wat er gebeurt wanneer deze modellen worden voorzien van hulpmiddelen om hen te helpen, zoals de mogelijkheid om het internet te doorzoeken voor achtergrondinformatie of een code interpreter te gebruiken om afbeeldingen wiskundig te analyseren. Het geven van deze hulpmiddelen aan de modellen hielp wel, wat de hoogste nauwkeurigheid naar 52,7 procent bracht. De verbetering was echter bescheiden, en de modellen maakten nog steeds significante fouten. De onderzoekers ontdekten dat hoewel hulpmiddelen meer informatie konden bieden, ze het kernprobleem niet oplosten: de modellen hadden nog steeds moeite om die informatie correct te beheren. Ze faalden vaak in het stoppen wanneer ze genoeg bewijs hadden, of ze combineerden nieuwe data met oude aannames op manieren die leidden tot onjuiste conclusies. De hulpmiddelen breidden uit wat de modellen konden zien, maar ze leerden de modellen niet hoe ze binnen de grenzen van wat ze zagen moesten denken.
Toen de onderzoekers de specifieke manieren analyseerden waarop de modellen faalden, kwam er een duidelijk patroon naar voren. De fouten vielen uiteen in twee hoofdcategorieën: perceptie en inferentie. Wat betreft perceptie ontbrak het de modellen vaak aan de precisie om exacte getallen uit een grafiek of een spectrum af te lezen. Ze waren goed in het herkennen van algemene patronen, maar slecht in het fungeren als meetinstrument. Wat betreft inferentie lieten de modellen hun voorkennis vaak de werkelijke visuele bewijslast overheersen. Als een afbeelding iets ongewoons toonde, negeerde het model vaak het vreemde detail en beschreef in plaats daarvan wat het verwachtte te zien op basis van de trainingsdata. Ze hadden ook de neiging tot overextrapolatie: het nemen van een klein, gedeeltelijk resultaat en dit omzetten in een brede, definitieve conclusie die de data niet ondersteunden.
Een van de meest onthullende experimenten betrof het volledig verwijderen van de afbeeldingen en het vragen aan de modellen om uitsluitend op basis van de tekst te antwoorden. Een werkelijk intelligent systeem zou moeten herkennen dat het zonder het visuele bewijs de vraag niet kan beantwoorden. In plaats daarvan probeerden de modellen bijna altijd toch te antwoorden, waarbij ze gokten op basis van de tekst alleen. Ze identificeerden ontbrekende informatie in slechts 4,6 procent van de gevallen. Dit gedrag, bekend als hallucinatie, is gevaarlijk in de wetenschap omdat het een vals gevoel van vertrouwen creëert. De modellen waren bereid een antwoord te verzinnen in plaats toe te geven dat het noodzakelijke bewijs ontbrak.
De studie concludeert dat de kloof tussen de huidige kunstmatige intelligentie en echte wetenschappelijke ontdekking niet gaat over het hebben van meer data of slimmere hulpmiddelen. De kloof ligt in het vermogen om bewijsmateriaal te beheren. Echte wetenschappelijke ontdekking vereist een systeem dat een reeks waarnemingen kan bekijken, precies kan begrijpen wat die waarnemingen bewijzen, en daar vervolgens mee stopt. Het vereist de discipline om te zeggen: "Dit is wat de data laat zien," en de drang te weerstaan om de gaten in te vullen met gissingen. Totdat kunstmatige intelligentie betrouwbaar het onderscheid kan maken tussen wat bekend is en wat slechts mogelijk is, zal het een instrument blijven voor het verklaren van gevestigde ideeën in plaats van een partner voor het ontdekken van nieuwe. De weg vooruit, suggereren de onderzoekers, is niet alleen om modellen groter of kennisrijker te maken, maar om hen de rigoureuze logica van bewijsgebonden redeneren aan te leren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.