In een laboratorium volgt een wetenschapper zelden een gedrukt recept exact zoals het geschreven staat. De wereld van de natte biologie wordt gedefinieerd door aanpassing. Een protocol, wat simpelweg een gedetailleerde reeks instructies voor een experiment is, is vaak slechts een startpunt. Wanneer een onderzoeker dat experiment verplaatst naar een nieuw celtype, een ander apparaat of een iets andere chemische omgeving, moet hij de stappen aanpassen. Dit gaat niet alleen over het veranderen van een getal; het gaat erom te begrijpen hoe één verandering doorwerkt in de rest van het proces. Als een wetenschapper de temperatuur in de eerste stap verandert, moet hij misschien de tijd in de derde stap aanpassen, of een chemische stof in de laatste stap vervangen. Dit correct doen vereist een diep, praktisch begrip van oorzaak en gevolg, waarbij een kleine fout in het midden de resultaten aan het einde kan verpesten. Decennialang is dit soort redeneren een uniek menselijke vaardigheid geweest, die steunt op ervaring en intuïtie waar computers moeite mee hebben gehad om dit na te bootsen.

Onderzoekers bij Benchling, een bedrijf dat software voor wetenschappers bouwt, hebben een nieuwe manier ontwikkeld om te testen of kunstmatige intelligentie dit specifieke type denken kan beheersen. Ze introduceerden een test genaamd BenchBench-Protocol. In plaats van een computer te vragen een verzonnen probleem op te lossen of feiten uit een tekstboek op te dreunen, gaven ze het een realistische uitdaging: neem een gepubliceerd wetenschappelijk protocol en pas het aan voor een nieuwe situatie, precies zoals een menselijke wetenschapper dat zou doen. Het team heeft deze uitdagingen niet uit het niets uitgevonden. Ze keken naar duizenden werkelijke experimenten die door echte wetenschappers op het Benchling-platform zijn uitgevoerd. Ze vonden gevallen waarin een wetenschapper een standaard, gepubliceerd protocol nam en het aanpaste om aan zijn specifieke behoeften te voldoen. Door de oorspronkelijke instructies te vergelijken met de aangepaste versie van de wetenschapper, extraheerden de onderzoekers de exacte logica die de mens gebruikte. Vervolgens vertaalden ze deze praktijkgerichte aanpassingen naar 149 afzonderlijke testvragen. Elke vraag vraagt een kunstmatige intelligentie om uit te leggen hoe het een protocol zou aanpassen en, cruciaal, om te rechtvaardigen waarom die veranderingen noodzakelijk zijn.

Om deze tests eerlijk en nauwkeurig te maken, vertrouwden de onderzoekers niet op computers om de antwoorden te beoordelen. Ze haalden menselijke experts erbij. Elke van de 149 taken werd beoordeeld door wetenschappers die een gevorderde graad bezitten en minstens drie jaar in een laboratorium hebben gewerkt. Deze experts controleerden of de vragen zinvol waren, of de regels voor een correct antwoord wetenschappelijk onderbouwd waren en of de taak daadwerkelijk de werkzaamheden van een echte wetenschapper weerspiegelde. Ze behielden alleen de taken die de hoogste beoordelingen kregen voor kwaliteit en relevantie. De uiteindelijke set beslaat negen verschillende gebieden van de biologie, van het werken met eiwitten en cellen tot het sequensen van DNA en het kweken van microben. Het doel was om een benchmark te creëren die meet of een machine kan redeneren over de downstream-gevolgen van een verandering, in plaats van alleen maar het juiste antwoord te raden.

De onderzoekers legden vervolgens negen verschillende modellen van kunstmatige intelligentie op de proef. Deze modellen kregen het oorspronkelijke protocol, een beschrijving van het nieuwe experimentele doel en toegang tot zoekinstrumenten om informatie te vinden. Ze kregen de opdracht om een vrije tekst te schrijven waarin zij uitleggen hoe het protocol aangepast moet worden. De antwoorden werden vervolgens beoordeeld tegen de door experts geverifieerde regels. De resultaten lieten zien dat hoewel deze modellen aanzienlijke vooruitgang hebben geboekt, ze nog een lange weg te gaan hebben. Het best presterende model, Claude Opus 5, behaalde een score van 59,2 procent. Dit betekent dat het in net iets meer dan de helft van de gevallen de noodzakelijke wijzigingen en hun gevolgen correct adresseerde. De andere modellen scoorden tussen de 34,1 procent en 47,1 procent. Zelfs de beste presteerder liet een groot deel van de punten onverdiend liggen, wat aangeeft dat de test moeilijk is en dat de modellen nog niet perfect zijn.

De studie keek ook naar wat er gebeurt wanneer een model de gelegenheid krijgt om dezelfde vraag meerdere keren te proberen, wat het simuleren van een wetenschapper nabootst die een simulatie uitvoert of enkele verschillende opties controleert voordat hij een beslissing neemt. Wanneer de onderzoekers het beste antwoord uit tien pogingen namen, verbeterden de scores, maar de kloof tussen de modellen veranderde. Sommige modellen die gemiddeld waren bij een enkele poging, werden veel sterker wanneer ze meerdere kansen kregen, terwijl anderen consistent bleven. Dit suggereert dat verschillende modellen verschillende sterktes hebben; sommige zijn betrouwbaarder, terwijl anderen eerder een briljant antwoord produceren als ze geluk hebben. Zelfs met tien pogingen wist het beste model nog steeds niet alle beschikbare punten te innen, wat bewijst dat de benchmark nog niet "verzadigd" of te makkelijk is voor de huidige technologie.

De onderzoekers ontdekten dat de modellen anders presteerden afhankelijk van het type taak. Ze waren relatief goed in taken die vereisten dat ze experimenteel bewijs bekeken en een logische conclusie trokken. Ze hadden echter meer moeite met taken die "tacit knowledge" (stilzwijgende kennis) vereisten — het soort onderbuikgevoel of intuïtie dat een expert heeft over wat de meest waarschijnlijke of beste aanpak is in een chaotische, echte situatie. Dit gold met name voor het oplossen van problemen (troubleshooting), waarbij een model moet uitzoeken waarom een experiment mislukte en hoe het te herstellen. De modellen varieerden ook in de mate waarin ze hun zoekinstrumenten gebruikten. Sommige modellen, zoals Grok, verbruikten een enorme hoeveelheid data door het internet uitgebreid te doorzoeken, terwijl anderen conservatiever waren. De studie merkte op dat deze hoogwaardige redeneerinstellingen, die de modellen de ruimte gaven om diep na te denken en breed te zoeken, gepaard gingen met een hoge kost in termen van rekenkracht en tijd.

Uiteindelijk biedt dit werk een gegrondere manier om de vooruitgang in kunstmatige intelligentie voor de wetenschap te meten. Door de test te baseren op werkelijke aanpassingen gemaakt door echte wetenschappers, vermeden de onderzoekers de valkuil van het creëren van kunstmatige problemen die mogelijk de complexiteit van echt laboratoriumwerk niet weerspiegelen. De bevindingen laten zien dat hoewel kunstmatige intelligentie een nuttige tool voor wetenschappers aan het worden is, het nog geen vervanging is voor het menselijk oordeel in het laboratorium. De modellen kunnen feiten onthouden en instructies opvolgen, maar ze worstelen nog steeds met de genuanceerde, stapsgewijze redenering die nodig is om een wetenschappelijk protocol veilig en effectief aan te passen. Naarmig deze instrumenten gebruikelijker worden in onderzoek, zullen benchmarks zoals BenchBench-Protocol essentieel zijn om te begrijpen waar ze slagen en waar ze nog moeten leren. De weg vooruit houdt niet alleen in dat modellen slimmer worden, maar ook dat ze leren begrijpen hoe de keten van oorzaak en gevolg de wetenschappelijke methode definieert.