LABBench2: An Improved Benchmark for AI Systems Performing Biology Research

Dit paper introduceert LABBench2, een verbeterde benchmark met bijna 1.900 realistische taken om de vaardigheden van AI-systemen bij het uitvoeren van biologisch onderzoek te meten, waarbij wordt aangetoond dat hoewel prestaties zijn verbeterd, er nog aanzienlijke ruimte voor groei is.

De kern

LABBench2: De "Echte Wereld" Test voor AI-Biologen

Stel je voor dat je een nieuwe student wilt aannemen voor een baan als bioloog. Je hebt twee soorten tests:

1. De oude test (LAB-Bench): Dit is als een meerkeuze-examen in de klas. De vragen zijn duidelijk, de antwoorden staan ergens in een boekje, en je mag alleen het boekje gebruiken. Het meet of de student de theorie kent.
2. De nieuwe test (LABBench2): Dit is de echte werkdag. De student moet zelf een boek zoeken in een enorme bibliotheek, een oud, beschadigd recept vinden, een database raadplegen die niet op Google staat, en een fout vinden in een experiment dat gisteren mislukt is. Er zijn geen meerkeuze-opties; ze moeten het werk doen.

Dit is precies wat het nieuwe paper LABBench2 doet. Het is een upgrade van een eerdere test voor kunstmatige intelligentie (AI) in de biologie. De boodschap is simpel: AI wordt slim, maar in de echte wereld is het nog steeds een beetje verward.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Waarom hebben we deze nieuwe test nodig?

Vroeger konden AI-modellen alleen maar "boeken lezen" en meerkeuzevragen beantwoorden. Het was alsof ze een quiz op tv deden. Maar wetenschappers doen geen quizzen; ze doen onderzoek. Ze moeten:

• Een specifiek artikel vinden tussen duizenden.
• Een figuur in een PDF interpreteren terwijl ze de rest van het artikel negeren.
• Fouten vinden in een recept voor een chemisch experiment.
• Patenten en medische proeven lezen (niet alleen wetenschappelijke artikelen).

De oude test was te makkelijk. De AI's haalden er bijna perfect scores op. LABBench2 is de "harde mode" van het spel. Het is alsof je een auto die perfect kan parkeren op een lege parkeerplaats, nu laat rijden in een drukke stad tijdens een storm.

2. Wat zit er in deze test? (De 5 Uitdagingen)

De test bestaat uit bijna 1.900 taken, verdeeld in vijf categorieën. Laten we ze vergelijken met taken voor een assistent:

• De Bibliotheek (Literatuur): De AI moet een specifiek antwoord vinden in een specifiek artikel.
  • De twist: Soms krijg je alleen de titel en moet je het artikel zelf vinden (zoals een speurtocht). Soms krijg je de hele PDF en moet je de juiste pagina vinden tussen duizenden pagina's.
• De Database (Data): Biologen werken met enorme lijsten met gegevens (zoals DNA-sequenties). De AI moet precies weten welke knop te drukken in een ingewikkeld systeem om het juiste getal te vinden.
  • De twist: Dit is als het vinden van een specifiek speld in een hooiberg, maar de hooiberg is een computerprogramma dat niet op Google werkt.
• Het Recept (Protocollen): Stel, een recept voor een taart zegt "bak 20 minuten", maar de taart is verbrand. De AI moet de fout vinden in het recept.
  • De twist: De fouten zijn subtiel (bijv. "de temperatuur is 2 graden te hoog") en het recept is lang en ingewikkeld.
• De DNA-Builder (Moleculaire Biologie): De AI moet een recept schrijven om een stukje DNA te kopiëren of te veranderen.
  • De twist: Het moet exact kloppen. Als je één lettertje verkeerd typt in een DNA-sequentie, werkt het experiment niet. De AI moet hier vaak software voor gebruiken, net als een mens.
• De Rekenmeester (Experimentplanning): De AI moet een heel experiment plannen van begin tot eind, inclusief welke chemicaliën nodig zijn.

3. Wat zijn de resultaten? (De "Pijnlijke" Waarheid)

De makers hebben de beste AI-modellen van vandaag getest. Hier is wat ze zagen:

• De "Schok": De scores zijn flink gedaald vergeleken met de oude test. Sommige modellen haalden 26% tot 46% minder punten. Dat klinkt slecht, maar het is eigenlijk goed nieuws: het betekent dat de test echt moeilijk is en niet meer "opgeblazen" door makkelijke vragen.
• Het Zoekprobleem: AI's zijn goed in het lezen van een tekst die je hen geeft. Maar als ze zelf een tekst moeten zoeken op internet of in een database, raken ze in paniek. Ze vinden vaak het verkeerde artikel of de verkeerde pagina.
• Het Visuele Probleem: Als je een plaatje (een grafiek) direct laat zien, begrijpen ze het goed. Maar als ze dat plaatje moeten vinden in een heel lang document, verliezen ze het overzicht.
• De Tool-Gebruik: AI's worden veel beter als ze mogen "rekenen" (code uitvoeren) of zoeken op het web. Het is alsof je een student een rekenmachine geeft; plotseling kunnen ze de wiskundige taken veel beter. Maar ze zijn nog steeds slecht in het gebruiken van de juiste database-tools.

4. Waarom is dit belangrijk?

Dit paper zegt ons: We zijn nog niet klaar om AI's volledig de leiding te geven over het laboratorium.

Het is alsof we een robot hebben gebouwd die perfect kan koken als je hem precies vertelt wat hij moet doen en alle ingrediënten voor hem neerzet. Maar als je zegt: "Ga zelf een recept vinden, ga naar de supermarkt, koop de juiste producten en maak een taart," dan loopt de robot tegen de muur.

De grote lessen voor de toekomst:

1. Zoeken is moeilijk: AI's moeten leren beter te zoeken in de "zee" van wetenschappelijke informatie.
2. Exactheid is cruciaal: In de biologie telt elke letter. AI's moeten leren om niet te "gokken", maar exact te werken.
3. Speciale hulpmiddelen: AI's hebben speciale gereedschappen nodig (zoals software voor DNA) om echt goed te werken, net als een menselijke wetenschapper.

Conclusie:
LABBench2 is de "reality check" voor AI in de wetenschap. Het toont aan dat we nog een lange weg te gaan hebben voordat AI's volledig zelfstandig nieuwe medicijnen kunnen ontwikkelen of complexe experimenten kunnen leiden. Maar het is een noodzakelijke stap: we kunnen pas verbeteren als we weten waar we falen. De test is nu beschikbaar voor iedereen, zodat ontwikkelaars hun AI's kunnen trainen om van "slimme quizzen" naar "echte wetenschappers" te groeien.

Technische samenvatting

Probleemstelling

Hoewel de optimisme rondom AI in de wetenschappelijke ontdekking groeit, blijven bestaande benchmarks vaak beperkt tot het testen van rote kennis of redenering in gecontroleerde, onrealistische omgevingen. De oorspronkelijke benchmark, LAB-Bench, was een pionier in het meten van biologische onderzoekstaken, maar had beperkingen:

• Het gebruikte voornamelijk meerkeuzevragen (MCQ), wat het beoordelen vereenvoudigde maar de realiteit niet volledig weergaf.
• Het scenario's waren vaak kunstmatig (bijv. het geven van een figuur los van de context van het volledige artikel).
• Het gaf geen rekening met de groeiende capaciteiten van "agentic" systemen (AI-agenten die zelfstandig handelen) en de toegenomen prestaties van frontier-modellen, die op sommige LAB-Bench-taken bijna menselijk of supermenselijk presteren.

Er is een dringende behoefte aan een benchmark die de werkelijke, praktische vaardigheden van AI-systemen meet in realistische wetenschappelijke workflows, inclusief het zoeken naar informatie, het omgaan met bestanden, en het uitvoeren van complexe experimenten.

Methodologie: LABBench2

LABBench2 is een geëvolueerde versie van LAB-Bench, bestaande uit bijna 1.900 taken verdeeld over vijf brede categorieën. Het doel is om de realiteit van biologisch onderzoek na te bootsen door open antwoorden, bestandsinvoer en informatie-ophaling (retrieval) te vereisen.

De belangrijkste categorieën en hun specificaties zijn:

1. Literatuurbegrip en -ophaling:

   • LitQA3: Open-vraag varianten waarbij modellen volledige teksten moeten lezen en redeneren.
   • FigQA2 & TableQA2: Testen van het begrijpen van figuren en tabellen in drie modi: (i) alleen de afbeelding, (ii) het volledige PDF-artikel (waar het model de juiste figuur moet vinden), en (iii) ophaling (het model moet het artikel eerst vinden).
   • PatentQA & TrialQA: Ophaling van informatie uit octrooien en klinische proeven, niet alleen uit wetenschappelijke papers.
   • SuppQA2: Toegang tot supplementaire materialen (SI) van papers, die vaak ongestructureerd en divers zijn (data, methoden, extra figuren).
   • SourceQualQA: Een nieuwe categorie die het vermogen test om de kwaliteit van een studie te beoordelen en redenen te geven voor uitsluiting uit een analyse, zonder vooraf gedefinieerde checklists (autonoom wetenschappelijk oordeel).

2. Data-toegang (DbQA2):

   • Taken die toegang vereisen tot specifieke biologische databases (43 bronnen). Het model moet records vinden en precieze informatie extraheren, vaak met complexe schema's en identificeerders.

3. Moleculaire Biologie (SeqQA2 & CloningQA):

   • SeqQA2: Taken voor het manipuleren van DNA-sequenties. De realisme wordt verhoogd door sequenties via bestanden of ophaling te geven in plaats van alleen in de prompt. Er zijn aangepaste verifiers (controlefuncties) voor taken zoals primerontwerp.
   • CloningQA: Vereist het volledige end-to-end ontwerp van een moleculaire klooningsprotocollen, inclusief reagentia en stappen, in een domeinspecifieke taal.

4. Protocol Troubleshooting (ProtocolQA2):

   • Modellen moeten fouten identificeren in gepubliceerde protocollen (bijv. in PDF's) die leiden tot een hypothetisch negatief resultaat.

5. Experiment Planning:

   • Uitgebreide scenario's voor het plannen van experimenten.

Constructie: De taken zijn ontwikkeld door gespecialiseerde domeinexperts (PhD-niveau) via een webplatform. Vragen zijn zorgvuldig geverifieerd om te zorgen dat ze alleen met de bron kunnen worden beantwoord en geen tegenstrijdige informatie bevatten.

Belangrijkste Resultaten

De evaluatie van huidige frontier-modellen (zowel basismodellen als modellen met tools zoals webzoekopdrachten en code-uitvoering) toont de volgende bevindingen:

• Significante Toename in Moeilijkheid: LABBench2 is aanzienlijk moeilijker dan LAB-Bench. De nauwkeurigheid daalt met 26% tot 46% per subtaak. Dit wordt veroorzaakt door de realistischere contexten (open antwoorden, bestandsafhankelijkheid, ophaling).
• Rol van Tools:
  • Toegang tot tools (webzoekopdrachten, code) verbetert de prestaties aanzienlijk, vooral bij ophalingstaken (LitQA3, PatentQA).
  • Echter, tools lossen niet alle problemen op. Het openen en interpreteren van informatie binnen supplementaire bestanden (SuppQA2) en het navigeren in databases (DbQA2) blijft een grote bottleneck.
• Visueel Begrip: Modellen presteren goed bij het lezen van figuren/tabellen als deze direct worden aangeboden. De prestaties dalen echter drastisch wanneer het model eerst het juiste artikel moet vinden en vervolgens de figuur binnen dat artikel moet lokaliseren.
• Input-Modus: Voor moleculaire biologie (SeqQA2) presteren modellen het beste bij directe prompt-invoer of bestandsupload. Ophaling van sequenties werkt slecht.
• Specifieke Vaardigheden: Prestaties zijn niet uniform. Taken die het identificeren van sub-sequenties vereisen (bijv. primerontwerp) scoren lager dan globale operaties. Berekeningstaken profiteren sterk van code-uitvoering.

Bijdragen

1. Uitgebreide Realiteit: Introductie van LABBench2 met bijna 1.900 taken die realistischere workflows simuleren (open antwoorden, bestandsinvoer, ophaling uit diverse bronnen).
2. Nieuwe Categorieën: Toevoeging van taken voor octrooien, klinische proeven en, cruciaal, Source Quality Assessment (autonoom beoordelen van studiegeschiktheid).
3. Openbare Resources: Publicatie van het dataset op Hugging Face en een openbare evaluatie-harness (eval harness) op GitHub voor de gemeenschap.
4. Basislijnen: Verschaffing van basislijnen voor state-of-the-art modellen, wat een referentiepunt biedt voor toekomstige ontwikkelingen.

Significantie en Conclusie

LABBench2 markeert een verschuiving in het evalueren van AI in de wetenschap: van het testen van kennis naar het testen van toegepaste vaardigheden.

• Gaten in Actuele Modellen: Het benchmark onthult dat hoewel redeneervermogen is verbeterd, modellen nog steeds tekortschieten in het betrouwbaar lokaliseren van informatie in lange documenten, het navigeren in gespecialiseerde databases, en het handhaven van exacte string-nauwkeurigheid bij sequentiebewerkingen.
• Richting voor Ontwikkeling: De resultaten wijzen op de noodzaak van:
  • Robuustere ophalingssystemen (retrieval).
  • Betere documentparsing (vooral PDF's en supplementen).
  • Gespecialiseerde tools voor databasetoegang en sequentiemanipulatie.
  • Systemen die wetenschappelijk oordeel kunnen vellen, niet alleen checklists volgen.

LABBench2 dient als een de facto standaard om de voortgang van AI-systemen voor wetenschappelijk onderzoek te meten en helpt de ontwikkeling van AI-tools die daadwerkelijk bruikbaar zijn in de dagelijkse praktijk van biologisch onderzoek.