Agentic systems are adept at solving well-scoped, verifiable problems in computational biology

Deze paper introduceert CompBioBench, een benchmark van 100 synthetische en gescrubde taken voor het objectief evalueren van agente systemen in de computationele biologie, waarbij gevestigde modellen zoals Codex CLI en Claude Code tot 83% nauwkeurigheid behalen bij het oplossen van complexe, meerstaps problemen.

De kern

De Digitale Bioloog: Hoe AI-robots de complexe wereld van het leven leren begrijpen

Stel je voor dat je een enorme bibliotheek hebt, maar dan niet met boeken, maar met miljarden losse puzzelstukjes die de geheimen van het leven bevatten: DNA, cellen, eiwitten en genen. Dit is de wereld van de computatiele biologie. Vroeger moesten mensen (wetenschappers) urenlang zitten om deze puzzels op te lossen, scripts te schrijven en databases te doorzoeken.

Nu komen er nieuwe "robots" op de proppen: AI-agenten. Dit zijn slimme computerprogramma's die niet alleen antwoorden kunnen geven, maar ook zelf kunnen nadenken, tools zoeken, code schrijven en data downloaden om een probleem op te lossen.

Maar hoe slim zijn deze robots echt? Kunnen ze het hoofd bieden aan de chaotische, rommelige en soms onduidelijke wereld van de biologie?

De Uitdaging: Een Vervuilde Spoorlijn

In de wiskunde of programmering is het antwoord vaak duidelijk: 2 + 2 is altijd 4, of een stuk code werkt of het werkt niet. Biologie is anders. Het is als een spoorlijn die door modder loopt. De data zijn vaak "ruis" (vervuiling), onvolledig en open voor interpretatie.

Als je een AI vraagt: "Welk gen veroorzaakt deze ziekte?", is het antwoord zelden één simpel woord. Het vereist een lange reeks stappen: data ophalen, vergelijken, twijfelen, nieuwe tools zoeken en opnieuw proberen.

De Oplossing: CompBioBench (De Grote Test)

De auteurs van dit paper (van Genentech en Roche) hebben een nieuwe test ontwikkeld, genaamd CompBioBench.

Stel je dit voor als een grote, geavanceerde sportwedstrijd voor AI-robots, maar dan in plaats van hardlopen of springen, moeten ze biologie-opdrachten uitvoeren.

• 100 Opdrachten: De test bestaat uit 100 verschillende uitdagingen, variërend van het analyseren van DNA tot het vinden van fouten in celgegevens.
• De "Valse Sporen": Om de test eerlijk te maken, hebben de makers de data soms opzettelijk "verward" of aangevuld met nep-data. De AI moet dan de echte signalen vinden tussen alle ruis.
• Geen Hulpje: De robots krijgen een "blote" computeromgeving. Ze hebben geen kant-en-klare tools of data. Ze moeten zelf op internet gaan zoeken, software installeren en hun eigen werkplek inrichten, net als een echte wetenschapper die in een nieuw lab begint.

De Wedstrijd: Wie wint er?

De onderzoekers hebben de sterkste AI-robots ter wereld tegen elkaar laten strijden, zoals Codex CLI (van OpenAI) en Claude Code (van Anthropic).

Hier zijn de resultaten, vertaald naar begrijpelijke termen:

• De Top-Prestatie: De beste robot (Codex CLI) haalde 83%. Dat betekent dat hij van de 100 vragen er 83 correct oploste. Dat is indrukwekkend!
• De Tweede: De tweede beste (Claude Code) haalde 81%.
• De Kleintjes: Kleinere, minder krachtige modellen deden het veel slechter (soms onder de 50%), wat laat zien dat "grootte" en slimheid hier echt uitmaken.

Maar er is een addertje onder het gras:
Op de allerzwaarste vragen (zoals het vinden van een naald in een hooiberg) zakte de prestatie van de beste robot naar ongeveer 60%.

• Waarom? Soms stopt de robot te vroeg. Hij denkt: "Ah, ik heb een antwoord, dat lijkt wel goed," en geeft het op, terwijl er nog een subtiel detail is dat hij over het hoofd heeft gezien. Het is alsof een detective de dader aanwijst voordat hij alle bewijs heeft gecontroleerd.

Voorbeelden uit de Wedstrijd

Om het concreet te maken, hier zijn twee voorbeelden van wat deze robots moesten doen:

1. Het "Vuil" in de Data:

   • De Opdracht: "Hier is een stukje DNA-data. Er zit een vreemd soortje tussen dat niet hoort. Welk dier is het?"
   • De Robot: De AI moet eerst de data downloaden, het bestand openen, en dan slimme statistieken gebruiken om te zien dat er een vreemde gast in zit. Ze deden dit vaak perfect.

2. De "Grote Installatie":

   • De Opdracht: "Gebruik dit specifieke, complexe computerprogramma om een mRNA-sequentie te optimaliseren."
   • De Uitdaging: Dit programma bestond niet standaard op de computer. De AI moest zelf op internet zoeken, de code vinden, de juiste versie downloaden, de software installeren en het laten werken.
   • Het Resultaat: De slimste robots deden dit in 12 tot 35 minuten. Een menselijke expert zou hier waarschijnlijk 3 tot 4 uur voor nodig hebben!

Wat betekent dit voor de toekomst?

Dit paper is een belangrijk moment in de geschiedenis van AI. Het laat zien dat deze robots niet meer alleen maar "chatbots" zijn die grappige verhalen vertellen. Ze worden echte werknemers die complexe, technische taken kunnen uitvoeren.

• Sterke punten: Ze zijn geweldig in het vinden van informatie, het installeren van tools en het uitvoeren van standaardtaken. Ze werken sneller dan mensen en vinden soms slimme oplossingen die mensen over het hoofd zien.
• Zwakke punten: Ze zijn nog niet 100% betrouwbaar. Soms geven ze op te snel of maken ze een foutje in de logica. Ze hebben nog steeds een mens nodig die "in de gaten" houdt of ze niet de verkeerde kant op gaan.

Conclusie in één zin:
Deze AI-robots zijn als superkrachtige stagiairs die razendsnel kunnen werken en alles kunnen vinden, maar die we nog even moeten controleren voordat we ze volledig alleen de leiding geven over het laboratorium. De toekomst van de biologie wordt waarschijnlijk een samenwerking tussen menselijke experts en deze digitale helpers.

Technische samenvatting

Titel: Agente systemen zijn bekwaam in het oplossen van goed gedefinieerde, verifieerbare problemen in de computationele biologie

Auteurs: Surag Nair et al. (Genentech en Roche)
Publicatie: bioRxiv preprint (april 2026)

---

1. Het Probleem

Computationele biologie is een uiterst multidisciplinair veld dat computerwetenschap, statistiek, machine learning en moleculaire biologie combineert. Praktici moeten omgaan met heterogene bestandsformaten, scripts schrijven en debuggen, en een breed scala aan gespecialiseerde tools en databases gebruiken.

Hoewel recente generieke "agente systemen" (zoals Anthropic's Claude Code en OpenAI's Codex CLI) indrukwekkende resultaten hebben geboekt op wiskundige en programmeertaken, is het evalueren van deze systemen in de biologie uitdagend vanwege:

• Ruis en interpretatie: Biologische data is inherent ruisachtig en vaak open voor interpretatie, wat het moeilijk maakt om een unieke "ground truth" (waarheid) te definiëren.
• Gebrek aan gestandaardiseerde benchmarks: Bestaande benchmarks (zoals BixBench of BioAgent Bench) zijn vaak te smal, bevatten te veel gerelateerde taken, of specificeren de aanpak te expliciet, waardoor de agent geen autonome strategie hoeft te kiezen.
• Noodzaak van context: Biologische analyses vereisen vaak het ophalen van externe data, het installeren van niche-tools en het aanpassen van de werkomgeving, wat niet wordt getest in simpele LLM-tests.

2. Methodologie: CompBioBench

De auteurs introduceren CompBioBench, een benchmark bestaande uit 100 diverse taken specifiek voor de computationele biologie.

Ontwerpprincipes:

• Enige Ground Truth: Om objectieve evaluatie mogelijk te maken zonder taken te reduceren tot een checklist, zijn de vragen ontworpen met één uniek, verifieerbaar antwoord.
• Geen prescriptieve paden: De systemen krijgen geen specifieke tools of workflows voorgeschreven; ze moeten zelf de strategie bepalen.
• Data-strategie: Omdat echte biologische data vaak ambigu is, gebruiken de auteurs:
  • Synthetische/Augmentatie-data: Data die kunstmatig is gegenereerd of aangepast (bijv. mengen van RNA-seq reads van verschillende soorten).
  • Metadata-herstel: Echte datasets worden gebruikt waarbij metadata wordt gescrambled of gewist (bijv. labels van weefsels verwisseld), zodat de agent de fout moet detecteren en corrigeren.
• Omgeving: Agents starten in een "bare-minimum" compute-omgeving. Ze hebben alleen de invoerbestanden en moeten zelf tools downloaden, omgevingen configureren en externe bronnen (API's, webpagina's) raadplegen.
• Domeinen: De benchmark dekt genomica, transcriptomica, epigenomica, single-cell analyse, menselijke genetica en machine learning workflows.

Evaluatie:
De prestaties worden gemeten via een exacte string-match tussen het antwoord van de agent en de ground truth. Numerieke antwoorden hebben een kleine tolerantie.

3. Key Contributions

1. CompBioBench: Een nieuwe, robuuste benchmark van 100 vragen die de complexiteit van echte biologische workflows nabootst, inclusief het ophalen van data en het installeren van software.
2. Nieuwe Evaluatiestrategie: Een bewezen methode om objectieve benchmarks te creëren voor ruisachtige domeinen door synthetische data en metadata-manipulatie te combineren met realistische scenario's.
3. Empirische Evaluatie van Agents: Een uitgebreide test van toonaangevende generieke agents (Codex CLI en Claude Code) in een realistische, geïsoleerde omgeving zonder vooraf geïnstalleerde "skill files" of uitgebreide toolkits.
4. Inzicht in Failures: Kwalitatieve analyse van agent-traces die blootlegt waar systemen vastlopen (bijv. voortijdig stoppen na een plausibel maar onvolledig antwoord).

4. Resultaten

De auteurs testten verschillende modellen, variërend van pure LLM's tot geavanceerde CLI-agents.

Prestaties:

• Pure LLM's (zonder agents): Presteerden zeer slecht (3,7% - 5,3% nauwkeurigheid), wat bevestigt dat memorisatie van kennis niet volstaat.
• Beste Agents:
  • Codex CLI (GPT 5.4): Bereikte 83,3% gemiddelde nauwkeurigheid.
  • Claude Code (Opus 4.6): Bereikte 81,0% gemiddelde nauwkeurigheid.
• Moeilijkheidsgraad:
  • Op de makkelijkste vragen (Level 1) behaalde Codex CLI 100% nauwkeurigheid.
  • Op de moeilijkste vragen (Level 4-5) daalde de prestatie: Claude Code (Opus) scoorde 69%, terwijl Codex CLI (GPT 5.4) 59% haalde.
• Variabiliteit: Er is aanzienlijke variatie tussen runs. Bijvoorbeeld, Codex CLI loste 92% van de vragen minstens één keer correct op in drie pogingen, maar slechts 73% in alle drie.

Kosten en Tijd:

• Tijd: De beste agents deden gemiddeld 11-18 minuten per vraag. Moeilijkere vragen namen aanzienlijk meer tijd (tot 25 minuten voor Level 4/5).
• Kosten: De kosten varieerden van $0,30 tot $1,70 per vraag, afhankelijk van het model en de complexiteit.

Specifieke Observaties:

• Agents waren bekwaam in het installeren van niche-tools (zoals Sourmash, Vireo, CellTypist) en het navigeren door complexe codebases.
• Foutpatronen: Veel fouten waren niet het gevolg van onvermogen om het probleem op te lossen, maar van voortijdig stoppen na een oppervlakkige analyse of het kiezen van een plausibel maar verkeerd analytisch pad (bijv. het negeren van multi-mapping reads in sequencing-data).
• Voorbeeld: Bij een taak om een mRNA-sequentie te optimaliseren met het Saluki-model, slaagde de agent erin om een 18 GB groot archief te doorzoeken en alleen de benodigde bestanden te extraheren via HTTP byte-range requests, een optimalisatie die zelfs voor menselijke experts uitdagend zou zijn.

5. Betekenis en Conclusie

Dit paper markeert een mijlpaal in het begrijpen van de capaciteiten van generieke agente systemen in de wetenschap.

• Betrouwbaarheid: De resultaten tonen aan dat deze systemen complexe, multi-stap taken in de computationele biologie end-to-end kunnen oplossen, inclusief data-ophaal, tool-installatie en code-schrijven.
• Toekomstperspectief: Hoewel er nog sprake is van "brittleness" (kwetsbaarheid) bij complexe analyses, suggereren de resultaten dat deze systemen binnenkort betrouwbare analisten kunnen worden.
• Richting voor de toekomst: De auteurs bepleiten dat toekomstige benchmarks moeten focussen op het testen van autonome strategie-selectie en het gebruik van synthetische/augmentatie-data om ground truths te garanderen. Ze suggereren ook dat menselijk toezicht nodig blijft voor het auditeren van tussenresultaten bij langdurige taken.

CompBioBench biedt een praktische testomgeving om de vooruitgang van agente systemen in de biologie te meten en vormt een basis voor verdere gemeenschapsontwikkeling van benchmarks.