Benchmarking Agentic Bioinformatics Systems for Complex Protein-Set Retrieval: A Coccolithophore Calcification Case Study

Deze studie benchmarkt drie AI-agenten voor het ophalen van coccolithophore-calcificatie-eiwitten en concludeert dat Codex, ondanks een kleinere output, de beste balans biedt tussen gevoeligheid, specificiteit en herhaalbaarheid door effectieve prompt-decompositie en taxonomische afbakening, terwijl systemen met grotere output zoals Biomni en DeerFlow meer irrelevante eiwitten genereren.

De kern

Stel je voor dat je een enorme bibliotheek moet doorzoeken om alle boeken te vinden die over een heel specifiek onderwerp gaan: hoe een bepaald type zeewier (de coccolithophore) zijn eigen kalkskelet bouwt.

Deze taak is lastig, want het skelet wordt niet door één soort "bouwmeester" gemaakt. Het is een teamwerk van tientallen verschillende soorten: er zijn mensen die kalk vervoeren, anderen die de zuurgraad regelen, weer anderen die het skelet vastzetten, en nog anderen die de signalen geven om te beginnen.

In dit onderzoek hebben we gekeken naar drie verschillende AI-assistenten (drie "robot-bibliothecarissen") om te zien wie het beste werk leverde bij het vinden van deze boeken (eiwitten) in de grote database UniProt.

Hier is wat er gebeurde, vertaald in alledaagse taal:

De Drie Robot-Bibliothecarissen

1. Codex (De Precieze Architect):
   Deze robot was als een zeer nauwkeurige architect. Hij zocht niet naar elk boek dat ook maar iets met bouw te maken had, maar alleen naar die boeken die echt nodig waren voor dit specifieke project.

   • Het resultaat: Hij vond minder boeken dan de anderen, maar bijna al die boeken waren perfect relevant. Hij maakte ook een duidelijke lijst met bewijzen waarom hij elk boek koos.
   • Analogie: Hij bracht je een doos met precies de juiste schroeven en bouten, en geen enkele verkeerde.

2. DeerFlow (De Enthousiaste Verzamelaar):
   Deze robot was als een verzamelaar die alles wil hebben wat er maar op lijkt. Hij vond veel meer boeken dan Codex.

   • Het resultaat: Hij vond veel waardevolle extra boeken die Codex had gemist (vooral over de "lijm" en het "weefsel" van het skelet), maar hij had ook veel rommel in zijn doos gedaan. Een groot deel van zijn lijst bestond uit boeken die wel iets met bouw te maken hadden, maar niet specifiek voor dit zeewier.
   • Analogie: Hij bracht je een hele vrachtwagen vol met bouwmaterialen. Er zat veel nuttigs in, maar ook veel stenen en planken die je niet nodig had.

3. Biomni (De Brede Verkenner):
   Deze robot was als iemand die de hele bibliotheek binnenstormde en alles meenam wat het woord "bouw" of "chemie" in de titel had.

   • Het resultaat: Hij had de grootste stapel boeken, maar helaas was de helft daarvan onbruikbaar voor dit specifieke project. Hij had bijvoorbeeld boeken over algemene celprocessen die niets met kalk te maken hadden.
   • Analogie: Hij bracht je een berg puin. Er zat misschien wel één perfecte steen tussen, maar je moest eerst 90% van de berg weggooien om die te vinden.

Het Grote Geheim: Herhaalbaarheid

Er was nog een belangrijke test: wat gebeurt er als je de robots dezelfde opdracht twee keer geeft?

• Codex gaf bijna exact hetzelfde antwoord beide keren. Hij was betrouwbaar als een klok.
• DeerFlow gaf een beetje verschillende antwoorden, maar bleef redelijk stabiel.
• Biomni gaf elke keer een heel andere lijst. Soms vond hij heel veel, soms heel weinig. Hij was onvoorspelbaar.

Wat leren we hieruit?

De onderzoekers concludeerden dat hoe meer je vindt, niet per se betekent dat je beter bent.

• De beste strategie: Gebruik Codex als je basis. Hij heeft de juiste kern. Gebruik DeerFlow om te kijken of er nog wat extra, specifieke onderdelen bij zitten die Codex misschien over het hoofd zag.
• De les voor de toekomst: Als je AI vraagt om complexe wetenschappelijke taken te doen, moet je de opdracht heel specifiek maken (niet "zoek alles over bouw", maar "zoek alleen naar kalktransporteurs"). En je moet altijd controleren of de AI elke keer hetzelfde antwoord geeft, anders is het resultaat niet betrouwbaar.

Kortom: De beste AI-assistent is niet degene die het hardst schreeuwt of de grootste tas vol heeft, maar degene die precies weet wat je nodig hebt, consequent blijft, en je laat zien waarom hij die dingen heeft gekozen.

Technische samenvatting

Probleemstelling

Het terugvinden van eiwitten in databases zoals UniProt voor een specifiek, maar complex biologisch proces is een uitdaging voor kunstmatige intelligentie (AI). Waar het vinden van eiwitten voor een enkel enzym of pad relatief eenvoudig is, wordt het moeilijk wanneer het doelproces verspreid is over meerdere biologische mechanismen (zoals transport, matrixbiologie, glycan-remodellering en signaaltransductie).
De auteurs identificeren een specifiek probleem: Agentic AI-systemen (AI-agenten die externe databases en tools kunnen gebruiken) worden steeds vaker ingezet, maar er ontbreekt een praktische evaluatie voor prompts waarbij de doelset groot en biologisch heterogeen is. Er is onduidelijkheid over hoe goed deze systemen balans vinden tussen sensitiviteit (het vinden van alle relevante eiwitten) en specificiteit (het vermijden van irrelevante, generieke eiwitten), en hoe stabiel hun resultaten zijn bij herhaling.

Methodologie

De studie gebruikte een benchmark-taak gebaseerd op de calcificatie van coccolithoforen (een type alge dat kalkschubben maakt). Dit proces is complex en vereist coördinatie van zes mechanistisch verschillende categorieën:

1. Anorganische koolstofacquisitie en carbonaatchemie.
2. Calciumlevering en proton/pH-homeostase.
3. Organische matrix, kristaltemplating en adhesie.
4. Biosynthese en remodellering van matrix-polysacchariden.
5. Biogenese van coccolith-vesikels, trafficking en membraanremodellering.
6. Signalerings- en gen-regulerende factoren.

Vergelijkde Systemen:
Drie verschillende AI-agent-systemen werden getest op dezelfde prompt:

1. Codex app: Een multi-agent desktop-omgeving, uitgebreid met de open-source "Claude Scientific Skills" bibliotheek.
2. DeerFlow 2: Een open-source "super-agent" met standaard vaardigheden (skills).
3. Biomni Lab: Een online biomedische AI-agent gericht op tool-gebruik en retrieval-augmented planning.

Evaluatie-aanpak:

• Normalisatie: Alle outputs werden gereduceerd tot UniProt-accessienummers en ingedeeld in de zes gedeelde categorieën.
• Overlap-analyse: Er werd een drie-weg Venn-diagram-analyse uitgevoerd per categorie om de overeenkomsten en verschillen tussen de systemen te kwantificeren.
• Relevantie-beoordeling: Een heuristische score werd toegekend aan elke subset van eiwitten (Hoog, Medium, Laag-Medium, Laag relevantie) op basis van hun match met de verwachte eiwitfamilies in de literatuur over coccolithoforen.
• Repeatability: Elk systeem werd tweemaal uitgevoerd (run_1 en run_2) om de stabiliteit en reproduceerbaarheid van de resultaten te testen (gemeten via Jaccard-similariteit).

Belangrijkste Resultaten

1. Trade-off tussen Sensitiviteit en Specificiteit

• Codex: Haalde 2.118 eiwitten. Dit systeem toonde de beste balans: 92,4% van de gevonden eiwitten viel in de "hoog relevante" categorie. Het was het meest specifiek.
• DeerFlow: Haalde 6.255 eiwitten. Het was uitgebreider, maar minder specifiek: slechts 56,2% was hoog relevant; een groot deel (29,9%) was van "laag-medium" relevantie.
• Biomni: Haalde 8.752 eiwitten (het grootste aantal), maar had de slechtste specificiteit: slechts 30,5% was hoog of medium relevant. De rest bestond grotendeels uit generieke calcium-sensoren, kinases en ongespecificeerde domeinen.

2. Stabiliteit en Reproduceerbaarheid

• Codex: Zeer stabiel. De Jaccard-similariteit tussen twee runs was extreem hoog (gemiddeld 0,982 voor categorieën). De output was bijna invariant.
• DeerFlow: Gemiddelde stabiliteit (gemiddelde Jaccard 0,795). Het was stabiel bij transport-categorieën, maar minder stabiel bij signaalcategorieën.
• Biomni: Zeer instabiel (gemiddelde Jaccard 0,412). De output varieerde sterk tussen runs, vooral bij brede categorieën zoals signaaltransductie.

3. Categorie-specifieke inzichten

• Voor goed gedefinieerde transporteiwitten (zoals carbonicanhydrasen) waren alle systemen het eens.
• Voor complexe categorieën zoals "organische matrix" en "signaleren" divergeerden de systemen sterk. Codex vond unieke pentapeptide-repeat kandidaten, terwijl DeerFlow en Biomni meer lectine- en fibronectine-achtige eiwitten vonden, maar ook veel "ruis" (generieke eiwitten) introduceerden.

4. Output Kwaliteit en Provenance
Codex leverde de rijkste "provenance-artefacten" (scripts, manifesten, toegangsnummers-bewijs), wat downstream handmatige curatie vergemakkelijkte. Biomni leverde een uitvoeringslogboek, maar de inhoudelijke uitbreiding was minder goed gefocust op de specifieke prompt.

Belangrijkste Bijdragen

1. Eerste Benchmark voor Agentic Bioinformatics: De studie biedt een gestructureerde evaluatieframework voor AI-agenten in complexe eiwit-retrieval taken, waarbij niet alleen het aantal resultaten, maar vooral de biologische relevantie en stabiliteit worden beoordeeld.
2. Inzicht in Agent-architecturen: Het toont aan dat de prestaties van een agent minder afhankelijk zijn van de "ruwe outputvolume" dan van de kwaliteit van prompt-decompositie, taxonomische afbakening en de generatie van exacte query's.
3. Hybride Werkstroom Strategie: De auteurs stellen een nieuwe best-practice voor: gebruik een specifiek georiënteerde agent (Codex) als ruggengraat voor de basisset, en vul dit selectief aan met een bredere agent (DeerFlow) voor specifieke categorieën (zoals matrix-eiwitten), in plaats van vertrouwen op één systeem.
4. Stabiliteit als KPI: De studie benadrukt dat repeatability (herhaalbaarheid) een cruciale metriek is voor AI-gedreven bio-informatica. Instabiele systemen genereren grote downstream curatiekosten.

Significantie en Conclusie

De studie concludeert dat voor complexe bio-informatica taken, de keuze van het AI-model alleen niet voldoende is. Hoogwaardige retrieval vereist:

• Mechanistisch gestructureerde prompts (opgesplitst in sub-systemen).
• Duidelijke taxonomische grenzen.
• Output met rijke provenance (scripts, bewijs).
• Validatie via herhaalde runs.

De "beste" oplossing is geen enkel systeem, maar een hybride workflow: een specifiek agent voor de kern, aangevuld met een breder agent voor aanvullingen, gefilterd door een transparante overlap-analyse. Dit biedt een blauwdruk voor hoe onderzoekers AI-agenten kunnen inzetten voor betrouwbare, reproduceerbare en biologisch zinvolle data-extractie.