Pipette: Encoding scientific literature into an executable Skill Graph for multi-agent bioinformatics

Pipette is een multi-agent AI-framework dat end-to-end bioinformatica-workflows orchestreert via natuurlijke taal, geleid door een uit wetenschappelijke literatuur afgeleid 'Skill Graph' om complexe analyses voor benchwetenschappers toegankelijker en reproduceerbaar te maken.

De kern

Pipette: De Slimme Chef-kok voor Biologische Data

Stel je voor dat je een enorme berg ingrediënten (genetische data) hebt gekregen. In het verleden was het heel goedkoop om deze ingrediënten te verzamelen (het sequencen van DNA), maar het probleem is nu: wie kan er een heerlijk gerecht van maken?

Vroeger moesten biologen zelf de recepten zoeken, de kookboeken lezen en de kookpotten in de gaten houden. Dat vereiste veel technische kennis. Als je niet wist hoe je een pan moest verwarmen of welke kruiden bij elkaar horen, kon je de hele maaltijd verprutsen.

Pipette is de oplossing voor dit probleem. Het is een slimme, autonome robot-chef die voor je kookt, maar dan in de wereld van biologie.

1. Het Probleem: De "Hallucinerende" Chef

Er zijn al slimme AI's (zoals Large Language Models) die kunnen koken. Maar als je ze vraagt om een complex gerecht te maken, doen ze soms raar. Ze zeggen misschien: "Ik ga eerst de aardappelen bakken, en daarna doe ik er rauwe vis bij." Dat klinkt logisch voor een AI, maar in de echte wereld (en in de biologie) is dat onmogelijk. De vis zou kapot gaan en het gerecht is onbruikbaar.

AI's missen vaak de regels van de keuken. Ze weten niet welke stappen logisch op elkaar volgen.

2. De Oplossing: De "Skill Graph" (Het Gouden Receptenboek)

Pipette heeft een geheim wapen: de Skill Graph.
Stel je dit voor als een gigantisch, interactief receptenboek dat is geschreven door duizenden van de beste chefs (wetenschappers) ter wereld.

• Hoe werkt het? De makers van Pipette hebben meer dan 20.000 wetenschappelijke artikelen gelezen. Ze hebben eruit gehaald welke stappen altijd samen horen.
• De Metafoor: In dit boek staat niet alleen "kook de aardappelen", maar ook: "Je mag pas de vis toevoegen ALS de aardappelen gaar zijn, en je mag de vis NIET toevoegen als de pan nog te heet is."
• Het resultaat: De AI kan geen gekke combinaties maken. Hij wordt door dit boek geleid om alleen stappen te zetten die wetenschappelijk bewezen werken. Dit voorkomt dat hij "hallucineert" (fouten maakt).

3. Hoe Pipette Werkt: Het Team in de Keuken

Pipette is niet één robot, maar een heel team dat samenwerkt:

1. De Copilot (De Ober): Jij praat met de ober. Jij zegt: "Ik wil weten welke genen actief zijn bij deze ziekte." De ober begrijpt wat je bedoelt en roept het team.
2. De Executor (De Chef-kok): Deze robot pakt de ingrediënten en begint te koken. Hij gebruikt de regels uit het receptenboek (de Skill Graph) om te beslissen wat hij als eerste doet. Als er iets misgaat (bijvoorbeeld een tool werkt niet), denkt hij na en probeert hij een ander recept.
3. De Reviewer (De Kwaliteitscontroleur): Dit is een strenge inspecteur. Hij kijkt mee terwijl de chef kookt. Zegt de chef: "Ik heb de vis 1 minuut gebakken," zegt de inspecteur: "Nee, dat is te kort, dat is rauw." Dan moet de chef opnieuw beginnen. Dit zorgt ervoor dat het eindresultaat perfect is.
4. De Reporter (De Serveerster): Zodra het gerecht klaar is, schrijft ze een mooi verslag op met foto's van het eten en legt uit waarom het zo lekker smaakt. Ze zorgt ook dat je precies weet welke ingrediënten erin zaten (zodat je het later kunt namaken).

4. Wat Kan Pipette Al? (De Proefjes)

De wetenschappers hebben Pipette laten koken met vier verschillende soorten "maaltijden":

• De Cellen van het Bloed: Ze gaven Pipette data van witte bloedcellen. Pipette kon automatisch de verschillende soorten cellen herkennen en tellen, precies zoals een menselijke expert dat zou doen.
• De Rijstplant: Ze gaven data van rijst die onder stress stond (hitte of droogte). Pipette kon precies vertellen welke genen de plant hielpen om te overleven.
• De Medicijnen: Ze vroegen Pipette om een nieuw medicijn te ontwerpen dat aan een ziekte-eiwit plakt. Pipette ontwierp een molecuul, testte het in de computer en zag dat het perfect paste. Zelfs als de software een foutje gaf, kon Pipette zichzelf corrigeren.
• De Medische Diagnose: Ze gaven Pipette het DNA van een patiënt. Pipette keek of er gevaarlijke fouten in zaten die ziekten kunnen veroorzaken. Het deed dit volgens de strenge internationale regels voor artsen en gaf een duidelijk advies.

5. Waarom is dit belangrijk?

Vroeger moest je een computerexpert zijn om deze analyses te doen. Nu kun je gewoon tegen Pipette praten in gewone taal.

• Voor de bioloog: Je hoeft niet meer urenlang te zoeken naar de juiste code. Je kunt je focussen op de wetenschap.
• Voor de patiënt: Het betekent dat artsen sneller diagnoses kunnen stellen en betere behandelingen kunnen vinden.
• Voor de wetenschap: Omdat Pipette alles opschrijft (wie heeft wat gedaan, met welke versie van de software), is het resultaat altijd eerlijk en te controleren.

Samenvatting

Pipette is als een super-slimme, onfatsoenlijke assistent die een gouden receptenboek (de Skill Graph) heeft gelezen. Hij zorgt ervoor dat je nooit een onmogelijke stap zet in je onderzoek. Hij kookt de data om tot bruikbare kennis, controleert zijn eigen werk, en schrijft het verslag voor je. Hierdoor wordt de drempel om genetisch onderzoek te doen veel lager, zodat meer mensen de geheimen van het leven kunnen ontrafelen.

Technische samenvatting

Titel: Pipette: Het coderen van wetenschappelijke literatuur in een uitvoerbare vaardigheidsgrafiek voor multi-agent bio-informatica

1. Het Probleem

Ondanks dat de kosten voor genomische sequencing de afgelopen tien jaar met meerdere ordes van grootte zijn gedaald, blijft data-analyse een knelpunt. De capaciteit om deze data te interpreteren is niet evenredig meegegroeid; de bottleneck is verschoven van datageneratie naar data-analyse.

• Expertise-tekort: Een typisch NGS-experiment vereist commando-lijnvaardigheden, kennis van diverse softwaretools, statistische methoden en het vermogen om deze te koppelen in reproduceerbare workflows. Dit creëert een afhankelijkheid van computationele experts voor de meeste laboratoriumbiologen.
• Beperkingen van LLM's: Hoewel Large Language Models (LLM's) bio-informatica-code kunnen genereren, produceren ze vaak inconsistente multi-stap workflows. Ze missen domeinspecifieke analytische beperkingen (bijv. welke operaties compatibel zijn, welke datatypes tussen tools stromen), wat leidt tot onvolledige of "hallucinerende" workflows. Bestaande systemen zijn vaak beperkt tot één data-modality of missen transparantie in redenering en reproduceerbaarheid.

2. Methodologie: Het Pipette Framework

Pipette is een multi-agent AI-framework dat natuurlijke taalverzoeken omzet in rigoureuze, reproduceerbare bio-informatica-workflows. De architectuur bestaat uit twee hoofdcomponenten:

A. De Skill Graph (Vaardigheidsgrafiek)
Dit is het kerninnovatiepunt van Pipette. Het is een gerichte, gewogen kennisgrafiek die is afgeleid van meer dan 20.000 peer-reviewed publicaties.

• Constructie: De grafiek is gebouwd met behulp van een dubbel-sporen extractiepijplijn:
  1. NER & RE: Fine-tuning van PubMedBERT-modellen voor Named Entity Recognition (herkenning van tools, operaties, datatypes) en Relation Extraction (relaties zoals "GEBRUIKT" en "VOLGT OP").
  2. Document-level Ordering: In plaats van alleen zinsniveau-extractie (wat slechts 6,2% recall oplevert), analyseert Pipette de volgorde van tools binnen de gehele methodesectie van een paper. Dit verhoogt de recall naar 60,5%.
  3. Datatype-validatie: Kandidate overgangen worden gefilterd op basis van compatibiliteit tussen de output van de ene stap en de input van de volgende.
• Resultaat: Een grafiek met 91 analytische vaardigheden (nodes) en honderden geldige overgangen (edges), gewogen op frequentie in de literatuur. Dit beperkt de agent tot biologisch valide paden.

B. Multi-Agent Architectuur
Pipette werkt via een zes-staps proces, gecoördineerd door een Orchestrator Agent:

1. Copilot Agent: Interpreteert natuurlijke taal, lost ambiguïteiten op en routeert taken.
2. Executor Agent: Voert de workflow uit in een iteratieve cyclus (Plannen, Code schrijven, Uitvoeren, Observeren) met toegang tot de Skill Graph.
3. Reviewer Agent: Een onafhankelijke agent die de gegenereerde code en figuren auditert op statistische strengheid en methodologische correctheid. Bij fouten wordt een remediëringsslus geactiveerd.
4. Provenance Tracking: Genereert een machine-leesbaar Directed Acyclic Graph (DAG) van inputs, scripts, parameters en outputs voor volledige reproduceerbaarheid.
5. Reporter Agent: Stelt gestructureerde rapporten op met kwantitatieve bevindingen.
6. Hypothesis Agent: Contextualiseert resultaten in de bestaande literatuur en genereert testbare hypotheses.

3. Belangrijkste Bijdragen

• Skill Graph: Een topologische kaart van geldige analytische paden die is afgeleid uit de literatuur, wat LLM's voorkomt dat ze onmogelijke stappen combineren.
• Document-level Extractie: Het bewijs dat document-level volgorde-extractie superieur is aan sentence-level relation extraction voor het reconstrueren van wetenschappelijke workflows.
• Zelfcorrigerend Systeem: Een architectuur met een gespecialiseerde Reviewer Agent die methodologische fouten (zoals ontbrekende pH-protonatie of statistische fouten) autonoom detecteert en corrigeert.
• End-to-End Reproduceerbaarheid: Elk resultaat wordt geleverd met een volledig machine-leesbaar bewijs van herkomst (provenance), inclusief softwareversies en random seeds.

4. Resultaten en Benchmarking

Pipette werd getest op vier complexe domeinen en vergeleken met onbeperkte LLM's (zonder Skill Graph):

• Single-cell RNA-seq (PBMC & Pancreas):

  • Pipette voerde succesvol end-to-end analyses uit, inclusief QC, clustering en annotatie.
  • De celtype-samenstelling toonde een zeer hoge correlatie (r=0.959 voor PBMC, r=0.998 voor pancreas) met gepubliceerde referenties.
  • In vergelijking met onbeperkte LLM's (Claude, GPT) presteerde Pipette aanzienlijk beter in het herkennen van specifieke celtypen en het kiezen van de juiste methoden (bijv. CellTypist vs. handmatige scoring).

• Bulk RNA-seq (Rice Stress):

  • Pipette identificeerde differentieel tot expressie gebrachte genen (DEGs) met een hoge correlatie (r > 0.97) in effectgroottes met de originele studie.
  • Het systeem paste correct covariaten toe (batch, leaf segment) in het statistische model, terwijl onbeperkte LLM's vaak vereenvoudigde modellen gebruikten.

• Drug Design (Moleculaire Docking & Peptide Design):

  • Imatinib/ABL1: Pipette voerde docking uit, corrigeerde autonoom fouten in de protonatie-toestand en opgeloste softwarebugs, en bereikte een RMSD van 0.89 Å (sub-angstrom nauwkeurigheid).
  • Cyclische Peptiden: Het systeem ontwierp de novo cyclische peptiden die de p53-MDM2 interactie nabootsen, met bindingsscores die de native peptide overtroffen.

• Klinische Variant Classificatie:

  • Pipette voerde een ACMG/AMP-compliant analyse uit op het GIAB HG002 referentiestandaard.
  • Het identificeerde alle 7 ingevoegde pathogene varianten (100% sensitiviteit) zonder valse positieven (100% specificiteit).
  • Het systeem herkende complexiteit zoals compound heterozygotie en leverde klinisch relevante managementaanbevelingen.

5. Betekenis en Conclusie

Pipette vertegenwoordigt een doorbraak in het toegankelijk maken van geavanceerde bio-informatica voor bench-wetenschappers. Door de workflow-planning te koppelen aan een empirisch onderbouwde Skill Graph, lost het het probleem van "workflow-incoherentie" op dat veel LLM-agenten parten speelt.

• Verlaagde drempel: Wetenschappers hoeven geen code te schrijven of infrastructuur te beheren; ze kunnen complexe analyses uitvoeren via natuurlijke taal.
• Betrouwbaarheid: De combinatie van literatuur-gesteunde beperkingen en een onafhankelijke Reviewer Agent zorgt voor methodologische strengheid die vergelijkbaar is met menselijke peer review.
• Toekomstperspectief: Het systeem legt de basis voor autonome wetenschappelijke ontdekking, waarbij AI-workflows direct kunnen worden gekoppeld aan robotische laboratoria voor experimentele validatie.

Kortom, Pipette sluit de kloof tussen de explosie aan sequentie-data en de benodigde biologische inzichten door computationele expertise te automatiseren zonder in te leveren op reproduceerbaarheid of nauwkeurigheid.