OpenScientist: evaluating an open agentic AI co-scientist to accelerate biomedical discovery

Het paper introduceert OpenScientist, een open-source agentic AI-assistent die biomedische ontdekkingen versnelt door complexe analyses en hypothese-generatie in minuten uit te voeren, wat normaal gesproken weken tot maanden menselijke expertise zou vergen.

De kern

OpenScientist: De Open-Source "Medewerker" die Wetenschap Versnelt

Stel je voor dat wetenschappers als detectives zijn die proberen het geheim van ziektes zoals Alzheimer of kanker op te lossen. Maar ze hebben een groot probleem: er is zoveel bewijsmateriaal (data) dat het onmogelijk is om alles in één leven te lezen, te analyseren en te verbinden. Het is alsof je probeert een naald te vinden in een berg hooi, terwijl die berg hooi elke dag groter wordt.

Hier komt OpenScientist in beeld. Dit is geen gewone computerprogramma, maar een AI-co-wetenschapper die open-source is (iedereen mag de code zien en aanpassen) en die helpt om die naald sneller te vinden.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Super-Assistent" met een geheugen

Stel je voor dat je een assistent hebt die:

• Alles kan lezen: Hij kan duizenden medische artikelen in seconden scannen.
• Kan rekenen: Hij kan complexe statistieken uitvoeren alsof het een simpele sommetje is.
• Kan coderen: Hij schrijft zelf de computerprogramma's die nodig zijn om de data te testen.
• Niet slaapt: Hij werkt 24/7 door.

Maar in tegenstelling tot andere AI's die "zwartkist" zijn (je ziet niet hoe ze tot een conclusie komen), is OpenScientist glazen. Je kunt precies zien wat hij denkt, welke stappen hij zet en waar hij op basis van concludeert. Het is alsof hij een dagboek bijhoudt van zijn onderzoek, zodat je als mens de wetenschapper kunt controleren.

2. Vier proefballonnen: Wat heeft hij gedaan?

De auteurs van het artikel hebben OpenScientist op de proef gesteld met vier verschillende "dossiers":

• Dossier 1: Het Alzheimer-geheugenpuzzel

  • De taak: Kijk naar bloedmonsters van mensen en zeg of ze Alzheimer hebben op basis van hersenscans.
  • Het resultaat: OpenScientist keek naar de data en zei: "Kijk eens, dit ene eiwit in het bloed (%pTau217) is de beste voorspeller!" Hij deed dit in minuten, terwijl een mens er weken over zou doen. Hij kwam tot dezelfde conclusie als de menselijke experts, maar veel sneller.

• Dossier 2: De levensverwachting-berekening

  • De taak: Maak een model dat voorspelt hoe lang mensen gaan leven, gebaseerd op hun bloedproteïnen.
  • Het resultaat: Hij bouwde een model dat net zo goed (of zelfs beter) was als de beste modellen die menselijke teams hadden gemaakt. Hij vond zelfs nieuwe signalen in het bloed die wijzen op veroudering en ziekte.

• Dossier 3: De hersen-detective

  • De taak: Kijk naar cellen in hersenen van mensen met Alzheimer en vraag: "Wat gaat er mis in de 'afvalverwerking' van de cel?"
  • Het resultaat: OpenScientist ontdekte een nieuw mechanisme. Hij stelde dat de 'zuurgraad' in de celafvalverwerking (lysosomen) verandert door een specifiek probleem met ionenkanalen. Dit was een nieuw inzicht dat de menselijke onderzoekers niet direct hadden gezien, maar dat later door experts werd bevestigd.

• Dossier 4: De Kanker-test (De "Valsheidstest")

  • De taak: Dit was de echte test. OpenScientist moest hypotheses maken over kanker (myeloom) en die testen. Maar er was een truc: één dataset was echt, en de andere dataset was vervalst (de labels waren willekeurig door elkaar geschud, alsof je een boek door elkaar schudt en hoopt dat de zinnen nog zinvol zijn).
  • Het resultaat: OpenScientist slaagde! Hij zag dat de echte data wel zinvolle patronen had, maar bij de valse data zei hij: "Dit klopt niet, hier is geen echt patroon te vinden." Hij gaf toe dat zijn eigen eerdere hypothese misschien fout was toen de data dat aantoonden. Dit toont aan dat hij eerlijk is en niet alleen maar ja-zegt om aardig te zijn.

3. Waarom is dit belangrijk? (De "Open Deur" Filosofie)

Veel AI-tools in de wetenschap zijn als een gesloten fabriek: je geeft data in, en je krijgt een antwoord, maar je weet niet hoe het binnen werkt. Als de machine een fout maakt, weet je niet waarom.

OpenScientist is als een open keuken. Je kunt zien hoe de kok (de AI) de ingrediënten (data) bereidt, welke kruiden (statistieken) hij gebruikt en waar hij eventueel een foutje maakt.

• Voordelen: Het is goedkoop (een paar dollar per analyse), snel (weken van werk in minuten), en transparant.
• Nadelen: Het is nog niet perfect. Soms maakt hij kleine foutjes in de interpretatie of mist hij een nuance. Daarom is hij een co-wetenschapper, geen vervanger. De menselijke wetenschapper moet nog steeds de eindcontrole doen, net als een chef-kok die de assistent controleert voordat het eten op tafel komt.

Conclusie: De "Tijdmachine" voor de Wetenschap

OpenScientist is geen toverstaf die alle ziektes in één klap oplost. Het is meer een krachtige tijdmachine. Het neemt de saaie, tijdrovende en repetitieve taken van wetenschappelijk onderzoek over, zodat menselijke experts meer tijd hebben om na te denken over de grote vragen, nieuwe hypothesen te bedenken en patiënten te helpen.

Het is een bewijs dat AI, als we het open en eerlijk houden, een geweldige partner kan zijn om de toekomst van de geneeskunde sneller te laten komen.

Technische samenvatting

Probleemstelling

De biomedische wetenschap staat voor een urgente uitdaging: de exponentiële groei van complexe data (genomica, proteomica, beeldvorming, elektronische gezondheidsdossiers) overtreft de capaciteit van menselijke onderzoekers om deze data te analyseren, hypotheses te genereren en mechanistische inzichten te synthetiseren binnen redelijke tijdslimieten. Hoewel er recente vooruitgang is geboekt met AI-assistenten (zoals Google's Co-Scientist of Sakana's AI Scientist), blijven deze systemen grotendeels propriëtair (gesloten broncode). Dit beperkt:

• Reproduceerbaarheid: Onafhankelijke verificatie van de werkstroom is onmogelijk.
• Aanpasbaarheid: Integratie met specifieke institutionele workflows en domein-specifieke tools is beperkt.
• Transparantie: Het ontbreekt aan inzicht in hoe de AI tot conclusies komt, wat essentieel is voor wetenschappelijke integriteit.

Er is dus een behoefte aan een open-source, auditbaar en extensibel platform dat onderzoekers kan ondersteunen bij het autonoom uitvoeren van wetenschappelijke ontdekkingen zonder de menselijke controle te vervangen.

Methodologie: OpenScientist Architectuur

OpenScientist is een open-source platform voor autonome ontdekking dat werkt volgens een iteratieve "discovery loop". De kernarchitectuur omvat de volgende componenten:

1. Agent Skills & Model Context Protocol (MCP): Het systeem gebruikt een modulaire set vaardigheden ("skills") die zijn gescheiden in:
   • Domein-agnostische vaardigheden: Hypothesegeneratie, resultaatinterpretatie, prioritering en stopcriteria.
   • Domein-specifieke vaardigheden: Statistiek, bio-informatica (genomica, transcriptomica), literatuurzoekopdrachten en kennisgrafiek-reasoning.
2. Iteratieve Werkstroom:
   • De wetenschapper voert een vrije tekst-query in, optioneel met datasets.
   • De agent voert $N$ iteraties uit (standaard 10). In elke iteratie:
     • Analyseert de agent de query en eerdere bevindingen.
     • Schrijft en voert sandboxed Python-code uit voor data-analyse.
     • Zoekt gerichte literatuur op (PubMed) en integreert context.
     • Update een Knowledge State Data Structure (KSDS) (een JSON-bestand) met nieuwe inzichten, hypothesen en bewijs.
   • Dit proces nabootst de wetenschappelijke methode, waarbij de agent zijn redenering verfijnt op basis van nieuwe bewijzen.
3. Transparantie en Audit: Alle stappen, code, tussenresultaten en logboeken worden opgeslagen, waardoor het volledige denkproces van de AI volledig traceerbaar en controleerbaar is.
4. Implementatie: Het systeem draait in een Docker-container en ondersteunt meerdere LLM-aanbieders (o.a. Anthropic Claude, Google Vertex, AWS Bedrock). In dit onderzoek werd Claude Sonnet 4.5 gebruikt.

Belangrijkste Bijdragen

• Open Source Democratization: OpenScientist is de eerste volledig open-source "agentic AI co-scientist" die de volledige werkstroom van hypothese tot validatie blootlegt, in tegenstelling tot gesloten concurrenten.
• Modulaire Extensibiliteit: Door de scheiding van algemene redenering en domein-specifieke analyse, kunnen onderzoekers nieuwe vaardigheden toevoegen zonder de kernlogica te wijzigen.
• Robuuste Validatie Framework: Het paper introduceert een rigoureuze evaluatiemethode die niet alleen kijkt naar het genereren van hypothesen, maar ook naar het vermogen om hypothesen te verwerpen wanneer data dit niet ondersteunt (gebruikmakend van gerandomiseerde negatieve controles).
• Kostenefficiëntie: Het platform reduceert de tijd voor complexe analyses van weken/maanden naar minuten, met een kostprijs van minder dan $10 per run.

Resultaten: Casestudies

Het team evalueerde OpenScientist aan de hand van vier klinische casestudies:

1. Alzheimer Biomarkers (SEABIRD Cohort):

   • Taak: Prespecifieerde analyse van plasma-biomarkers om amyloid-PET status te voorspellen.
   • Resultaat: OpenScientist identificeerde correct %pTau217 als de beste predictor, met een ROC-curve die overeenkwam met menselijke analyses.
   • Leerproces: De studie toonde aan dat de AI aanvankelijk fouten maakte bij het behandelen van ontbrekende data (bijv. lege cellen als nul behandelen), maar dat deze fouten door iteratieve prompt-verfijning en menselijke supervisie konden worden opgelost.

2. Overlevingsvoorspelling (Plasma Proteomica):

   • Taak: Bouw een model om overleving te voorspellen op basis van proteomica.
   • Resultaat: Het model bereikte een concordance index (c-index) van 0.796, wat significant beter was dan een baseline-model (alleen leeftijd en geslacht, c-index 0.615). Dit resulteerde in een 30% verbetering.
   • Inzicht: De AI identificeerde biologisch coherente pathways (zoals inflammaging en neurodegeneratie) en vond een publicatie die door menselijke reviewers was gemist.

3. Neurofibrillaire Tangles & Lysosomaal Zuurheid:

   • Taak: Onderzoek het mechanisme van proteostase in neuronen met tau-pathologie.
   • Resultaat: De AI stelde een nieuw mechanisme voor: lysosomale acidificatie wordt niet verstoord door defecte vATPase-functie, maar door een uniforme downregulatie van andere lysosomale kanalen (zoals TMEM175). Deze hypothese werd door een menselijke expert geverifieerd en bevestigd.

4. Multiple Myeloma (Hypothese Generatie & Validatie):

   • Taak: Genereer hypothesen over ziekteprogressie en valideer deze in een externe dataset, inclusief een gerandomiseerde negatieve controle (waarbij labels waren verward).
   • Resultaat:
     • De AI verwierp correct haar eigen oorspronkelijke hypothese (dat de overgang MGUS->SMM het kritieke punt was) toen de data aantoonden dat de overgang van Normaal->MGUS de grootste transcriptieve verandering vertoonde.
     • In de echte dataset werden hypothesen bevestigd; in de gerandomiseerde dataset (negatieve controle) werden ze correct afgewezen.
     • De AI merkte zelf op dat de gerandomiseerde dataset een slecht signaal-ruisverhouding had, wat wijst op autonome kwaliteitscontrole en epistemische nederigheid.

Betekenis en Conclusie

OpenScientist demonstreert dat open, auditabele agentic AI de biomedische ontdekking kan versnellen door:

• Laborintensieve taken (literatuursynthese, data-analyse) te automatiseren.
• Nieuwe, verifieerbare inzichten te genereren die vergelijkbaar zijn met die van menselijke experts.
• Een transparante omgeving te bieden waar fouten en beperkingen (zoals statistische onnauwkeurigheden of overinterpretatie) zichtbaar zijn en kunnen worden gecorrigeerd.

Beperkingen en Toekomst:
Het systeem is nog niet perfect; het kan fouten maken in statistische correcties (bijv. multiple testing) en heeft soms menselijke supervisie nodig om biologische nuances te begrijpen. Het paper concludeert dat AI-systemen zoals OpenScientist momenteel moeten worden gezien als krachtige versnellers voor hypothese-toetsing en analyse, en niet als volledig onafhankelijke wetenschappers. De volgende stappen omvatten het versterken van validatiekaders, integratie met experimentele validatie (bijv. automatische ontwerping van perturbatie-experimenten) en prospectieve klinische studies om te bewijzen dat AI-genereren voorspellingen leiden tot betere patiëntuitkomsten.

Kortom, OpenScientist biedt een fundamenteel nieuw paradigma voor wetenschappelijk onderzoek: een open, controleerbare en samenwerkende AI-partner die de drempel voor data-gedreven ontdekking verlaagt.