MyeGPT: an AI agent for Multiple Myeloma

MyeGPT is een AI-gedreven browserapplicatie die onderzoekers naar multipel myeloom in staat stelt hypothesen te valideren en resultaten uit het complexe CoMMpass-dataset te visualiseren door natuurlijke taalqueries om te zetten in geautomatiseerde, datagedreven analyses zonder dat programmeervaardigheden vereist zijn.

De kern

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek hebt met medische dossiers voor een specifieke vorm van bloedkanker, genaamd Multipel Myeloom. Deze bibliotheek, bekend als de CoMMpass-studie, bevat de "levensverhalen" van 1.143 patiënten. Het omvat hun symptomen, behandelingsgeschiedenis, genetische samenstelling en hun levensduur. Er is echter een addertje onder het gras: deze bibliotheek is geschreven in een geheime code (complexe programmeertalen) die slechts een paar gespecialiseerde bibliothecarissen (bioinformatici) kunnen lezen. Voor een gewone arts of onderzoeker is het proberen een specifiek antwoord te vinden – zoals "Leven patiënten met een bepaalde genmutatie langer?" – vergelijkbaar met het zoeken naar een speld in een hooiberg terwijl je gebonden handen hebt en een blinddoek draagt.

Maak kennis met MyeGPT.

Wat is MyeGPT?

Denk aan MyeGPT als een superintelligente, tweetalige bibliothecaris die de gehele CoMMpass-bibliotheek uit zijn hoofd kent. Je hoeft de geheime code niet te kennen om met hem te praten. Je kunt gewoon in gewoon Engels vragen stellen, net zoals je dat aan een mens zou doen: "Toon me de overlevingspercentages voor patiënten die recidiveerden na hun eerste behandeling," of "Vergelijk de algehele gezondheid van patiënten met hoge versus normale niveaus van een specifiek eiwit."

MyeGPT raadt het antwoord niet zomaar. Hij werkt als een detective die:

1. Je vraag begrijpt.
2. Grondig in de database zoekt om de exacte datapagina's te vinden die nodig zijn.
3. De wiskunde doet om het antwoord te berekenen.
4. Een plaatje tekent (een grafiek of diagram) om je de resultaten te tonen.

Hoe werkt het?

De onderzoekers bouwden deze "bibliothecaris" met behulp van een type kunstmatige intelligentie dat Agentic AI wordt genoemd. In tegenstelling tot een standaard chatbot die alleen maar kletst, kan een "agent" daadwerkelijk dingen doen.

• Het Brein (LLM): Dit is het onderdeel dat je taal begrijpt en de stappen plant om het probleem op te lossen.
• De Hulpmiddelen: MyeGPT beschikt over een set digitale hulpmiddelen. Hij heeft een "zoekhulpmiddel" om de juiste definities in het handboek van de bibliotheek te vinden, een "databasehulpmiddel" om complexe queries uit te voeren, en een "tekenhulpmiddel" om grafieken te maken.
• Het Geheugen (Kennisbank): Voordat hij begint, heeft het team MyeGPT een 52 pagina's tellend instructiehandboek gevoerd dat precies uitlegt wat elke kolom in de database betekent. Dit zorgt ervoor dat hij niet in de war raakt over wat "behandelingsrespons" of "kopie-aantal" eigenlijk betekent.

Werkte het? (De proefrit)

De onderzoekers bouwden het niet alleen; ze legden het een strenge proefrit af om te zien of het veilig en accuraat was.

1. De Triviatest: Ze stelden MyeGPT 20 lastige vragen die complexe wiskunde en datagraven vereisten. Ze vergeleken zijn antwoorden met een "gouden standaard" die door menselijke experts was samengesteld.

   • Het resultaat: De beste versie van MyeGPT behaalde een score van 79,4 op 100. Hij was goed genoeg om nuttig te zijn, hoewel niet perfect. Interessant genoeg presteerde een kleiner, goedkoper AI-model bijna even goed als de enorme, dure modellen, waardoor het een kosteneffectieve keuze is.

2. De "Replay"-test: Ze vroegen MyeGPT beroemde studies na te maken die al eerder door mensen waren gepubliceerd.

   • Het resultaat: MyeGPT slaagde erin de bevindingen van twee grote studies te reproduceren. Hij berekende overlevingspercentages en genexpressiepatronen die bijna perfect overeenkwamen met het werk van de oorspronkelijke menselijke onderzoekers.

3. De "Mens versus Machine"-test: Ze vroegen zowel MyeGPT als menselijke experts om patiënten in risicogroepen in te delen (Hoog Risico versus Standaard Risico).

   • Het resultaat: De overeenstemming tussen de AI en de mensen was ongelooflijk hoog (96,5%). Dit betekent dat de AI op deze data "denkt" op een manier die zeer lijkt op die van een menselijke expert.

Wat kan het nu doen?

Het artikel toont aan dat MyeGPT drie soorten taken aankan:

• Eenvoudig: "Hoeveel patiënten namen Medicijn X?" (Eén snelle opzoeking).
• Middel: "Reageren patiënten met Gen Y beter op Medicijn Z?" (Vergelijken van twee verschillende datasets).
• Complex: "Scan de volledige genetische code van alle 1.143 patiënten om elk gen te vinden dat mogelijk gerelateerd is aan falen van de behandeling." (Een enorme, genoomwijde zoektocht).

Belangrijke beperkingen (De kleine lettertjes)

De auteurs zijn zeer duidelijk over wat MyeGPT niet is:

• Het is geen arts. Je kunt hem niet vragen: "Moet ik deze specifieke patiënt dit specifieke medicijn geven?" Het artikel stelt expliciet dat MyeGPT uitsluitend bedoeld is voor onderzoek en het genereren van hypothesen. Omdat AI fouten kan maken en de data afkomstig is uit een observationele studie (geen gecontroleerde klinische trial), mag zijn advies nooit worden gebruikt om echte medische beslissingen voor patiënten te nemen.
• Het heeft een onderzoeksomgeving nodig. Het is ontworpen om wetenschappers te helpen data te verkennen op hun laptops of zelfs smartphones, maar het is nog geen klinisch hulpmiddel voor ziekenhuizen.

De kernboodschap

MyeGPT is een bewijs van concept dat de kloof overbrugt tussen complexe, enorme medische datasets en de onderzoekers die ze willen gebruiken. Het verandert een bibliotheek waarvoor een PhD in informatica nodig is om te navigeren, in een conversatie-achtige chatinterface. Hoewel het nog niet klaar is om artsen te vervangen, fungeert het als een krachtige "co-piloot" voor wetenschappers, waardoor ze vragen kunnen stellen en antwoorden kunnen vinden in de enorme oceaan van Multipel Myeloom-data veel sneller dan voorheen.

Technische samenvatting

Technische Samenvatting: MyeGPT – Een AI-agent voor Multipel Myeloom

Probleemstelling
De MMRF CoMMpass-studie vertegenwoordigt een mijlpaalbron voor onderzoek naar multipel myeloom, met uitgebreide klinische en moleculaire data voor 1.143 patiënten. De complexiteit van het dataset, met alleen al 763 klinische velden naast multi-omics-data (WGS, WES, RNA-seq, FISH), creëert echter een steile leercurve voor onderzoekers. Bestaande tools, zoals het MMRF Virtual Lab of R-bibliotheken (MMRFBiolinks, MMRFVariant), bieden beperkte analyseomvang die niet eenvoudig cross-modale hypothese-toetsing of aangepaste queries kunnen accommoderen. Bovendien lopen algemene AI-agenten in dit domein tegen barrières aan: ze hebben geen vooraf geconfigureerde toegang tot datasets met beperkte toegang zoals CoMMpass, vereisen vaak dat gebruikers gevoelige data uploaden, en worstelen met de specifieke veldnomenclatuur en semantische relaties die inherent zijn aan het CoMMpass-schema.

Methodologie
De auteurs ontwikkelden MyeGPT (Myeloma Generative Pretrained Transformer), een gespecialiseerd agentic AI-systeem dat is ontworpen om te fungeren als een "AI-bioinformaticus" voor multipel myeloom.

• Architectuur: MyeGPT maakt gebruik van het ReAct (Reasoning and Acting)-paradigma. Het werkt in afwisselende cycli waarbij een Large Language Model (LLM) redeneert over een natuurlijke taalquery van de gebruiker, een plan formuleert en acties uitvoert met behulp van specifieke tools.
• Data-infrastructuur: Het systeem wordt ondersteund door een PostgreSQL-database met 17 onderling gekoppelde tabellen, afgeleid van CoMMpass-release IA22 (en IA16a voor specifieke translocaties). Dit omvat klinische demografie, behandelingsresponsen, overlevingsdata, exoomvarianten, kopiegetalvariaties en afgeleide metrieken zoals chromothripsis-calls en mutatiesignaturen.
• Kennisbank: Om de kloof te overbruggen tussen natuurlijke taalqueries en databaseschema, implementeerden de auteurs een Retrieval-Augmented Generation (RAG)-systeem. Een documentenset van 52 pagina's die de CoMMpass-velden beschrijft, is geïndexeerd als een tekst-embedding-vectoropslag. De agent haalt relevante documentpagina's op op basis van querygelijkheid voordat het probeert SQL-query's te genereren.
• Tooling: MyeGPT maakt gebruik van een reeks tools:
  • Documentzoekopdracht: Haalt relevante schemadocumentatie op via vectorgelijkheid.
  • LangChain SQL-query: Genereert en test SQL-query's met een LIMIT-clausule om token-opblazen te voorkomen tijdens het debuggen.
  • Python SQL-query: Voert gevalideerde SQL-query's uit in een afgesloten Python-omgeving en slaat volledige resultaten op schijf op.
  • Python REPL: Voert statistische analyses, tekeningen en berekeningen uit.
• Benchmarking: De auteurs construeerden de CoMMpass Quantitative Test Set (CQTS), bestaande uit 20 numerieke responsvragen gecategoriseerd op moeilijkheidsgraad (Eenvoudig, Gemiddeld, Complex). Evaluatiemetrieken omvatten een Reasoning-Accuracy Composite (RAC)-score (gewogen voor zowel methoden- als antwoordcorrectheid) en de Net Promoter Score (NPS). Ze evalueerden ook tekst-embeddingmodellen op de nauwkeurigheid van documentopslag.

Belangrijkste Bijdragen

1. Gespecialiseerde Dataset-agent: MyeGPT dient als een proof-of-concept voor een "dataset-curator"-agent die diepe, vooraf geconfigureerde kennis bezit van een specifieke, complexe biomedische dataset, waardoor gebruikers geen data hoeven te uploaden of veldnamen handmatig hoeven te mappen.
2. Kostenefficiëntie-strategieën: De auteurs beschrijven aanzienlijke engineering-optimalisaties om de kosten van agentic AI te verlagen. Door RAG te gebruiken om alleen noodzakelijke documentpagina's op te halen en een twee-staps SQL-proces af te dwingen (debuggen met LIMIT gevolgd door volledige uitvoering), verlaagden ze de kosten per benchmarkrun van ongeveer $10 naar ongeveer $0,10 (een ~100-voudige reductie).
3. Evaluatiekader: Het artikel introduceert een rigoureus benchmarkprotocol (CQTS) met scorecriteria die logische redeneerstappen belonen, niet alleen de uiteindelijke antwoorden, waardoor modellen die falen door recursielimieten kunnen worden onderscheiden van die welke falen door gebrek aan kennis.

Resultaten

• Benchmarkprestaties: In de Numerieke Respons-benchmark behaalde Anthropic's Claude Opus 4.5 de hoogste Reasoning-Accuracy Composite (mRAC)-score van 0,794 en een NPS van +11, met nul scores van nul. Onder de OpenAI-modellen presteerde het budgetvriendelijke GPT-5 mini concurrerend (mRAC 0,681, NPS +6), met een gunstige balans tussen prestaties en kosten.
• Embedding-modellen: Voor documentopslag vertoonden Google's gemini-embedding-001 en OpenAI's text-embedding-003-large (3072 dimensies) superieure prestaties (nauwkeurigheid bij eerste poging ~67-68%) in vergelijking met modellen met lagere dimensies.
• Reproductie van Bekende Bevindingen:
  • Functioneel Hoog Risico (FHR)-Classificatie: Bij het indelen van patiënten in Standard Risk (SR), Genomic High Risk (GHR) en FHR-categorieën, toonde MyeGPT (met verschillende LLM's) een hoge inter-raterbetrouwbaarheid met menselijke experts. De hoogste overeenkomst was tussen Claude Sonnet 4.5 en een menselijke rater (Cohen's κ = 0,965).
  • PR-subtype-analyse: MyeGPT slaagde erin overlevingsanalyses en resultaten van differentiële genexpressie uit de CoMMpass IA22-publicatie van Skerget et al. (2024) te reproduceren. Hoewel er kleine discrepanties waren (toegeschreven aan batchcorrectiemethoden en omgang met gecensureerde datums), kwamen de effectgroottes en p-waarden nauw overeen met het originele onderzoek.
• Nieuwe Scenario's: Het systeem slaagde erin taken uit te voeren die varieerden van eenvoudige univariate queries (bijvoorbeeld de verdeling van redenen voor beëindiging van de behandeling) tot complexe genomewide screens (bijvoorbeeld het identificeren van mutaties die verrijkt zijn bij FHR-patiënten versus SR-patiënten en het uitvoeren van gen-voor-gene Cox-regressie).

Betekenis en Aanspraken
Het artikel positioneert MyeGPT niet als een hulpmiddel voor klinische besluitvorming, maar als een versneller voor onderzoek. De auteurs stellen expliciet dat vanwege het niet-deterministische karakter van LLM's en het observationele ontwerp van de CoMMpass-studie, het hulpmiddel beperkt is tot exploratieve data-analyse en hypothesevorming.

De primaire betekenis die wordt geclaimd, is het vermogen om de technische drempel voor myeloomonderzoekers te verlagen, waardoor "on-the-go"-analyse mogelijk wordt via een smartphonebrowser zonder programmeervaardigheden. MyeGPT demonstreert dat gespecialiseerde agentic AI complexe, multi-modale biomedische datasets effectief kan navigeren, natuurlijke taalqueries omzet in reproduceerbare statistische analyses en visualisaties. De auteurs moedigen de creatie aan van vergelijkbare gespecialiseerde agenten voor andere datasets (bijvoorbeeld TCGA) om de toegang tot grootschalige biomedische data te democratiseren.