MyeGPT: an AI agent for Multiple Myeloma

MyeGPT ist eine KI-gestützte Browseranwendung, die Multiple-Myelom-Forschern ermöglicht, Hypothesen zu validieren und Ergebnisse aus dem komplexen CoMMpass-Datensatz zu visualisieren, indem sie natürliche Sprachabfragen in automatisierte, datengesteuerte Analysen umwandelt, ohne dass Programmierkenntnisse erforderlich sind.

Das Wesentliche

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek medizinischer Aufzeichnungen für eine bestimmte Art von Blutkrebs, das Multiple Myelom. Diese Bibliothek, bekannt als die CoMMpass-Studie, enthält die „Lebensgeschichten" von 1.143 Patienten. Sie umfasst ihre Symptome, die Behandlungshistorie, ihre genetische Ausstattung und ihre Lebensdauer. Allerdings gibt es einen Haken: Diese Bibliothek ist in einem Geheimschrift (komplexe Computerprogrammiersprachen) verfasst, den nur wenige spezialisierte Bibliothekare (Bioinformatiker) lesen können. Für einen normalen Arzt oder Forscher ist der Versuch, eine spezifische Antwort zu finden – etwa „Leben Patienten mit einer bestimmten Genvmutation länger?" –, wie die Suche nach einer Nadel im Heuhaufen, während man handschuhbedeckte, blinde Hände trägt.

Dann kommt MyeGPT ins Spiel.

Was ist MyeGPT?

Stellen Sie sich MyeGPT als einen superklugen, zweisprachigen Bibliothekar vor, der die gesamte CoMMpass-Bibliothek auswendig gelernt hat. Sie müssen den Geheimschrift nicht kennen, um mit ihm zu sprechen. Sie können ihn einfach in klarer englischer Sprache fragen, genau so, wie Sie es einem Menschen tun würden: „Zeigen Sie mir die Überlebensraten für Patienten, die nach ihrer ersten Behandlung einen Rückfall erlitten haben," oder „Vergleichen Sie den allgemeinen Gesundheitszustand von Patienten mit hohen gegenüber normalen Werten eines bestimmten Proteins."

MyeGPT rät die Antwort nicht einfach. Es agiert wie ein Detektiv, der:

1. Ihre Frage versteht.
2. In die Datenbank eintaucht, um die exakten Daten-Seiten zu finden, die benötigt werden.
3. Die Mathematik durchführt, um die Antwort zu berechnen.
4. Ein Bild zeichnet (ein Diagramm oder eine Grafik), um Ihnen die Ergebnisse zu zeigen.

Wie funktioniert es?

Die Forscher bauten diesen „Bibliothekar" mit einer Art Künstlicher Intelligenz namens Agentic AI (agentenbasierte KI). Im Gegensatz zu einem Standard-Chatbot, der nur plaudert, kann ein „Agent" tatsächlich Dinge tun.

• Das Gehirn (LLM): Dies ist der Teil, der Ihre Sprache versteht und die Schritte plant, um das Problem zu lösen.
• Die Werkzeuge: MyeGPT verfügt über eine Reihe digitaler Werkzeuge. Es hat ein „Suchwerkzeug", um die richtigen Definitionen im Handbuch der Bibliothek zu finden, ein „Datenbankwerkzeug", um komplexe Abfragen auszuführen, und ein „Zeichnungswerkzeug", um Graphen zu erstellen.
• Das Gedächtnis (Wissensbasis): Bevor es beginnt, wurde MyeGPT von dem Team ein 52-seitiges Anleitungsbuch eingewickelt, das genau erklärt, was jede Spalte in der Datenbank bedeutet. Dies stellt sicher, dass es nicht verwirrt wird, worauf sich „Behandlungsansprechen" oder „Kopienzahl" tatsächlich beziehen.

Hat es funktioniert? (Die Probefahrt)

Die Forscher bauten es nicht nur; sie setzten es einem rigorosen Fahrtest aus, um zu sehen, ob es sicher und genau war.

1. Der Trivia-Test: Sie stellten MyeGPT 20 knifflige Fragen, die komplexe Mathematik und Datengrabungen erforderten. Sie verglichen seine Antworten mit einem „Goldstandard", der von menschlichen Experten erstellt wurde.

   • Das Ergebnis: Die beste Version von MyeGPT erreichte eine Punktzahl von 79,4 von 100. Sie war gut genug, um nützlich zu sein, wenn auch nicht perfekt. Interessanterweise schnitt ein kleineres, günstigeres KI-Modell fast genauso gut ab wie die riesigen, teuren Modelle, was es zu einer kosteneffektiven Wahl macht.

2. Der „Wiedergabe"-Test: Sie baten MyeGPT, berühmte Studien nachzubilden, die bereits von Menschen veröffentlicht worden waren.

   • Das Ergebnis: MyeGPT reproduzierte erfolgreich die Ergebnisse zweier großer Studien. Es berechnete Überlebensraten und Genexpressionsmuster, die mit der Arbeit der ursprünglichen menschlichen Forscher fast perfekt übereinstimmten.

3. Der „Mensch gegen Maschine"-Test: Sie baten sowohl MyeGPT als auch menschliche Experten, Patienten in Risikogruppen einzuteilen (Hohes Risiko vs. Standardrisiko).

   • Das Ergebnis: Die Übereinstimmung zwischen der KI und den Menschen war unglaublich hoch (96,5 %). Das bedeutet, dass die KI bei der Betrachtung dieser Daten sehr ähnlich wie ein menschlicher Experte „denkt".

Was kann es derzeit?

Die Arbeit zeigt, wie MyeGPT drei Arten von Aufgaben bewältigt:

• Einfach: „Wie viele Patienten nahmen Medikament X ein?" (Ein schneller Nachschlag).
• Mittel: „Reagieren Patienten mit Gen Y besser auf Medikament Z?" (Vergleich zweier verschiedener Datensätze).
• Komplex: „Scannen Sie den gesamten genetischen Code aller 1.143 Patienten, um jedes Gen zu finden, das mit einem Behandlungsversagen in Verbindung stehen könnte." (Eine massive, genomweite Suche).

Wichtige Einschränkungen (Kleingedrucktes)

Die Autoren sind sehr klar darüber, was MyeGPT nicht ist:

• Es ist kein Arzt. Sie können es nicht fragen: „Sollte ich diesem spezifischen Patienten dieses spezifische Medikament geben?" Die Arbeit stellt ausdrücklich fest, dass MyeGPT nur für Forschung und Hypothesengenerierung gedacht ist. Da KI Fehler machen kann und die Daten aus einer Beobachtungsstudie stammen (nicht aus einer kontrollierten klinischen Studie), sollte ihr Rat niemals für reale medizinische Entscheidungen bei Patienten verwendet werden.
• Es benötigt ein Forschungsumfeld. Es ist darauf ausgelegt, Wissenschaftlern zu helfen, Daten auf ihren Laptops oder sogar Smartphones zu erkunden, aber es ist noch kein klinisches Werkzeug für Krankenhäuser.

Das Fazit

MyeGPT ist ein Proof-of-Concept-Tool, das die Lücke zwischen komplexen, massiven medizinischen Datensätzen und den Forschern schließt, die sie nutzen möchten. Es verwandelt eine Bibliothek, für deren Navigation ein PhD in Informatik erforderlich ist, in eine konversationelle Chat-Schnittstelle. Obwohl es noch nicht bereit ist, Ärzte zu ersetzen, fungiert es als leistungsfähiger „Co-Pilot" für Wissenschaftler und hilft ihnen, Fragen zu stellen und Antworten im weiten Ozean der Multiple-Myelom-Daten viel schneller zu finden als zuvor.

Technische Zusammenfassung

Technische Zusammenfassung: MyeGPT – Ein KI-Agent für das Multiple Myelom

Problemstellung
Die MMRF CoMMpass-Studie stellt eine wegweisende Ressource für die Forschung zum Multiplen Myelom dar und umfasst umfassende klinische und molekulare Daten von 1.143 Patienten. Die Komplexität des Datensatzes – allein 763 klinische Felder in Kombination mit Multi-Omics-Daten (WGS, WES, RNA-seq, FISH) – stellt jedoch eine steile Lernkurve für Forscher dar. Bestehende Tools wie das MMRF Virtual Lab oder R-Bibliotheken (MMRFBiolinks, MMRFVariant) bieten nur begrenzte Analyseumfang, die sich nicht leicht für hypothesenübergreifende Tests oder benutzerdefinierte Abfragen eignen. Darüber hinaus stoßen allgemeine KI-Agenten in diesem Bereich auf Hindernisse: Ihnen fehlt der vorkonfigurierte Zugriff auf kontrollierte Datensätze wie CoMMpass, was häufig das Hochladen sensibler Daten durch die Nutzer erfordert, und sie haben Schwierigkeiten mit der spezifischen Fachterminologie und den semantischen Beziehungen, die dem CoMMpass-Schema inhärent sind.

Methodik
Die Autoren entwickelten MyeGPT (Myeloma Generative Pretrained Transformer), ein spezialisiertes agentices KI-System, das als „KI-Bioinformatiker" für das Multiple Myelom fungieren soll.

• Architektur: MyeGPT nutzt das ReAct-Paradigma (Reasoning and Acting). Es arbeitet in alternierenden Zyklen, in denen ein Large Language Model (LLM) über eine natürliche Sprachabfrage des Nutzers nachdenkt, einen Plan formuliert und Aktionen mit spezifischen Tools ausführt.
• Dateninfrastruktur: Das System wird von einer PostgreSQL-Datenbank unterstützt, die 17 verknüpfte Tabellen enthält, die aus der CoMMpass-Version IA22 (und IA16a für spezifische Translokationen) abgeleitet wurden. Dazu gehören klinische Demografie, Therapieansprechen, Überlebensdaten, Exom-Varianten, Copy-Number-Variationen sowie abgeleitete Metriken wie Chromothripsis-Befunde und mutationalen Signaturen.
• Wissensbasis: Um die Lücke zwischen natürlichen Sprachabfragen und dem Datenbankschema zu schließen, implementierten die Autoren ein Retrieval-Augmented Generation (RAG)-System. Ein 52-seitiges Dokumentationsset, das die CoMMpass-Felder beschreibt, ist als Text-Embedding-Vectorspeicher indiziert. Der Agent ruft relevante Dokumentationsseiten basierend auf der Ähnlichkeit der Abfrage ab, bevor er versucht, SQL-Abfragen zu generieren.
• Tooling: MyeGPT verwendet eine Suite von Tools:
  • Dokumentsuche: Ruft relevante Schemadokumentation über Vektorähnlichkeit ab.
  • LangChain SQL-Abfrage: Generiert und testet SQL-Abfragen mit einer LIMIT-Klausel, um Token-Aufblähung während des Debuggens zu verhindern.
  • Python SQL-Abfrage: Führt validierte SQL-Abfragen in einer sandgeboxten Python-Umgebung aus und speichert die vollständigen Ergebnisse auf der Festplatte.
  • Python REPL: Führt statistische Analysen, Visualisierungen und Berechnungen durch.
• Benchmarking: Die Autoren stellten den CoMMpass Quantitative Test Set (CQTS) zusammen, der aus 20 numerischen Antwortfragen besteht, die nach Schwierigkeitsgrad kategorisiert sind (Einfach, Mittel, Komplex). Die Evaluierungsmetriken umfassten einen Reasoning-Accuracy Composite (RAC)-Score (gewichtet für sowohl Methoden- als auch Antwortkorrektheit) und den Net Promoter Score (NPS). Zudem bewerteten sie Text-Embedding-Modelle hinsichtlich der Genauigkeit der Dokumentenretrieval.

Hauptbeiträge

1. Spezialisierter Datensatz-Agent: MyeGPT dient als Proof-of-Concept für einen „Datensatz-Kurator"-Agenten, der tiefes, vorkonfiguriertes Wissen über einen spezifischen, komplexen biomedizinischen Datensatz besitzt und damit die Notwendigkeit eliminiert, dass Nutzer Daten hochladen oder Feldnamen manuell zuordnen müssen.
2. Kostenoptimierungsstrategien: Die Autoren beschreiben erhebliche ingenieurtechnische Optimierungen zur Reduzierung der Kosten agenter KI. Durch den Einsatz von RAG, um nur notwendige Dokumentationsseiten abzurufen, und die Durchsetzung eines zweistufigen SQL-Prozesses (Debugging mit LIMIT gefolgt von voller Ausführung), reduzierten sie die Kosten pro Benchmark-Lauf von ca. 10 $ auf ca. 0,10 $ (eine ~100-fache Reduktion).
3. Evaluierungsrahmen: Die Arbeit stellt ein rigoroses Benchmarking-Protokoll (CQTS) mit Bewertungskriterien vor, das logische Denkprozesse belohnt, nicht nur die Endantworten, und somit die Unterscheidung zwischen Modellen ermöglicht, die aufgrund von Rekursionsgrenzen scheitern, und solchen, die aufgrund von Wissensmangel versagen.

Ergebnisse

• Benchmark-Leistung: Im Numerischen Antwort-Benchmark erreichte Anthropic's Claude Opus 4.5 den höchsten Reasoning-Accuracy Composite (mRAC)-Score von 0,794 und einen NPS von +11, mit null Antworten mit Nullpunkten. Unter den OpenAI-Modellen schnitt das kostengünstige GPT-5 mini konkurrenzfähig ab (mRAC 0,681, NPS +6) und bot ein günstiges Verhältnis von Leistung und Kosten.
• Embedding-Modelle: Für das Dokumentenretrieval zeigten Google's gemini-embedding-001 und OpenAI's text-embedding-003-large (3072 Dimensionen) überlegene Leistung (Genauigkeit beim ersten Versuch ~67–68 %) im Vergleich zu Modellen mit niedrigeren Dimensionen.
• Reproduktion bekannter Befunde:
  • Funktionales Hochrisiko (FHR)-Klassifikation: Bei der Aufgabe, Patienten in Standardrisiko (SR), Genomisches Hochrisiko (GHR) und FHR-Kategorien einzuteilen, zeigte MyeGPT (unter Verwendung verschiedener LLMs) eine hohe Inter-Rater-Reliabilität mit menschlichen Experten. Die höchste Übereinstimmung bestand zwischen Claude Sonnet 4.5 und einem menschlichen Bewerter (Cohen's κ = 0,965).
  • PR-Subtyp-Analyse: MyeGPT reproduzierte erfolgreich Überlebensanalysen und Ergebnisse der differentiellen Genexpression aus der CoMMpass IA22-Publikation von Skerget et al. (2024). Obwohl geringfügige Diskrepanzen bestanden (zugeschrieben Batch-Korrekturmethoden und dem Umgang mit zensierten Daten), stimmten die Effektstärken und p-Werte eng mit der Originalstudie überein.
• Neue Szenarien: Das System führte erfolgreich Aufgaben aus, die von einfachen univariaten Abfragen (z. B. Verteilung der Gründe für Therapieabbruch) bis hin zu komplexen genomweiten Screens reichten (z. B. Identifizierung von Mutationen, die bei FHR-Patienten im Vergleich zu SR-Patienten angereichert sind, und Durchführung einer genweisen Cox-Regression).

Bedeutung und Behauptungen
Die Arbeit positioniert MyeGPT nicht als klinisches Entscheidungsunterstützungstool, sondern als Beschleunigungsmotor für die Forschung. Die Autoren stellen ausdrücklich fest, dass das Tool aufgrund der nicht-deterministischen Natur von LLMs und des Beobachtungsdesigns der CoMMpass-Studie auf explorative Datenanalyse und Hypothesengenerierung beschränkt ist.

Die primäre beanspruchte Bedeutung liegt in der Fähigkeit, die technische Hürde für Myelom-Forscher zu senken und eine Analyse „unterwegs" über einen Smartphone-Browser zu ermöglichen, ohne Programmierkenntnisse zu erfordern. MyeGPT demonstriert, dass spezialisierte agentic KI komplexe, multimodale biomedizinische Datensätze effektiv navigieren kann, natürliche Sprachabfragen in reproduzierbare statistische Analysen und Visualisierungen umwandelt. Die Autoren ermutigen zur Erstellung ähnlicher spezialisierter Agenten für andere Datensätze (z. B. TCGA), um den Zugang zu groß angelegten biomedizinischen Daten zu demokratisieren.