Structured Schemas for LLM-Modeler Collaboration in Quantitative Systems Pharmacology Model Calibration

Die Arbeit stellt MAPLE vor, ein Framework, das strukturierte Validierungsschemas nutzt, um die Zusammenarbeit zwischen Large Language Models und Quantitative Systems Pharmacology-Modellierern zu ermöglichen und so die konsistente, nachvollziehbare und fehlerreduzierte Kalibrierung von Modellen aus der Literatur zu gewährleisten.

Das Wesentliche

Stellen Sie sich vor, Sie wollen ein extrem komplexes Uhrwerk bauen – sagen wir, eine riesige, mechanische Stadt, in der Millionen von Zahnrädern (Zellen) und Federn (Proteine) zusammenarbeiten, um zu verstehen, wie eine Krankheit wie Bauchspeicheldrüsenkrebs funktioniert und wie man sie mit Medikamenten stoppen kann.

Das ist das, was Wissenschaftler im Bereich der Quantitativen Systempharmakologie (QSP) tun. Sie bauen mathematische Modelle, die das menschliche Körperinnere simulieren. Aber hier liegt das Problem: Um diese Modelle richtig einzustellen (zu „kalibrieren"), müssen sie Tausende von Datenpunkten aus alten wissenschaftlichen Büchern und Artikeln sammeln.

Das Problem: Der mühsame Handwerker und der halluzinierende Assistent

Bisher mussten menschliche Forscher diese Daten mühsam aus Papieren herausschreiben. Das ist wie das Suchen nach einer bestimmten Nadel in einem Heuhaufen – es dauert ewig, ist langweilig und jeder macht es etwas anders.

Dann kamen die Künstlichen Intelligenzen (LLMs), wie Chatbots, ins Spiel. Man könnte denken: „Super! Die KI liest die Bücher in Sekunden und schreibt die Zahlen auf!"
Aber die KI ist wie ein sehr talentierter, aber manchmal etwas verwirrter Assistent. Sie ist schnell, aber sie halluziniert. Das bedeutet, sie erfindet manchmal Zahlen oder Zitate, die gar nicht existieren, nur damit der Satz schön klingt. In der Wissenschaft ist das katastrophal. Wenn Sie eine falsche Zahl in Ihr Uhrwerk einbauen, läuft die ganze Simulation falsch.

Die Lösung: MAPLE – Der strenge Bauleiter mit dem blauen Helm

Die Autoren des Papers haben eine neue Methode namens MAPLE entwickelt. Man kann sich MAPLE wie einen strikten Bauleiter vorstellen, der zwischen dem verwirrten KI-Assistenten und dem menschlichen Experten steht.

MAPLE funktioniert mit zwei wichtigen Werkzeugen:

1. Die „Blaupausen" (Strukturierte Schemas):
   Statt der KI einfach zu sagen „Such mir Daten", gibt MAPLE ihr ein strenges Formular (eine Blaupause). Die KI darf keine freien Sätze schreiben. Sie muss Daten in genau vorgegebene Felder füllen: „Wert", „Einheit", „Quelle" und – das Wichtigste – „Wörtliches Zitat".

   • Die Analogie: Stellen Sie sich vor, die KI ist ein Schüler, der eine Hausaufgabe macht. Der Lehrer (MAPLE) sagt: „Du darfst die Antwort nicht selbst erfinden. Du musst den Satz aus dem Buch abschreiben und ihn in dieses Kästchen kleben."

2. Die „Polizei" (Validatoren):
   Bevor die KI ihre Arbeit abgeben darf, prüft MAPLE alles mit einer Art digitaler Polizei:

   • Der Zitat-Check: Steht die Zahl wirklich in dem Text, den die KI zitiert? Wenn die KI eine Zahl erfindet, findet sie keinen passenden Textabschnitt. -> Fehler!
   • Der Quellen-Check: Existiert die DOI (die ID-Nummer des Buches) wirklich? Wenn die KI eine erfundene Nummer erfindet, schlägt der Check fehl. -> Fehler!
   • Der Logik-Check: Passt die Einheit? (Ist es Milligramm oder Kilogramm?)

Wie die Zusammenarbeit funktioniert

Das Paper zeigt zwei Wege, wie Mensch und KI zusammenarbeiten:

• Der „Batch"-Modus (Der Stapel): Die KI versucht, viele Daten auf einmal zu sammeln. Sie macht viele Fehler, wird von der „Polizei" erwischt, muss korrigieren und versucht es erneut. Am Ende muss der menschliche Experte noch einmal über alles gehen, um sicherzugehen.
• Der „Interaktive"-Modus (Das Gespräch): Hier arbeiten Mensch und KI Seite an Seite. Der Experte sagt: „Suche nach diesem Artikel", die KI liest ihn, und der Experte sagt sofort: „Nein, das ist nicht die richtige Zahl, nimm diese hier." Das Ergebnis ist sofort viel besser, weil der Mensch direkt eingreift.

Das Ergebnis: Ein neues Team

Die Studie hat gezeigt, dass die KI allein nicht reicht. Der menschliche Experte muss immer noch die wichtigen Entscheidungen treffen (z. B. „Ist diese Maus-Studie auch auf Menschen übertragbar?"). Aber MAPLE verändert die Rolle des Menschen:

• Früher: Der Mensch war ein Daten-Kopierer, der stundenlang Zahlen abtippte.
• Jetzt: Der Mensch ist der Qualitätsmanager. Die KI macht den schweren Hebe- und Sucharbeit, und der Mensch prüft nur die kritischen Entscheidungen.

Fazit

MAPLE ist wie ein Sicherheitsnetz für die Wissenschaft. Es erlaubt uns, die Geschwindigkeit und Kraft der KI zu nutzen, ohne Angst haben zu müssen, dass sie uns mit erfundenen Zahlen in die Irre führt. Es sorgt dafür, dass jedes Ergebnis in der Simulation lückenlos belegt ist – von der ersten Zahl im Buch bis zum letzten Zahnrad im Modell.

So wird die Entwicklung neuer Medikamente nicht nur schneller, sondern auch sicherer und nachvollziehbarer für alle.

Technische Zusammenfassung

Titel: Strukturierte Schemata für die Kollaboration zwischen LLMs und Modellierern bei der Kalibrierung quantitativer Systempharmakologie-Modelle (QSP)

1. Problemstellung

Quantitative Systempharmakologie (QSP)-Modelle sind komplexe mechanistische Modelle (oft bestehend aus Dutzenden bis Hunderten von Differentialgleichungen), die zur Vorhersage von Arzneimittelwirkungen dienen. Die Kalibrierung dieser Modelle erfordert die Extraktion von Daten aus der wissenschaftlichen Literatur.

• Herausforderungen beim manuellen Prozess: Das manuelle Kuratieren ist arbeitsintensiv, führt zu inkonsistenter Dokumentation und birgt das Risiko, dass bei Personalwechseln die Begründung für Parameterentscheidungen verloren geht.
• Herausforderungen bei LLMs: Große Sprachmodelle (LLMs) können zwar Texte lesen und Informationen extrahieren, neigen jedoch zu Halluzinationen (Erfinden von Werten) und Fälschungen (Erfinden von Zitaten/DOIs). Diese Fehler sind für die quantitative Modellierung inakzeptabel, da sie die Validität der Vorhersagen gefährden.
• Fehlende Standardisierung: Es gibt keine standardisierte Schnittstelle, die die Datenextraktion von den modellierungsspezifischen Entscheidungen trennt und eine maschinenverifizierbare Nachverfolgbarkeit (Provenance) sicherstellt.

2. Methodik: Das MAPLE-Framework

Die Autoren stellen MAPLE (Model-Aware Parameterization from Literature Evidence) vor, ein Framework, das strukturierte Validierungsschemata als Schnittstelle zwischen LLMs und menschlichen Modellierern nutzt.

A. Modellbewusste Literatursuche
Das System generiert Prompts, die mechanistischen Kontext aus der Modellstruktur (Reaktionsnetzwerke, Spezies, Einheiten) in die LLM-Suche integrieren, um relevante Experimente zu finden. Es unterstützt verschiedene LLM-Anbieter (z. B. GPT-5.1, Claude Opus).

B. Duale Schema-Architektur
MAPLE definiert zwei komplementäre Schemata (implementiert mit Pydantic in Python), die Datenextraktion und Modellierung trennen:

1. SubmodelTarget: Für isolierte Experimente (z. B. in vitro), die einzelne Parameter durch vereinfachte Vorwärtsmodelle (Forward Models) einschränken.
   • Enthält eine Inputs-Schicht (rohe Daten aus der Literatur) und eine Kalibrierungs-Schicht (wie die Daten den Parameter einschränken, z. B. über ODEs wie exponentielles Wachstum).
   • Bietet 15 vordefinierte Vorwärtsmodell-Typen (z. B. Michaelis-Menten, logistisches Wachstum).
2. CalibrationTarget: Für klinische oder in vivo-Endpunkte, die das gesamte integrierte Modell über Observable einschränken.
   • Definiert Observable als Python-Funktionen, die aus dem Modellzustand berechnete Größen zurückgeben.
   • Beinhaltet Monte-Carlo-Simulationen zur Ableitung von Zusammenfassungsstatistiken (Mediane, Konfidenzintervalle) aus der Literatur.

Gemeinsame Prinzipien:

• Daten-first-Architektur: Jeder numerische Wert muss wortwörtlich in einem zitierten Textsnippet aus der Quelle erscheinen.
• Quellen-Relevanz-Bewertung: Dokumentiert die Translation von der Quelle zum Modell (z. B. Maus zu Mensch, Indikations-Übereinstimmung) und quantifiziert die daraus resultierende Unsicherheit.

C. Validierungs- und Korrekturmechanismus
Ein zentraler Bestandteil ist ein automatischer Validierungs- und Retry-Loop:

• Inhaltliche Validierung:
  • Value-in-Snippet-Matching: Prüft, ob extrahierte Werte tatsächlich im zitierten Textfragment vorkommen (Schutz vor Halluzinationen).
  • DOI-Auflösung: Verifiziert Zitate über CrossRef und prüft Titel-Übereinstimmungen (Schutz vor Fälschungen).
  • Einheiten- und Code-Validierung: Nutzt Bibliotheken wie Pint für Einheiten und führt Code-Snippets mit Mock-Daten aus, um Logikfehler zu erkennen.
• Externe Validierung: Ein separater Schritt lädt die Original-Papers herunter (via Europe PMC/Unpaywall) und prüft per Fuzzy-Matching, ob die Snippets tatsächlich im Volltext existieren.
• Retry-Loop: Bei Validierungsfehlern wird das LLM mit strukturierten Fehlermeldungen aufgefordert, den Extraktionsprozess zu wiederholen.

D. Code-Generierung
Validierte Schemata werden automatisch in Julia-Skripte (unter Verwendung von Turing.jl) übersetzt, um eine Bayes'sche Inferenz durchzuführen. Bei gemeinsamen Parametern über mehrere Targets hinweg wird ein gemeinsames Modell generiert.

3. Ergebnisse

Das Framework wurde an einem QSP-Modell für Pankreaskarzinom (PDAC) evaluiert.

• Datensatz:
  • 37 SubmodelTargets (für einzelne Parameter).
  • 59 CalibrationTargets (für klinische Endpunkte).
• Automatisierte Extraktion:
  • Keine Extraktion bestand den ersten Validierungslauf. Alle benötigten mindestens einen automatischen Retry.
  • Die meisten Fehler waren Einheitenfehler (38%), gefolgt von Prior-Spezifikationen und Fälschungen.
  • Der Retry-Loop löste die meisten Probleme ohne menschliches Eingreifen.
• Menschliche Kuratierung (Kollaboration):
  • Batch-Modus: Selbst nach automatischer Validierung mussten Modellierer in 65 % der SubmodelTarget-Dateien den Typ des Vorwärtsmodells ändern, in 46 % die Prior-Parameter anpassen und in allen Dateien die Quellen-Relevanz überarbeiten.
  • Interaktiver Modus: Bei direkter Zusammenarbeit (Modellierer steuert, LLM generiert) war der Nachbearbeitungsaufwand minimal, da das Expertenwissen bereits in den Extraktionsprozess integriert wurde.
• Inferenz:
  • Alle 18 SubmodelTargets wurden erfolgreich in ein gemeinsames Julia-Modell übersetzt.
  • Die Inferenz konvergierte (R-hat < 1.01), und die posteriori-Schätzwerte waren biologisch plausibel (z. B. Tumordoppelzeit von ~130 Tagen).

4. Schlüsselbeiträge

1. Strukturierte Schnittstelle: MAPLE etabliert Schemata, die LLMs und Modellierer effektiv zusammenarbeiten lassen, indem sie die Extraktion von den Modellierungsentscheidungen trennen.
2. Robuste Validierung: Durch die Kombination von "Value-in-Snippet"-Prüfung, DOI-Auflösung und Code-Ausführung werden charakteristische LLM-Fehler (Halluzinationen, Fälschungen) systematisch erkannt und korrigiert.
3. Nachvollziehbarkeit und Reproduzierbarkeit: Jeder Parameterwert ist mit einer vollständigen Provenance (Quelle, Snippet, Begründung für Translation) verknüpft, was die Dokumentation konsistent und auditierbar macht.
4. Automatisierte Inferenz-Pipeline: Der nahtlose Übergang von validierten YAML-Daten zu ausführbaren Bayes'schen Inferenzskripten beschleunigt den Kalibrierungsprozess.

5. Bedeutung und Ausblick

Die Studie zeigt, dass LLMs QSP-Kalibrierung nicht vollständig automatisieren können, sondern als leistungsfähige Assistenten fungieren, die durch strukturierte Schemata und Validierung in einen kontrollierten Workflow integriert werden müssen.

• Effizienz: Das Framework reduziert den manuellen Aufwand für die Dokumentation und die Suche nach Fehlern, erfordert aber weiterhin signifikantes Fachwissen des Modellierers für wissenschaftliche Entscheidungen (z. B. Wahl des Vorwärtsmodells).
• Qualitätssicherung: Die strikte Trennung von Daten und Modellannahmen sowie die automatische Validierung erhöhen die Zuverlässigkeit von QSP-Modellen erheblich.
• Zukunft: Das Framework ist skalierbar auf andere therapeutische Bereiche und mechanistische Modelle. Zukünftige Arbeiten könnten multimodale Fähigkeiten (Bilderkennung für Diagramme) und fortgeschrittene Agenten-Fähigkeiten (Zugriff auf geschlossene Datenbanken) integrieren.

Zusammenfassend bietet MAPLE einen robusten Ansatz, um die Lücke zwischen der Flexibilität von LLMs und den strengen Anforderungen der quantitativen pharmakologischen Modellierung zu schließen.