From Study Design to Executable Code: Automating Target Trial Emulation with Large Language Models

Die Studie stellt THESEUS vor, ein Framework, das mithilfe von Large Language Models freie Textbeschreibungen von Zielstudien in standardisierte, ausführbare R-Code-Skripte für die OHDSI-Umgebung übersetzt und so die technische Hürde für die reproduzierbare Beobachtungsforschung senkt.

Das Wesentliche

🧠 Vom Gedanken zum Code: Wie KI medizinische Studien automatisiert

Stellen Sie sich vor, Sie sind ein medizinischer Forscher. Sie haben eine brillante Idee für eine Studie: „Wir wollen herausfinden, ob Medikament A besser ist als Medikament B." Sie schreiben Ihre Idee in einem normalen Text auf – ganz einfach, in menschlicher Sprache.

Das Problem: Um diese Idee in der echten Welt zu testen, müssen Sie einen Computercode schreiben. Das ist wie der Versuch, aus einem handgeschriebenen Kochrezept ein vollautomatisches, robotergesteuertes Kochsystem zu bauen. Das ist extrem schwierig, fehleranfällig und erfordert, dass man sowohl ein Genie in Medizin als auch ein Programmier-Profi ist. Oft scheitern gute Ideen daran, dass niemand den richtigen Code schreiben kann oder dass verschiedene Teams den Code unterschiedlich schreiben, was zu verwirrenden Ergebnissen führt.

Die Lösung: Die Autoren dieser Studie haben THESEUS entwickelt. Das ist wie ein super-intelligenter, digitaler Assistent, der Ihre Idee in perfekten, fehlerfreien Code verwandelt.

Wie funktioniert das? (Die zwei Schritte)

THESEUS arbeitet in zwei Schritten, ähnlich wie ein Übersetzer, der erst die Bedeutung versteht und dann den Text schreibt.

Schritt 1: Der „Übersetzer" (Standardisierung)
Stellen Sie sich vor, Sie geben dem Assistenten Ihren Text: „Wir schauen uns Patienten von 2011 bis 2019 an und vergleichen sie über ein Jahr."
Der Assistent (eine Künstliche Intelligenz, ein sogenanntes „Large Language Model") liest das und wandelt es in eine strenge, mathematische Liste um – eine Art Bauplan.

• Die Analogie: Es ist wie wenn Sie einem Architekten sagen: „Ich will ein Haus mit drei Schlafzimmern." Der Architekt übersetzt das nicht sofort in Ziegelsteine, sondern erstellt erst einen präzisen digitalen Bauplan (JSON-Datei), der genau festlegt: „Schlafzimmer 1: 3x4 Meter, Dachneigung 30 Grad."
• In diesem Fall ist der Bauplan eine Liste von Regeln für die Daten, die der Computer später nutzen soll.

Schritt 2: Der „Bauarbeiter" (Code-Generierung)
Jetzt nimmt der Assistent diesen präzisen Bauplan und baut daraus den eigentlichen Computercode (ein R-Skript).

• Die Analogie: Der Architekt gibt den Bauplan an einen Roboter-Bauarbeiter weiter. Der Roboter baut das Haus genau nach Plan.
• Der Clou: Der Roboter ist nicht dumm. Er hat einen Selbst-Check eingebaut. Wenn er beim Bauen merkt: „Hoppla, hier passt ein Balken nicht", korrigiert er den Plan sofort und baut es neu, bis es perfekt sitzt. Das nennt man im Papier „Selbst-Auditing".

Warum ist das so wichtig? (Das „OHDSI"-Geheimnis)

Warum funktioniert das hier so gut? Weil die Forscher eine spezielle Sprache verwenden, die alle im Team sprechen: OMOP CDM.

• Die Analogie: Stellen Sie sich vor, alle Krankenhäuser auf der Welt würden plötzlich dieselbe Sprache sprechen und dieselben Maßeinheiten nutzen (statt dass das eine Krankenhaus „Pfund" und das andere „Kilogramm" sagt).
• Weil alle Daten in diesem einheitlichen Format vorliegen, muss der Assistent nicht raten, was gemeint ist. Er kann den Text direkt in den Code umwandeln. Das macht den Prozess fast fehlerfrei.

Was haben sie herausgefunden?

Die Forscher haben diesen Assistenten an echten Studien getestet:

1. Er versteht fast alles: Wenn sie ihm einen Text gaben, konnte er in 90–98 % der Fälle die richtigen Zahlen und Regeln aus dem Text herausfiltern.
2. Er baut fehlerfrei: Der Code, den er schrieb, lief beim ersten oder zweiten Versuch fast immer ohne Absturz.
3. Er ist ein Teamplayer: Sie haben sogar eine grafische Oberfläche gebaut (wie eine App), bei der Forscher den Text eingeben können, und der Assistent zeigt ihnen sofort den Bauplan an. Der Forscher kann dann sagen: „Ja, genau so!" oder „Nein, das war falsch", bevor der Code gebaut wird.

Das große Ziel

Das Ziel von THESEUS ist es, die Hürde für medizinische Forschung zu senken.

• Vorher: Nur wenige Experten mit Programmierkenntnissen konnten komplexe Studien durchführen.
• Nachher: Jeder Forscher, der eine gute Idee hat, kann sie in einen Text gießen, und der Assistent erledigt die schwere technische Arbeit.

Zusammenfassend: THESEUS ist wie ein Dolmetscher und Bauherr in einem. Er nimmt die menschliche Idee, übersetzt sie in eine universelle Sprache und baut dann den perfekten digitalen Laborversuch, damit wir schneller und sicherer herausfinden können, welche Medikamente wirklich helfen.

Technische Zusammenfassung

Titel: Von Studiendesign zu ausführbarem Code: Automatisierung der Target-Trial-Emulation mit Large Language Models

Autoren: Hanjae Kim, Minseong Kim, Seonji Kim, Seng Chan You (Yonsei University, Südkorea)

---

1. Problemstellung

Die Durchführung von Target Trial Emulation (TTE) – einer methodischen Rahmenarbeit, die Beobachtungsstudien so gestaltet, dass sie randomisierte kontrollierte Trials (RCTs) nachahmen – ist für die Generierung von Real-World-Evidence unverzichtbar. Der kritische Engpass in diesem Prozess liegt jedoch in der Übersetzung eines konzeptionellen Studiendesigns (beschrieben in freiem Text) in ausführbaren, standardisierten Analysecode.

• Herausforderungen: Dieser Schritt erfordert sowohl tiefgehende methodische Expertise in der kausalen Inferenz als auch fortgeschrittene Programmierkenntnisse (z. B. in R).
• Reproduzierbarkeitskrise: Unterschiedliche Forschungsteams schreiben oft maßgeschneiderten Code für lokale Datenumgebungen, was zu Inkonsistenzen, schwerer Überprüfbarkeit und mangelnder Reproduzierbarkeit führt.
• Ziel: Die Schaffung eines Frameworks, das natürliche Sprachbeschreibungen von Studien in standardisierte, ausführbare Skripte für das OHDSI-Ökosystem (Observational Health Data Sciences and Informatics) übersetzt, um die technische Hürde für Forscher zu senken.

---

2. Methodik: Das THESEUS-Framework

Die Autoren entwickelten THESEUS (Text-guided Health-study Estimation and Specification Engine Using Strategus). Das System nutzt Large Language Models (LLMs) in einem zweistufigen Prozess, um freitextbasierte Studiendesigns in ausführbaren R-Code zu verwandeln.

Schritt 1: Standardisierung (Text zu Struktur)

• Eingabe: Freitextbeschreibungen aus den Methodenteilen von Studien (z. B. Studienzeitraum, Zeit-at-Risk, Propensity-Score-Anpassung).
• Prozess: Ein LLM extrahiert die relevanten Informationen und kartiert sie auf ein streng definiertes JSON-Schema, das den OHDSI-Standards entspricht.
• Mechanismus: Das LLM erhält ein Template mit JSON-Feldbeschreibungen und generiert eine strukturierte Spezifikation. Es erstellt zudem eine Erklärung, wie der Text interpretiert wurde.
• Ziel: Umwandlung von unstrukturierter Sprache in eine maschinenlesbare, konsistente Spezifikation.

Schritt 2: Code-Generierung (Struktur zu Code)

• Eingabe: Die strukturierten JSON-Spezifikationen aus Schritt 1.
• Prozess: Ein LLM generiert basierend auf dem JSON-Input Strategus-R-Skripte (ein OHDSI-Paket zur Orchestrierung von Analyseworkflows).
• Selbst-Überprüfung (Self-Auditing): Ein entscheidendes Merkmal ist eine iterative Schleife. Wenn das generierte Skript beim ersten Ausführen einen Fehler wirft, analysiert das LLM das Fehlerprotokoll (Error Log), korrigiert den Code und versucht es erneut.
• Ausgabe: Ein direkt ausführbares R-Skript, das eine JSON-Datei für die eigentliche Analyse generiert.

Benutzeroberfläche (GUI)

Es wurde ein Prototyp einer grafischen Benutzeroberfläche entwickelt, die an das OHDSI-Tool ATLAS angelehnt ist. Sie ermöglicht einen "Human-in-the-Loop"-Ansatz, bei dem Forscher die vom LLM generierten Spezifikationen visuell überprüfen und manuell anpassen können, bevor der Code generiert wird.

---

3. Evaluierung und Ergebnisse

Das Framework wurde mit acht proprietären LLMs (von OpenAI, Google, Anthropic und DeepSeek) evaluiert.

• Datensätze:
  • Interne Validierung: 15 OHDSI-basierte TTE-Studien.
  • Externe Validierung: 5 nicht-OHDSI-Studien (zur Prüfung der Generalisierbarkeit).
• Eingabe-Szenarien: Nur Primäranalyse, Vollständige Analysen (inkl. Sensitivitätsanalysen) und Vollständige Methodenteile.

Ergebnisse zur Standardisierung (Schritt 1)

• OHDSI-Studien: Die Genauigkeit auf Studienniveau lag bei der Primäranalyse zwischen 0,91 und 0,98. Bei komplexeren Eingaben (vollständige Methodenteile) sank sie leicht, blieb aber robust (bis 0,85).
• Nicht-OHDSI-Studien: Die Leistung war hier niedriger (0,27–0,93), was die Abhängigkeit von standardisierten Datenbeschreibungen zeigt.
• Feld-Ebene: Die Sensitivität lag bei OHDSI-Studien zwischen 0,73 und 0,90, mit einer geringen Anzahl an False Positives pro Studie (< 1).

Ergebnisse zur Code-Generierung (Schritt 2)

• Ausführbarkeit: Der Anteil der Skripte, die ohne Fehler liefen, war hoch.
  • Bei OHDSI-Studien: 0,80 bis 1,00 beim ersten Lauf.
  • Nach dem Self-Auditing (Selbstkorrektur): Die Erfolgsrate stieg auf 0,93 bis 1,00.
• Nicht-OHDSI-Studien: Auch hier erreichten alle Modelle nach der Selbstkorrektur eine Ausführbarkeit von 1,00.
• Fazit: Die Kombination aus strukturiertem JSON-Input und der Selbstkorrektur-Schleife ermöglicht eine nahezu deterministische Zuverlässigkeit.

---

4. Hauptbeiträge

1. End-to-End-Automatisierung: THESEUS ist das erste Framework, das den gesamten Weg von der natürlichen Sprachbeschreibung bis zum ausführbaren OHDSI-Strategus-Code automatisiert.
2. Validierung der LLM-Leistung: Die Studie zeigt, dass LLMs in der Lage sind, komplexe methodische Parameter (wie Zeit-at-Risk-Fenster oder Propensity-Score-Matching) mit hoher Genauigkeit zu extrahieren, sofern das Zielschema (JSON) streng definiert ist.
3. Selbstkorrektur-Mechanismus: Der Nachweis, dass eine iterative Selbstüberprüfung die Fehlerquote bei der Code-Generierung drastisch senken kann, ist ein wichtiger methodischer Fortschritt für LLM-Anwendungen in der Wissenschaft.
4. Open Source & Prototyp: Verfügbarkeit des Quellcodes, eines interaktiven Web-Prototyps und eines Demonstrationsvideos.

---

5. Bedeutung und Ausblick

• Senkung der Einstiegshürden: THESEUS macht TTE-Studien für Forscher zugänglich, die keine tiefen Programmierkenntnisse in R oder OHDSI haben, aber methodisches Verständnis besitzen.
• Verbesserte Reproduzierbarkeit: Durch die Generierung standardisierter Skripte aus einem einheitlichen JSON-Format wird die Variabilität zwischen verschiedenen Forschungsteams minimiert.
• Skalierbarkeit: Da OHDSI weltweit wächst und Daten in das OMOP-CDM (Common Data Model) überführt, kann dieses Framework die Geschwindigkeit und Qualität der Real-World-Evidence-Generierung erheblich steigern.
• Limitationen: Das aktuelle Prototyp ist auf das "Cohort Method"-Design beschränkt (keine inverse Probability Weighting/IPW). Die Evaluierung basierte auf einer relativ kleinen Stichprobe (15 OHDSI-Studien), was weitere groß angelegte Validierungen notwendig macht.

Zusammenfassend demonstriert diese Arbeit, dass die Kombination aus standardisierten Datenmodellen (OMOP CDM), standardisierten Analyse-Frameworks (Strategus) und strukturierten LLM-Prompts einen vielversprechenden Weg zur Automatisierung und Demokratisierung der kausalen Inferenz in Beobachtungsstudien darstellt.