From Protocol to Analysis Plan: Development and Validation of a Large Language Model Pipeline for Statistical Analysis Plan Generation using Artificial Intelligence (SAPAI)

Diese Studie zeigt, dass ein auf Large Language Models basierender Pipeline-Ansatz zwar effektiv Vorlagen für statistische Analysepläne (SAPs) aus klinischen Studienprotokollen erstellen kann, jedoch aufgrund von Einschränkungen bei komplexen statistischen Schlussfolgerungen weiterhin eine menschliche Überprüfung unerlässlich ist.

Das Wesentliche

Von der Bauplanung zum fertigen Haus: Wie KI beim Schreiben von statistischen Prüfplänen hilft (aber nicht allein bauen darf)

Stellen Sie sich vor, Sie planen den Bau eines riesigen, komplexen Krankenhauses. Bevor ein einziger Ziegelstein gesetzt wird, müssen Sie einen extrem detaillierten Bauplan erstellen. In der Welt der medizinischen Forschung heißt dieser Plan „Statistischer Analyseplan" (SAP). Er ist das Regelwerk, das festlegt, wie die Daten eines klinischen Versuchs später ausgewertet werden, damit niemand die Ergebnisse manipulieren kann.

Das Problem: Das Schreiben dieses Plans ist wie das Schreiben eines 100-seitigen Romans, während man gleichzeitig Kopfschmerzen hat. Es ist langweilig, repetitiv und erfordert extrem viel Konzentration.

In dieser Studie haben die Forscher eine neue Idee ausprobiert: Können wir Künstliche Intelligenz (KI) als Schreibhilfe einsetzen, damit Menschen weniger Arbeit haben?

Hier ist die Geschichte, was sie herausgefunden haben, einfach erklärt:

1. Der Versuch: Der KI-Handwerker

Die Forscher gaben drei der fortschrittlichsten KI-Modelle der Welt (von OpenAI, Anthropic und Google) eine Aufgabe: Sie sollten aus einem medizinischen Forschungsprotokoll (dem „Auftrag") automatisch den statistischen Analyseplan (den „Bauplan") schreiben.

Statt die KI einfach zu bitten „Schreib mir einen Plan" (was oft zu chaotischen Ergebnissen führte), bauten die Forscher eine spezielle Anleitung (einen „Prompt-Pipeline").

• Die Analogie: Stellen Sie sich vor, Sie geben einem Baumeister nicht nur den Auftrag „Bau ein Haus", sondern Sie geben ihm ein detailliertes Skript: „Schreib zuerst das Kapitel über das Fundament. Ignoriere das Dach. Nimm nur die Informationen aus dem Auftrag, erfinde nichts dazu."
• Die KI wurde also Schritt für Schritt durch den Plan geführt, genau wie ein Mensch es tun würde.

2. Das Ergebnis: Ein guter Assistent, aber kein Architekt

Die Forscher ließen die KI 27 verschiedene Pläne für 9 verschiedene medizinische Studien schreiben. Dann haben zwei unabhängige Experten (erfahrene Statistik-Profis) jeden Plan wie bei einer Schulnote bewertet.

Was ging super?
Die KI war ein Meister im Abschreiben und Strukturieren.

• Wenn es darum ging, administrative Details zu nennen (z. B. „Wer ist der Chef?", „Wann beginnt die Studie?", „Wie viele Leute nehmen teil?"), war die KI fast perfekt.
• Die Metapher: Die KI ist wie ein extrem schneller und ordentlicher Sekretär. Sie kann Texte abtippen, Listen erstellen und Formulare ausfüllen, ohne sich zu vertippen.

Wo gab es Probleme?
Sobald es um schwierige mathematische Entscheidungen ging, stolperte die KI.

• Bei Fragen wie „Welches komplizierte mathematische Modell passt am besten für diese Daten?" oder „Wie gehen wir mit fehlenden Daten um?", machte die KI Fehler.
• Die Metapher: Die KI ist wie ein Handwerker, der glaubt, er sei ein Architekt. Sie kann die Mauern gerade verputzen, aber wenn es darum geht, die Statik des Hauses zu berechnen, damit es nicht einstürzt, macht sie Fehler. Manchmal erfindet sie sogar Lösungen, die auf den ersten Blick professionell klingen, aber mathematisch falsch sind (sogenannte „Halluzinationen").

3. Die wichtigsten Erkenntnisse in Kürze

• Alle KIs waren gleich gut (oder schlecht): Es machte keinen Unterschied, ob man Google, OpenAI oder Anthropic nutzte. Sie alle waren in der Lage, gute Entwürfe zu machen, aber alle hatten die gleichen Schwächen bei der komplexen Mathematik.
• Der Unterschied zwischen „Beschreibung" und „Berechnung":
  • Bei Beschreibungen (Was ist die Studie?) war die KI zu 80–83 % korrekt.
  • Bei Berechnungen (Wie analysieren wir das?) fiel die Trefferquote auf etwa 67–72 %.
• Die Gefahr der „schönen Lügen": Das Schlimmste war nicht, dass die KI gar nichts schrieb, sondern dass sie Dinge schrieb, die klingen, als wären sie richtig, aber falsch sind. Ein Arzt könnte denken: „Ah, die KI hat das perfekt berechnet!" – und dann wäre das Ergebnis der ganzen Studie wertlos.

4. Das Fazit: Der Mensch bleibt der Chef

Die Studie kommt zu einem klaren Schluss: KI ist ein fantastischer Werkzeugkasten, aber kein Ersatz für den Handwerker.

• Was die KI tut: Sie spart enorm viel Zeit. Sie kann den „langweiligen Teil" (das Abschreiben von Protokollen, das Formatieren) erledigen. Das ist wie ein Turbo für den Schreibprozess.
• Was der Mensch tun muss: Ein erfahrener Statistiker muss den Entwurf der KI wie ein Prüfer durchgehen. Er muss sicherstellen, dass die mathematischen Entscheidungen (die „Statik" des Hauses) stimmen.

Die große Metapher am Ende:
Stellen Sie sich vor, die KI ist ein junger, sehr schneller Lehrling, der Ihnen den Entwurf für den Bauplan auf den Tisch legt. Sie können sich riesig freuen, weil der Entwurf in 5 Minuten fertig ist und aussieht wie ein Profi-Arbeit. Aber Sie dürfen niemals den Schlüssel zum Haus an den Lehrling geben. Sie müssen als erfahrener Architekt den Plan genau prüfen, bevor Sie den Bau beginnen.

Wenn wir das tun, können wir die medizinische Forschung schneller und effizienter machen, ohne die Sicherheit der Patienten zu gefährden. Wenn wir die KI jedoch allein arbeiten lassen, riskieren wir, dass wir Häuser bauen, die einstürzen.

Technische Zusammenfassung

Titel

Von Protokoll zu Analyseplan: Entwicklung und Validierung einer Pipeline für Large Language Models (LLMs) zur Generierung statistischer Analysepläne (SAPAI)

1. Problemstellung

Statistische Analysepläne (SAPs) sind für die Transparenz und Glaubwürdigkeit klinischer Studien unerlässlich. Sie operationalisieren die wissenschaftlichen Ziele eines Studienprotokolls in eine vorab festgelegte, reproduzierbare Analysestrategie. Die Erstellung hochwertiger SAPs ist jedoch ressourcenintensiv, zeitaufwendig und erfordert ein hohes kognitives Maß an Expertise, da sie strikt vor dem Aufbrechen der Verblindung (unblinded data) fertiggestellt sein müssen.

Während Large Language Models (LLMs) bereits vielversprechende Ergebnisse beim Entwurf von Studienprotokollen gezeigt haben, war ihre Fähigkeit, hochwertige und protokollkonforme SAPs zu generieren, bisher nicht systematisch gegen etablierte methodische Leitlinien validiert worden. Es bestand die Sorge, dass LLMs bei komplexen statistischen Anforderungen „Halluzinationen" (falsche Fakten) produzieren oder methodisch unangemessene Analysen vorschlagen könnten, was die Integrität der Forschung gefährden würde.

2. Methodik

Entwicklung der Prompt-Pipeline (SAPAI):
Die Autoren entwickelten eine strukturierte, modulare Prompt-Pipeline, die sich an den Leitlinien von Gamble et al. (2023) orientiert. Der Prozess durchlief zwei Entwicklungsstufen:

• Stufe 1 (Vanilla-Prompts): Ein generischer Prompt führte zu unvollständigen, inkonsistent strukturierten Ausgaben und vermischten Inhalten.
• Stufe 2 (Strukturierte, abschnittsweise Prompt-Bibliothek): Um dies zu beheben, wurde ein System entwickelt, das den SAP abschnittsweise generiert. Jeder Prompt enthielt:
  • Eine systemische Rolle (Experte für klinische Studienstatistik).
  • Strikte Scope-Control (was einzuschließen ist) und Ausschlussregeln (was zu vermeiden ist).
  • Anweisungen zur Protokoll-Treue (keine Extrapolationen, nur Protokoll-Inhalte).
  • Standardisierte Formatierung und Handhabung von Nicht-Anwendbarkeit (explizite „nicht geplant"-Aussagen).
  • Few-Shot-Beispiele zur Veranschaulichung der erwarteten Spezifität.

Validierungsdesign:

• Datensatz: 9 reale klinische Studienprotokolle (verschiedene Therapiefelder wie Psychologie, Neurologie, Onkologie).
• Modelle: Drei führende LLMs wurden getestet: OpenAI GPT-5, Anthropic Claude Sonnet 4 und Google Gemini 2.5 Pro.
• Output: Insgesamt 27 SAP-Entwürfe (9 Protokolle × 3 Modelle).
• Bewertungsmetrik: Eine 46-Punkte-Checkliste (abgeleitet von den Gamble-Leitlinien und erweitert um das PreSPEC-Framework).
• Bewertungsskala: Ordinale Skala von 0 bis 3:
  • 0: Nicht behandelt.
  • 1: Vorhanden, aber mit substanziellen Fehlern/Halluzinationen (Gefahr für wissenschaftliche Integrität).
  • 2: Vorhanden und weitgehend korrekt, aber mit geringfügigen Mängeln.
  • 3: Korrekt, protokollkonform, wissenschaftlich angemessen und ausführlich genug zur Implementierung.
• Statistische Analyse: Die Items wurden von zwei unabhängigen Statistikern (einem beteiligten und einem externen) doppelt bewertet. Zur Auswertung wurde ein gemischtes logistisches Regressionsmodell verwendet, wobei der Endpunkt binärisiert wurde (Score 3 = korrekt, sonst = inkorrekt).

3. Wichtige Beiträge

• Erste systematische Validierung: Dies ist die erste Studie, die einen LLM-basierten Workflow speziell für die SAP-Erstellung in randomisierten kontrollierten Studien (RCTs) entwickelt und rigoros gegen methodische Standards validiert hat.
• Strukturierte Prompt-Engineering-Strategie: Die Studie demonstriert, dass eine modulare, abschnittsweise Prompt-Strategie (im Gegensatz zu „One-Shot"-Prompts) notwendig ist, um strukturelle Konsistenz und Protokoll-Treue zu gewährleisten.
• Differenzierte Leistungsanalyse: Die Arbeit trennt klar zwischen deskriptiven Aufgaben (Protokollzusammenfassung) und Aufgaben, die statistisches Schlussfolgern erfordern, und zeigt signifikante Leistungsunterschiede auf.
• Open Source: Die Pipeline (SAPAI) und der Analyse-Code wurden öffentlich zugänglich gemacht, um Reproduzierbarkeit und Weiterentwicklung zu fördern.

4. Ergebnisse

• Gesamtgenauigkeit: Die Modelle erzielten eine hohe Gesamtgenauigkeit von 77–78 %. Es gab keinen signifikanten Unterschied in der Leistung zwischen den drei getesteten LLMs (p = 0,79).
• Unterschied nach Item-Typ:
  • Deskriptive Items (z. B. administrative Details, Studiendesign, Einschlusskriterien): Hohe Genauigkeit von 81–83 %.
  • Statistische Items (z. B. Modellierungsstrategien, Sensitivitätsanalysen, Umgang mit fehlenden Daten): Deutlich niedrigere Genauigkeit von 67–72 %.
  • Der Unterschied zwischen den Item-Typen war hochsignifikant (p < 0,001).
• Qualitative Fehleranalyse:
  • Modelle waren bei administrativen Abschnitten sehr zuverlässig.
  • Bei statistischen Abschnitten traten spezifische Fehlermuster auf:
    • Auslassung notwendiger Details für Sekundär-Endpunkte.
    • „Plausible Halluzinationen": Vorschlag von Sensitivitätsanalysen, die methodisch unangemessen oder nicht im Protokoll vorgesehen waren.
    • Falsche Spezifikation von Kovariaten oder Analysemodellen (z. B. lineare Regression statt gemischter Modelle für wiederholte Messungen), was die Präzision der Schätzer beeinträchtigen könnte.

5. Bedeutung und Fazit

Die Studie zeigt, dass LLMs derzeit als effektive Assistenten für den Entwurf von SAPs eingesetzt werden können, insbesondere für den großen Teil des Dokuments, der deskriptiven Charakter hat. Dies könnte erhebliche Zeitersparnisse in der klinischen Studienplanung bringen.

Kritische Einschränkungen und Empfehlungen:

• Mensch im Loop (Human-in-the-Loop): Ein autonomer Einsatz von LLMs für die statistische Methodik ist derzeit nicht sicher. Die Modelle fehlen die Zuverlässigkeit, um komplexe statistische Architekturen eigenständig zu entwerfen.
• Rolle des Statistikers: Der menschliche Statistiker muss den generierten Entwurf zwingend als Vorlage behandeln und umfassend validieren, insbesondere bei inferenzstatistischen Abschnitten.
• Zukunftsausblick: Um die statistische Reasoning-Fähigkeit zu verbessern, sollten zukünftige Ansätze auf Retrieval-Augmented Generation (RAG) mit Zugriff auf externe Leitlinien oder Agentic Workflows (wo ein KI-Agent den Entwurf und ein anderer die Prüfung übernimmt) setzen.

Zusammenfassend sind LLMs mächtige „Zeichner" (Draughtsmen) für SAPs, aber noch keine autonomen „Architekten". Ihre Einführung erfordert eine strikte menschliche Aufsicht, um die Integrität klinischer Studien zu gewährleisten.