Prompting is All You Need: How to Make LLMs More Helpful for Clinical Decision Support

Die Studie zeigt, dass strukturierte Prompting-Methoden (CARDS) die Leistung von großen Sprachmodellen bei der klinischen Entscheidungsunterstützung für die Thrombolyse bei akuten Schlaganfällen signifikant verbessern, indem sie die Leitlinienadhärenz erhöhen und unsichere Empfehlungen reduzieren, wobei jedoch eine menschliche Überwachung weiterhin unerlässlich bleibt.

Das Wesentliche

Titel: Wie man KI-Modelle zu besseren Ärzten macht – Ein Rezept statt eines einzelnen Befehls

Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber manchmal etwas verwirrten Assistenten. Dieser Assistent hat alle medizinischen Bücher der Welt gelesen, aber wenn Sie ihn einfach nur fragen: „Soll ich diesem Patienten ein Blutverdünnungsmittel geben?", antwortet er manchmal mit einer falschen oder sogar gefährlichen Antwort. Er ist wie ein brillanter Student, der die Theorie kennt, aber bei der praktischen Anwendung den Überblick verliert.

Dieses Forschungsprojekt untersucht genau dieses Problem: Wie können wir diese Künstliche Intelligenz (KI) dazu bringen, in kritischen Situationen – wie bei einem Schlaganfall – die richtigen Entscheidungen zu treffen?

Das Problem: Der „einfache Befehl" funktioniert nicht

Die Forscher haben sechs verschiedene KI-Modelle getestet (einige von großen Tech-Firmen, andere offen und frei verfügbar). Sie gaben ihnen drei fiktive Fälle von Schlaganfall-Patienten.

• Der alte Weg: Man fragte einfach nur: „Soll man Thrombolyse (Blutverdünnung) geben?"
• Das Ergebnis: Die KI antwortete oft unsicher, ignorierte wichtige Warnsignale oder gab sogar gefährliche Ratschläge. Es war, als würde man einem Koch nur sagen: „Mach etwas Leckeres", ohne ihm das Rezept zu geben.

Die Lösung: Das „CARDS"-Rezept

Die Forscher entwickelten eine neue Art, die KI zu fragen. Sie nannten es CARDS. Stellen Sie sich das wie ein Rezept für einen perfekten Kuchen vor. Anstatt nur zu sagen „Backe einen Kuchen", gibt das Rezept dem KI-Koch klare Schritte:

1. Kontext: Wer ist der Patient? (Die Zutaten prüfen).
2. Ziele: Was wollen wir erreichen? (Den Kuchen fertig machen).
3. Wichtige Details: Gibt es Allergien oder Verbote? (Die Kontraindikationen prüfen – z. B. „Keine Nüsse, wenn der Patient allergisch ist").
4. Design: Wie gehen wir Schritt für Schritt vor? (Die Logik erklären).
5. Quelle: Woher wissen wir das? (Die medizinischen Regeln zitieren).

Was passierte, als sie das Rezept benutzten?

Das Ergebnis war verblüffend, aber nicht bei allen KI-Modellen gleich stark:

• Die „Premium"-Modelle (wie GPT-4o, o3 und GPT-5.2): Diese Modelle waren schon ziemlich schlau. Aber mit dem CARDS-Rezept wurden sie perfekt. Sie machten keine Fehler mehr, erkannten alle Risiken und erklärten ihre Entscheidung so klar, als würde ein erfahrener Neurologe sprechen. Die Sicherheit stieg von „manchmal gefährlich" auf „zu 100 % sicher".
• Die „Open-Source"-Modelle (wie Llama): Diese waren wie talentierte, aber noch etwas unerfahrene Auszubildende. Mit dem Rezept wurden sie deutlich besser und erkannten mehr Risiken. Aber sie machten immer noch ein paar Fehler bei der strikten Einhaltung der Regeln. Sie brauchten das Rezept, um gut zu sein, aber sie waren nicht so perfekt wie die Premium-Modelle.
• Der „Denker" (R1-1776): Ein spezielles offenes Modell, das zum Nachdenken trainiert wurde, zeigte sich mit dem Rezept fast genauso gut wie die Premium-Modelle. Es war ein Beweis dafür, dass die richtige Anleitung auch für offene KI-Systeme Wunder wirken kann.

Die große Lektion

Die wichtigste Erkenntnis dieser Studie ist: Die Art, wie man eine KI fragt, ist genauso wichtig wie die KI selbst.

Stellen Sie sich vor, die KI ist ein hochleistungsfähiges Auto.

• Wenn Sie einfach nur „Fahren!" sagen (einfacher Prompt), kann das Auto in einen Graben fahren.
• Wenn Sie aber sagen: „Prüfe den Motor, schau auf die Ampel, halte Abstand und fahre vorsichtig zur nächsten Tankstelle" (strukturierter Prompt), dann fährt das Auto sicher und effizient.

Fazit für die Praxis

Für Ärzte bedeutet das: Man sollte KI nicht einfach als „Wissensmaschine" benutzen, die man einfach anspricht. Man muss ihr eine klare Struktur geben, die sie zwingt, Schritt für Schritt zu denken, Risiken zu prüfen und die medizinischen Regeln zu befolgen.

Besonders bei lebenswichtigen Entscheidungen wie der Behandlung eines Schlaganfalls reicht es nicht, der KI zu vertrauen. Man braucht:

1. Ein gutes „Rezept" (strukturierte Fragen).
2. Ein sehr gutes KI-Modell (am besten eines, das mit dem Rezept perfekt funktioniert).
3. Und vor allem: Einen menschlichen Arzt, der am Ende das Steuer übernimmt und die Entscheidung überprüft.

Die KI ist ein mächtiges Werkzeug, aber wie bei einem Hammer: Wenn man ihn falsch benutzt, kann man sich den Daumen einschlagen. Mit der richtigen Technik (dem Prompt) wird er zum perfekten Werkzeug für den Arzt.

Technische Zusammenfassung

Titel: Prompting ist alles, was man braucht: Wie man LLMs für die klinische Entscheidungsunterstützung hilfreicher macht

Autoren: Braydon Dymm, MD; Daniel M. Goldenholz, MD, PhD
Veröffentlichung: medRxiv Preprint (nicht peer-reviewed), Februar 2026

---

1. Problemstellung

Große Sprachmodelle (LLMs) haben das Potenzial, als Werkzeuge zur klinischen Entscheidungsunterstützung (CDS) zu dienen, indem sie freie klinische Texte analysieren (z. B. zur Identifizierung von Kontraindikationen). Allerdings zeigen frühere Bewertungen eine variable Genauigkeit und gelegentlich unsichere Ratschläge, insbesondere wenn Modelle mit einfachen, unstrukturierten Abfragen („Simple Prompts") befragt werden.
Besonders kritisch ist dies bei hochriskanten, zeitkritischen Interventionen wie der Entscheidung zur Thrombolyse (tPA-Gabe) bei akutem ischämischem Schlaganfall. Bisher fehlt es an formalen Untersuchungen, wie sich Prompt-Engineering auf verschiedene proprietäre und Open-Source-Modelle in realistischen neurologischen Szenarien auswirkt.

2. Methodik

Die Studie evaluierte sechs aktuelle LLMs unter Verwendung von drei synthetischen, fiktiven klinischen Fallvignetten für ischämische Schlaganfälle.

• Getestete Modelle:
  • Closed-Source (Proprietär): OpenAI GPT-4o, OpenAI o3, OpenAI GPT-5.2 Thinking.
  • Open-Source: Meta Llama-4-Scout-17B-16E-Instruct, Llama-3.3-70B-Instruct-Turbo und das Reasoning-Modell R1-1776 (von Perplexity Labs, abgeleitet von DeepSeek-R1).
• Prompt-Strategien:
  1. Einfacher Prompt: Nur die Vignette und die Frage: „Sollte diesem Patienten Thrombolytika angeboten werden?"
  2. Strukturierter Prompt (CARDS-Framework): Ein fünfstufiger Ansatz, der das Modell anweist:
     • Context (Kontext)
     • Aims (Ziele)
     • Relevant details (Relevante Details extrahieren)
     • Design (Entscheidungsprozess erklären)
     • Source (Ressourcen/Guidelines zitieren)
     • Konkrete Schritte: Informationsentnahme, Zeitanalyse, Kontraindikationsprüfung, Erklärung des Entscheidungsprozesses und Diskussion von Risiken vs. Nutzen.
• Evaluierung: Ein zertifizierter Schlaganfall-Neurologe bewertete die Ausgaben in sieben Domänen:
  1. Leitlinienkonformität (Guideline Adherence)
  2. Sicherheit der Empfehlung (keine unsicheren Ratschläge)
  3. Erkennung von Risiken
  4. Genauigkeit der Leitlinien-Grading
  5. Einbeziehung einer konversationellen Erklärung
  6. Klarheit
  7. Gesamtnützlichkeit (Skala 1–5)

3. Schlüsselbeiträge

• Systematischer Vergleich: Erste direkte Gegenüberstellung von proprietären und Open-Source-Modellen (einschließlich neuer Reasoning-Modelle) im Kontext der Schlaganfall-Thrombolyse.
• Validierung des CARDS-Frameworks: Demonstration, dass ein spezifisches, fünfstufiges Prompting-Schema die Leistung signifikant steigern kann, ohne dass Fine-Tuning notwendig ist.
• Differenzierte Analyse: Aufdeckung, dass die Wirksamkeit von Prompt-Engineering stark vom Modelltyp (Proprietär vs. Open-Source, Reasoning vs. Non-Reasoning) abhängt.

4. Ergebnisse

Die strukturierten Prompts verbesserten die Leistung in den meisten Domänen, jedoch mit unterschiedlicher Stärke je nach Modellfamilie:

• Proprietäre Modelle (GPT-4o, o3, GPT-5.2 Thinking):

  • Zeigten massive Verbesserungen. Die Leitlinienkonformität stieg von 83,3 % auf 100 %.
  • Unsichere Empfehlungen wurden von 16,7 % auf 0 % reduziert (bei GPT-4o/o3).
  • Die Genauigkeit der Leitlinien-Grading stieg von 0 % auf 100 %.
  • Konversationelle Erklärungen, die bei einfachen Prompts fehlten, wurden bei 100 % der strukturierten Ausgaben generiert.
  • GPT-5.2 Thinking zeigte bereits bei einfachen Prompts hohe Sicherheit, erreichte aber mit strukturierten Prompts perfekte Werte in allen Kategorien.

• Open-Source Reasoning-Modell (R1-1776):

  • Erreichte mit strukturierten Prompts ebenfalls 100 % in Leitlinienkonformität, Sicherheit, Risikobewusstsein und Leitlinien-Grading.
  • Die Fähigkeit zur konversationellen Erklärung stieg von 0 % auf 100 %.
  • Dies zeigt, dass Open-Source-Reasoning-Modelle mit proprietären Modellen mithalten können, wenn sie korrekt promptet werden.

• Open-Source Non-Reasoning Modelle (Llama-4-Scout, Llama-3.3-70B):

  • Zeigten nur moderate Verbesserungen.
  • Die Leitlinienkonformität blieb bei 66,7 % (unverändert).
  • Unsichere Empfehlungen blieben bei 33,3 % bestehen, trotz strukturierter Prompts.
  • Verbesserungen wurden nur bei Risikobewusstsein (83,3 % → 100 %) und Leitlinien-Grading (0 % → 66,7 %) beobachtet.

Gesamt: Der größte absolute Gewinn durch strukturiertes Prompting lag in der Genauigkeit der Leitlinien-Grading (von 0 auf 16 korrekte Ausgaben insgesamt) und der Hinzunahme von konversationellem Reasoning.

5. Bedeutung und Implikationen

• Klinische Anwendung: Für den kurzfristigen Einsatz in der klinischen Entscheidungsunterstützung ist die Verwendung strukturierter Prompts (wie CARDS) unerlässlich, um Sicherheit und Leitlinienkonformität zu gewährleisten.
• Modellauswahl: Proprietäre Modelle (GPT-4o, o3, GPT-5.2) und das Open-Source-Reasoning-Modell R1-1776 eignen sich am besten für hochriskante Szenarien, da sie durch Prompting auf ein sicheres Niveau gebracht werden können.
• Grenzen von Open-Source: Nicht alle Open-Source-Modelle (insbesondere Standard-Llama-Varianten ohne Reasoning-Fokus) erreichen durch Prompting allein die notwendige Sicherheit. Diese benötigen möglicherweise zusätzliches Fine-Tuning oder Retrieval-Augmented Generation (RAG) mit verifizierten Quellen.
• Human-in-the-Loop: Trotz der Verbesserungen bleibt eine strenge menschliche Aufsicht für jede KI-gestützte klinische Entscheidung in hochriskanten Szenarien zwingend erforderlich.

Fazit: Prompt-Engineering ist ein mächtiges Werkzeug, um LLMs für die Schlaganfallversorgung zu optimieren. Die Fähigkeit, optimale Leistung zu erzielen, hängt jedoch stark von der zugrunde liegenden Modellarchitektur und dem Training ab. Strukturierte Prompts sind der kritische Faktor, um die Lücke zwischen theoretischem Potenzial und sicherer klinischer Anwendung zu schließen.