Prompting is All You Need: How to Make LLMs More Helpful for Clinical Decision Support

Deze studie toont aan dat gestructureerde prompts (zoals CARDS) de prestaties van diverse grote taalmodellen voor klinische besluitvorming bij acute stroke-thrombolyse aanzienlijk verbeteren, met name wat betreft richtlijnconformiteit en veiligheid, hoewel menselijk toezicht essentieel blijft.

De kern

Titel: Hoe je een slimme computerarts de juiste vragen stelt (Zodat hij geen gekke dingen doet)

Stel je voor dat je een superintelligente robot hebt die alles over geneeskunde weet, maar die soms een beetje als een enthousiaste, maar onervaren stagiair is. Als je hem zomaar vraagt: "Mag deze patiënt een bloedverdunnende pil krijgen?", kan hij soms een goed antwoord geven, maar soms ook een gevaarlijk foutje maken. Hij kan de regels vergeten of de risico's niet zien.

De auteurs van dit onderzoek (twee neurologen) hebben uitgezocht hoe je die robot kunt "trainen" om beter te doen, zonder dat je hem opnieuw hoeft te programmeren. Het geheim? De manier waarop je de vraag stelt.

De Proef: De "Simpele Vraag" vs. De "CARDS-methode"

Ze hebben zes verschillende slimme computers (LLMs) getest, waaronder bekende namen zoals GPT-4o en enkele open-source modellen. Ze gaven hen drie fictieve verhalen over patiënten met een beroerte (stroke) en vroegen of ze een speciale behandeling (tPA) moesten krijgen.

Ze deden dit op twee manieren:

1. De Simpele Vraag: "Moet deze patiënt de pil krijgen?" (Zoals een kort sms-je).
2. De CARDS-methode: Dit is een gestructureerde checklist die de computer dwingt om in stappen te denken. CARDS staat voor:
   • Context (Wat is er aan de hand?)
   • Aims (Wat willen we bereiken?)
   • Relevant details (Welke feiten zijn belangrijk?)
   • Design (Hoe passen we de regels toe?)
   • Source (Waar halen we de regels vandaan?)

Het is alsof je de robot niet alleen de vraag stelt, maar hem ook een recept geeft: "Eerst check je de tijd, dan kijk je of er gevaarlijke factoren zijn, en pas daarna geef je een advies."

Wat vonden ze? (De Resultaten)

Het verschil was soms als dag en nacht, afhankelijk van welke "robot" je gebruikte:

• De "Top-robots" (De dure, gesloten modellen zoals GPT-4o en GPT-5.2):
  Deze modellen waren al best slim. Met de simpele vraag deden ze het redelijk, maar met de CARDS-methode werden ze perfect. Ze maakten geen enkele fout meer, volgden alle regels en legden hun antwoord uit alsof het een ervaren arts was. Het was alsof je een goede student een duidelijke studiegids gaf; hij haalde direct een 10.

• De "Slimme Redenerende Open-Source Robot" (R1-1776):
  Dit is een gratis te gebruiken model dat zelf kan "nadenken". Met de simpele vraag was hij soms onzeker, maar met de CARDS-methode werd hij net zo goed als de dure modellen. Hij leerde de regels perfect en gaf veilige adviezen.

• De "Oudere Open-Source Robots" (De Llama-modellen):
  Deze modellen waren wat lastiger. Met de simpele vraag maakten ze fouten. Met de CARDS-methode werden ze beter (ze zagen risico's sneller en legden dingen duidelijker uit), maar ze werden niet perfect. Ze bleven soms nog steeds vastzitten in oude gewoonten en gaven soms nog een gevaarlijk advies. Het is alsof je een goede leerling een studiegids geeft, maar hij heeft nog steeds moeite met de moeilijkste wiskundevraag.

De Grootste Les

De belangrijkste ontdekking is dat hoe je vraagt, net zo belangrijk is als welke computer je gebruikt.

• Als je een robot vraagt om een complex medisch probleem op te lossen, moet je hem niet alleen de vraag stellen. Je moet hem een stappenplan geven.
• De "CARDS"-methode dwong de computers om niet direct te antwoorden, maar eerst te denken: "Oké, wat is de tijd? Zijn er contra-indicaties? Wat zeggen de regels?" Dit voorkwam dat ze in paniek raakten of halve waarheden vertelden.

Wat betekent dit voor de toekomst?

Dit onderzoek zegt niet dat we nu direct computers in de operatiekamer moeten zetten. Het zegt wel:

1. Gebruik altijd een stappenplan: Als artsen of ziekenhuizen slimme computers gebruiken, moeten ze altijd een gestructureerde prompt (zoals CARDS) gebruiken. Zomaar vragen is te riskant.
2. Kies je robot wijs: Sommige modellen (zoals de nieuwe GPT-versies en de slimme R1) reageren fantastisch op deze instructies. Andere modellen hebben misschien nog extra training nodig voordat ze veilig genoeg zijn.
3. De mens blijft de baas: Zelfs met de beste instructies en de slimste robot, moet er altijd een menselijke arts zijn die het laatste woord heeft. De computer is de assistent die de regels checkt, niet de dokter die de beslissing neemt.

Kort samengevat: Je kunt de beste chef-kok ter wereld hebben, maar als je hem alleen zegt "Bak iets lekkers", krijg je misschien een verbrande maaltijd. Als je hem echter een recept geeft met duidelijke stappen ("Eerst snijd je, dan bak je op 180 graden..."), krijg je een sterrenchef. Zo werkt het ook met slimme computers in de geneeskunde.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) hebben het potentieel om als ondersteunende hulpmiddelen bij klinische beslissingen te fungeren, bijvoorbeeld door vrije tekst in medische dossiers te analyseren om contra-indicaties voor trombolyse te identificeren. Echter, eerdere evaluaties tonen aan dat de nauwkeurigheid van deze modellen sterk varieert en dat ze, wanneer ze worden bevraagd met simpele, ongestructureerde prompts, soms onveilige adviezen kunnen geven. Er is een gebrek aan formeel onderzochte best practices voor prompt-engineering in realistische neurologische settingen, met name voor hoog-risico, tijdkritieke interventies zoals de beslissing om een patiënt met een acute ischemische beroerte tPA (trombolytica) te geven.

Methodologie

De auteurs voerden een systematische evaluatie uit van zes moderne LLMs, verdeeld in twee categorieën:

• Gesloten bron (Propriëtaire): OpenAI GPT-4o, OpenAI o3, en OpenAI GPT-5.2 Thinking.
• Open bron: Meta Llama-4-Scout-17B-16E-Instruct, Llama-3.3-70B-Instruct-Turbo, en het redeneringsmodel R1-1776 (een afgeleide van DeepSeek-R1 met verwijderde censuur, gehost door Perplexity Labs).

Experimenteel Ontwerp:

1. Data: Drie nieuwe, synthetische klinische casussen (vignettes) voor ischemische beroerte, speciaal ontworpen voor deze studie (geen echte patiëntgegevens).
2. Prompt-varianten:
   • Simpele Prompt: Alleen de casus en de vraag: "Moet deze patiënt trombolytica aangeboden krijgen?"
   • Gestructureerde Prompt (CARDS): Een vijf-staps raamwerk dat het model dwingt tot:
     1. Context (extractie van kritieke informatie).
     2. Aims (doelstellingen).
     3. Relevant details (tijdanalyse).
     4. Design (controle op contra-indicaties).
     5. Source (uitleg van het besluitvormingsproces en discussie van risico's/baten).
3. Evaluatie: Een erkende neuroloog met expertise in beroerte beoordeelde de output van elk model op zeven domeinen:
   • Richtlijn-gevolgzaamheid (Guideline adherence).
   • Veiligheid van aanbevelingen (Safety).
   • Herkenning van risico's.
   • Nauwkeurigheid van richtlijn-gradering.
   • Opname van een conversational uitleg.
   • Duidelijkheid en algehele bruikbaarheid (op een schaal van 1-5).

Belangrijkste Bijdragen

• Validatie van Prompt Engineering: Het artikel demonstreert dat gestructureerde prompting (specifiek het CARDS-protocol) een krachtigere methode is om de prestaties van LLMs in de kliniek te verbeteren dan alleen het fine-tunen van modellen.
• Vergelijkend Onderzoek: Het is een van de eerste studies die de impact van prompt-structuur vergelijkt tussen zowel gesloten als open-source modellen, inclusief nieuwe "redenerende" modellen (reasoning models).
• Klinische Richtlijnen: Het biedt een praktisch raamwerk voor artsen die LLMs willen inzetten voor acute stroke-behandeling, met een sterke nadruk op veiligheid en richtlijnconformiteit.

Resultaten

De resultaten tonen aan dat gestructureerde prompts de prestaties aanzienlijk verbeteren, maar dat de mate van verbetering sterk afhankelijk is van het modeltype:

1. Gesloten Bron Modellen (GPT-4o, o3, GPT-5.2 Thinking):

   • Toonden de grootste verbeteringen. Bijvoorbeeld, bij GPT-4o en o3 steeg de richtlijn-gevolgzaamheid van 83,3% naar 100%.
   • Onveilige aanbevelingen werden volledig geëlimineerd (van 16,7% naar 0%).
   • De nauwkeurigheid van de richtlijn-gradering steeg van 0% naar 100%.
   • Alle outputs bevatten nu een duidelijke, conversational uitleg.

2. Open Bron Redeneringsmodel (R1-1776):

   • Bereikte met gestructureerde prompts eveneens 100% in richtlijn-gevolgzaamheid, veiligheid, risicoherkenning en gradering.
   • De kwaliteit van de uitleg en de bruikbaarheid verbeterde drastisch (van gemiddeld 3,7 naar 5,0).
   • Dit toont aan dat open-source redeneringsmodellen, mits correct geprompt, concurrentieel kunnen zijn met proprietary modellen.

3. Andere Open Bron Modellen (Llama-4-Scout, Llama-3.3-70B):

   • Toonden bescheiden verbeteringen (bijv. risicoherkenning steeg naar 100%, gradering naar 66,7%).
   • Kritiek punt: Deze modellen behielden ondanks gestructureerde prompts een richtlijn-gevolgzaamheid van slechts 66,7% en gaven in 33,3% van de gevallen nog steeds onveilige aanbevelingen. Dit suggereert dat prompt-engineering alleen niet voldoende is voor minder geavanceerde open-source modellen in hoog-risico scenario's.

Betekenis en Conclusie

De studie concludeert dat gestructureerde prompting essentieel is voor het veilig en effectief inzetten van LLMs in de klinische besluitvorming voor acute beroertes.

• Klinische Implementatie: Voor de korte termijn wordt aanbevolen om LLMs te koppelen aan gestructureerde prompts die systematisch redeneren afdwingen (extractie, tijd, contra-indicaties, risico/baten).
• Modelkeuze: Propriëtaire modellen (GPT-4o, o3, GPT-5.2) en specifieke open-source redeneringsmodellen (R1-1776) presteerden het beste en zijn de voorkeurskeuze voor klinische toepassingen. Andere open-source modellen vereisen mogelijk nog aanvullende fine-tuning of Retrieval-Augmented Generation (RAG) voordat ze veilig zijn.
• Menselijk Toezicht: Ondanks de verbeteringen door prompting, blijft vigilant menselijk toezicht onmisbaar. LLMs mogen niet als autonome beslissingsmakers worden ingezet, maar uitsluitend als ondersteunende tools totdat uitgebreide validatie is voltooid.

De auteurs benadrukken dat prompt-engineering een krachtig instrument is, maar dat de uiteindelijke prestatie ook afhangt van de onderliggende modelarchitectuur, training en uitlijning (alignment).