GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

Technische Samenvatting: GPT-5 versus Senior Anesthesiologie-Intensieve Zorg Residenten op Sequentiële Klinische Casussen

Probleemstelling
Hoewel Large Language Models (LLMs) een hoge nauwkeurigheid vertonen bij medische licentie-examens, bieden prestatiemetricen op basis van meerkeuzetoetsen onvoldoende inzicht in de mate waarin een antwoord het onderliggende klinische redeneerproces expliciet documenteert. Klinisch redeneren is een contextafhankelijke cognitieve activiteit die probleemrepresentatie, hypothesegeneratie en interpretatie van bewijsmateriaal omvat. Bestaande literatuur schiet vaak tekort in het bieden van rigoureuze empirische ontwerpen die LLM's vergelijken met trainees op deze specifieke vaardigheden in het documenteren van redeneringen. Bovendien is er een gebrek aan bewijs met betrekking tot de prestaties van LLM's in Franstalige postdoctorale trainingsomgevingen, met name binnen Noord-Afrikaanse medische contexten. Deze studie adresseert de kloof tussen "correcte antwoorden" en "gedocumenteerde redenering" door de kwaliteit van geschreven klinische redeneeroutputs te vergelijken tussen een state-of-the-art LLM (GPT-5) en senior medische trainees.

Methodologie
De studie was een single-center, cross-sectionele pilot uitgevoerd aan het Centre Hospitalier Universitaire Ibn Rochd in Casablanca, Marokko.

• Deelnemers: De studie maakte gebruik van een exhaustieve census van 14 vierdejaars anesthesiologie-intensieve zorg residenten (100% participatie).
• Stimuli: Twintig echte, volledig geanonimiseerde klinische casussen (2020–2024) werden geselecteerd en gestandaardiseerd. De casussen werden verdeeld in twee sequentiële delen: Deel 1 (anamnese, achtergrond, lichamelijk onderzoek) en Deel 2 (laboratorium- en beeldvormingsresultaten).
• Taakallocatie: Elke resident voltooide vier afzonderlijke casussen (totaal 56 resident-responses). GPT-5 voltooide alle 20 casussen één keer. Het ontwerp was een incomplete-block structuur waarbij elke resident werd gekoppeld aan GPT-5 op dezelfde vier casussen voor de primaire analyse.
• Prompt Engineering: GPT-5 werd benaderd via de OpenAI API (model alias gpt-5, temperatuur 0.3, reasoning effort "medium"). De prompt kende het model de rol toe van een anesthesioloog-intensivist en vroeg expliciet om een gestructureerde output die de componenten van de Revised-IDEA (R-IDEA) weerspiegelt: een conceptuele checklist, een beknopte probleemrepresentatie, geprioriteerde onderzoeken, en een differentiële diagnose met expliciete argumenten vóór en tegen elke hypothese. Het model kreeg de referendiagnose en het beoordelingsschema niet verstrekt.
• Evaluatie: Twee faculteitsleden ontwikkelden casus-specifieke referentie-rubrics gebaseerd op het R-IDEA-instrument. Eén gemaskeerde evaluator beoordeelde alle responses (residenten en GPT-5) tegen deze rubrics. De R-IDEA-score (0–10) beoordeelt vier domeinen: Interpretatieve Samenvatting, Differentiële Diagnose, Verklaring van de Primaire Diagnose en Verklaring van Alternatieve Diagnoses.
• Statistische Analyse: De primaire analyse gebruikte een gepaarde Student's t-test om de gemiddelde R-IDEA-scores van elke resident (over hun vier casussen) te vergelijken met de gemiddelde score van GPT-5 op diezelfde vier casussen. Diagnostische nauwkeurigheid werd beschrijvend gerapporteerd.

Belangrijkste Resultaten

• Primaire Uitkomst: GPT-5 behaalde een significant hogere gemiddelde totale R-IDEA-score (9.5, SD 0.9) vergeleken met de residenten (7.0, SD 2.4). Het gemiddelde gepaarde verschil was 2.5 punten in het voordeel van GPT-5 (95% CI 1.4–3.6; p < 0.001). De effectgrootte was groot (gepaarde d_z = 1.39).
• Domeinprestaties: GPT-5 presteerde beter dan de residenten in alle vier de R-IDEA-domeinen. Het grootste absolute verschil trad op in het domein "Interpretatieve Samenvatting" (verschil van 1.0 punt). De scores van GPT-5 waren geconcentreerd nabij het maximum van de schaal, wat wijst op een potentieel plafondeffect, terwijl de scores van de residenten een grotere variabiliteit vertoonden (Variatiecoëfficiënt: 34% voor residenten versus 9% voor GPT-5).
• Diagnostische Nauwkeurigheid: GPT-5 identificeerde de referentiediagnose van de faculteit in 75% van de gevallen (15/20), terwijl de gemiddelde diagnostische nauwkeurigheid voor de residenten 68% was. Het studieontwerp verhinderde inferentiële statistische vergelijking van deze percentages vanwege niet-onafhankelijke observaties en ongelijke casusreplicatie.

Belangrijkste Bijdragen

• Conceptuele Replicatie in een Nieuwe Context: Deze studie breidt eerdere bevindingen (bijv. Cabral et al.) over generatieve AI en klinisch redeneren uit naar een Franstalige setting, een Marokkaans academisch centrum en een cohort senior anesthesiologie-residenten.
• Differentiatie van Documentatie versus Competentie: De studie maakt expliciet onderscheid tussen de kwaliteit van de gedocumenteerde redenering (waarin GPT-5 uitblonk onder de specifieke prompt) en werkelijke klinische competentie of bedside-prestaties.
• Methodologisch Kader: Het demonstreert een protocol voor het vergelijken van LLM-outputs met het geschreven werk van trainees met behulp van gestructureerde rubrics (R-IDEA) en bron-maskering, waarbij het belang van prompt-alignement met beoordelingscriteria wordt benadrukt.

Betekenis en Claims
De auteurs concluderen dat onder een prompt die is afgestemd op de R-IDEA-componenten, GPT-5 een geschreven klinische redeneerdocumentatie produceert die hoger scoort dan die van senior residenten. Het artikel behoudt echter een bescheiden houding ten aanzien van de implicaties van deze bevinding:

• Geen Claim van Superieure Competentie: De auteurs stellen expliciet dat hogere documentatiescores geen superieure klinische competentie, diagnostische equivalentie of educatieve effectiviteit vaststellen.
• Educatieve Hypothese: De primaire betekenis ligt in het potentieel van GPT-5 om te dienen als een "redeneer-documentatie-steiger" (reasoning-documentation scaffold). De auteurs stellen voor dat door de faculteit gesuperviseerde, gecontroleerde GPT-5 outputs gebruikt kunnen worden als uitgewerkte voorbeelden (worked examples) om residenten te helpen hun eigen probleemrepresentaties te vergelijken met een gestructureerd model, waardoor redeneren zichtbaarder wordt.
• Beperkingen en Toekomstige Richtingen: De studie erkent beperkingen, waaronder het single-center design, het gebruik van een enkele beoordelaar, het gebrek aan een tweede modelrun om stochastische variabiliteit te beoordelen, en de specifieke afstemming van de prompt op de rubric die het model mogelijk heeft bevoordeeld. De auteurs suggereren dat toekomstig onderzoek prospectieve, multi-rater educatieve trials moet omvatten om te testen of het gebruik van door het model gegenereerde uitgewerkte voorbeelden daadwerkelijk de leerresultaten verbetert zonder automatisering-bias (automation bias) te induceren.