📄 geneeskunde

Harnessing Artificial Intelligence (AI) for Surgical Education: Comparing AI- and Surgeon-Generated Feedback in Informed Consent Training

Hoewel door AI gegenereerde feedback voor training over geïnformeerde toestemming hoger werd beoordeeld op kwaliteit en volledigheid dan door chirurgen gegenereerde feedback, kende de AI systematisch gunstigere prestatiescores toe, wat aangeeft dat een hoge feedbackkwaliteit geen garantie biedt voor evaluatieve validiteit en de noodzaak van menselijk toezicht bij genuanceerde chirurgische beoordelingen benadrukt.

Oorspronkelijke auteurs: Catherine Gbekie, Brianna M. Peet, Mary Grace Whelan, Grace B. Simmons, Daniel P. Pacella, Viemma Nwigwe, Angel Rosario

Gepubliceerd 2026-10-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Catherine Gbekie, Brianna M. Peet, Mary Grace Whelan, Grace B. Simmons, Daniel P. Pacella, Viemma Nwigwe, Angel Rosario

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de hooggespannen wereld van de chirurgie is het moment waarop een patiënt instemt met een operatie even cruciaal als de procedure zelf. Deze instemming, bekend als informed consent (geïnformeerde toestemming), is niet louter een handtekening op een formulier, maar een complex gesprek waarin een arts de risico's, voordelen en alternatieven van een operatie moet uitleggen op een manier die de patiënt werkelijk begrijpt. Het vereist een delicaat evenwicht tussen medische kennis, empathie en het vermogen om de angsten, culturele overtuigingen en persoonlijke waarden van een patiënt te navigeren. Decennialang heeft het onderwijzen van toekomstige chirurgen in het beheersen van dit gesprek vertrouwd op menselijke docenten die hun studenten observeerden en bekritiseerden. Toch worstelen deze docenten in drukke ziekenhuizen vaak met de tijd om elke stagiair gedetailleerde, gepersonaliseerde feedback te geven. Nu kunstmatige intelligentie steeds beter in staat is om menselijke taal te begrijpen, is er een nieuwe vraag ontstaan: zou een computerprogramma deze vitale communicatieve vaardigheden even goed, of misschien zelfs beter, kunnen aanleren dan een menselijke chirurg?

Onderzoekers aan Columbia University zetten zich in om dit idee te testen door een geavanceerd computerprogramma tegenover menselijke experts te plaatsen in een gesimuleerde oefening. Ze vroegen zes geneeskundestudenten om een moeilijk gesprek te oefenen: het uitleggen van de noodzaak van een laparoscopische appendectomie aan een virtuele patiënt die specifieke religieuze overtuigingen en culturele beperkingen had. De studenten spraken met een computerprogramma dat ontworpen was om de patiënt te spelen, waarbij ze een scenario moesten navigeren dat van hen vereiste zowel medisch accuraat als cultureel sensitief te zijn. Nadat elke student het gesprek had voltooid, genereerde de computer een gedetailleerd verslag over hun prestaties. Tegelijkertijd lazen vier menselijke chirurgen, die niet aanwezig waren tijdens de simulatie, de transcripties van dezelfde gesprekken en schreven zij hun eigen evaluaties op basis van exact dezelfde beoordelingsgids. Het doel was om te zien of de feedback van de computer overeenkwam met de visies van de menselijke experts en om te bepalen of de computer kwalitatief hoogwaardig advies voor verbetering kon bieden.

De resultaten toonden een opvallend contrast tussen de kwaliteit van de feedback en de nauwkeurigheid van de beoordeling. Het computerprogramma produceerde feedback die aanzienlijk uitgebreider, evenwichtiger en constructiever was dan de aantekeningen die de menselijke chirurgen hadden geschreven. In een gestandaardiseerde beoordeling van de feedbackrapporten scoorde de computer veel hoger met zijn suggesties; het bood specifieke voorbeelden van wat goed ging en wat er verbeterd moest worden, samen met duidelijke, actiegerichte stappen voor verbetering. De menselijke chirurgen boden daarentegen vaak kortere, directere opmerkingen die soms sterk gericht waren op fouten, zonder altijd de sterke punten van de student te erkennen. De computer gebruikte consequent ondersteunende taal en rechtvaardigde de scores met gedetailleerde redenen, terwijl de menselijke feedback meer varieerde in diepgang en toon.

Echter, toen de onderzoekers keken naar de werkelijke scores die de computer gaf versus de scores die de chirurgen gaven, ontstond er een ander beeld. De computer was consequent milder en kende hogere prestaties toe aan dezelfde gesprekken dan de menselijke experts. Op verschillende kerngebieden, zoals het uitleggen van de risico's van de operatie, het bespreken van alternatieven en het adresseren van de emoties van de patiënt, beoordeelde de computer de studenten aanzien evenveel hoger dan de chirurgen. De kloof was het grootst op gebieden die diep klinisch oordeelsvermogen vereisten, zoals het beoordelen of de patiënt de situatie werkelijk begreep of het integreren van de persoonlijke voorkeuren van de patiënt in het behandelplan. Terwijl de computer vaak bijna perfecte scores gaf, identificeerden de menselijke chirurgen subtiele tekortkomingen in het begrip en de nuance van de studenten die de machine miste.

Dit onderzoek suggereert dat hoewel kunstmatige intelligentie een uitstekend hulpmiddel is voor het genereren van gedetailleerde, aanmoedigende en gestructureerde feedback, het nog niet klaar is om het menselijk oordeel te vervangen bij het evalueren van de werkelijke competentie van een chirurg. De computer blonk uit in het leveren van de rijke, educatieve commentaren die een leerling helpen oefenen en verbeteren, maar de neiging hebben om de diepere, subtielere gebreken over het hoofd te zien die een ervaren chirurg zou opmerken. De bevindingen wijzen erop dat de beste aanpak voor de training van toekomstige chirurgen waarschijnlijk een partnerschap is: het gebruik van kunstmatige intelligentie om frequente, onmiddellijke en kwalitatief hoogwaardige oefensessies te bieden, terwijl men vertrouwt op menselijke experts voor de uiteindelijke, genuanceerde beoordeling van de vraag of een student de complexe kunst van informed consent werkelijk beheerst heeft.

Technische Samenvatting: Het inzetten van AI voor chirurgische educatie bij training in geïnformeerde toestemming

Probleemstelling
Hoogwaardige, tijdige en geïndividualiseerde feedback is essentieel voor de ontwikkeling van klinisch inzicht en communicatieve vaardigheden bij chirurgen in opleiding. De levering van dergelijke feedback wordt echter vaak belemmerd door de concurrerende klinische, onderzoeksgerelateerde en educatieve eisen die aan chirurgisch faculteitsleden worden gesteld. Als gevolg hiervan zijn de beoordelingen van trainees vaak incompleet of vertraagd. Hoewel geïnformeerde toestemming (informed consent, IC) een cruciale competentie is die de integratie van procedurele kennis, patiëntgerichte besluitvorming en genuanceerde risico-afwegingscommunicatie vereist, bestaan er aanzienlijke tekortkomingen in de prestaties van artsen-assistenten en studenten. De huidige literatuur geeft aan dat trainees vaak essentiële elementen van IC niet volledig vermelden, een gebrek hebben aan voldoende oefening en moeite hebben met gestandaardiseerde educatie. Hoewel Large Language Models (LLM's) een schaalbare oplossing bieden voor gesimuleerde training en feedback, blijft hun vermogen om de prestaties van lerenden met een getrouwheid die vergelijkbaar is met die van menselijke experts te evalueren, onvoldoende gevalideerd.

Methodologie
De studie maakte gebruik van een comparatief ontwerp waarbij zes medische studenten een gesimuleerd gesprek over geïnformeerde toestemming voor een laparoscopische appendectomie voltooiden. De simulatie maakte gebruik van een geprogrammeerde LLM-gebaseerde chatbot (ChatGPT, GPT-4) die fungeerde als een synthetische patiënt, waarbij een cultureel sensitief scenario werd geïntegreerd dat religieuze overtuigingen betrof om communicatie te testen die verder gaat dan basisprocedurele kennis.

Evaluatieprotocol: Elk transcript van een ontmoeting door een student werd tweemaal geëvalueerd: één keer door de LLM en onafhankelijk door vier menselijke chirurgen (assistenten en arts-specialisten).
Score-instrument: Zowel de AI- als de menselijke evaluatoren gebruikten een gestandaardiseerde 17-items rubric voor geïnformeerde toestemming, aangepast van de New Mexico Clinical Communication Scale (NMCCS). Items werden gescoord op een schaal van 0–3, wat een maximale totaalscore van 51 opleverde. De rubric omvatte componenten zoals het adresseren van patiëntemoties, het uitleggen van risico's/alternatieven, het beoordelen van wilsbekwaamheid en het vermijden van dwang.
Beoordeling van de Kwaliteit van Feedback: Narratieve feedback gegenereerd door zowel de AI als de chirurgen werd geëvalueerd met behulp van een aangepast Completed Clinical Evaluation Report Rating (mCCERR) kader. Dit 8-items instrument beoordeelde drie dimensies: Omvang en Balans, Specificiteit en Rechtvaardiging, en Educatieve Bruikbaarheid en Constructiviteit. Scores varieerden van 0 tot 40.
Statistische Analyse: Scoring-alignement werd gedefinieerd als het verschil tussen de door de AI toegekende score en de door de chirurg gemediane score. Verschillen werden geanalyseerd met de Wilcoxon rank-sum test. Feedbackkwaliteitsscores werden eveneens geaggregeerd en vergelijkbaar vergeleken.

Belangrijkste Resultaten
De studie onthulde een duidelijke divergentie tussen de kwaliteit van de feedback en de validiteit van de prestatiebeoordeling.

Discordantie in Prestatiescoring: De AI kende consequent hogere prestatiescores toe dan menselijke chirurgen. Er werden statistisch significante verschillen ( $P=0,03$ ) gevonden in vijf specifieke rubric-items: het adresseren van patiëntemoties, het uitleggen van de aard van de procedure, het uitleggen van risico's, het uitleggen van alternatieven en het vermijden van dwang. De grootste absolute verschilscores kwamen voor bij het uitleggen van contra-indicaties (1,75 punten), het beoordelen van wilsbekwaamheid (1,5 punten) en het integreren van patiëntenvoorkeuren (1,25 punten). De AI kende frequent maximale of bijna maximale scores toe, wat wijst op een beperkt onderscheidend vermogen tussen verschillende niveaus van leerprestaties.
Superieuriteit van Feedbackkwaliteit: In tegen testelling tot de scoring-alignement, ontving door AI gegenereerde narratieve feedback significant hogere kwaliteitsscores dan door chirurgen gegenereerde feedback. De mediane algemene mCCERR-score voor de AI was 38,5 van de 40, vergeleken met 24,75 voor de chirurgen ( $P=0,04$ ). De AI-feedback scoorde significant hoger op alle drie de kwaliteitsdimensies ( $P \leq 0,04$ ). Kwalitatieve analyse toonde aan dat de AI-feedback uitgebreider was, expliciete rechtvaardigingen voor scores bood, actiegerichte aanbevelingen deed en ondersteunende, empathische taal gebruikte. De feedback van chirurgen was vaak beknopter, variabel in reikwijdte en richtte zich soms disproportioneel op fouten zonder sterke punten te balanceren.

Belangrijkste Bijdragen

Validatie van Feedbackkwaliteit versus Beoordelingsvaliditeit: De studie toont aan dat hoogwaardige, uitgebreide en constructieve feedback gegenereerd door LLM's niet noodzakelijkerwijs correleert met een accurate prestatiebeoordeling. De AI bood superieure narratieve feedback, maar stemde niet overeen met menselijke experts in het scoren van de bekwaamheid van de lerende.
Identificatie van Systematische Bias: Het onderzoek identificeert een systematische neiging van LLM's om gunstigere prestatiescores toe te kennen dan menselijke experts, met name in genuanceerde gebieden die contextueel oordeelsvermogen vereisen (bijv. het beoordelen van wilsbekwaamheid of het integreren van culturele voorkeuren).
Schaalbaarheid van Formatieve Feedback: De bevindingen suggereren dat LLM's effectief kunnen zijn in het genereren van gestructureerde, gedetailleerde en onmiddellijke formatieve feedback, wat potentieel de druk op de faculteit kan verlichten terwijl het lerenden consistente begeleiding biedt.

Betekenis en Claims
De auteurs concluderen dat hoewel Generatieve AI een veelbelovende tool is voor het bieden van schaalbare, geïndividualiseerde formatieve feedback in de chirurgische educatie, het momenteel niet beschouwd mag worden als een zelfstandige beoordelaar van de prestaties van de lerende. De studie stelt dat "hoge feedbackkwaliteit niet moet worden beschouwd als een proxy voor grotere evaluatieve validiteit."

Het artikel pleit voor een hybride, adiunct model van AI-ondersteunde training. In dit model zijn LLM's het best geschikt voor herhaalde, trainingen met een laag belang (low-stakes) en de levering van onmiddellijke, constructieve feedback. Menselijk toezicht door de faculteit blijft echter essentieel voor de genuanceerde beoordeling van communicatieve vaardigheden en voor consequentiële evaluaties van bekwaamheid, met name waar contextueel oordeelsvermogen en diep klinisch begrip vereist zijn. De auteurs waarschuwen dat het uitsluitend vertrouwen op AI voor beoordeling kan leiden tot valse geruststelling en de versterking van suboptimale praktijken rondom geïnformeerde toestemming.

Technische Samenvatting: Het inzetten van AI voor chirurgische educatie bij training in geïnformeerde toestemming

Meer zoals dit