Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

In medische opleidingen is het leren praten met patiënten net zo cruciaal als het leren onderzoeken van hen. Om ervoor te zorgen dat studenten klaar zijn voor de echte wereld, gebruiken docenten een testmethode die de Objective Structured Clinical Examination wordt genoemd. In deze setting zit een student tegenover een getrainde acteur die een patiënt speelt. De student moet de juiste vragen stellen om een medische voorgeschiedenis te verzamelen, en de acteur beoordeelt de student op basis van een strikte checklist van wat er is gevraagd en hoe goed het is uitgevoerd. Dit proces is de gouden standaard voor het aanleren van klinische vaardigheden, maar het is ook extreem arbeidsintensief. Het vereist uren training voor de acteurs, die consistent moeten blijven terwijl ze ook de prestaties van de student beoordelen, en het vraagt dat faculteitsleden talloze uren besteden aan het beoordelen van deze interacties om eerlijkheid te waarborgen. Nu kunstmatige intelligentie steeds beter in staat is om gesprekken te beluisteren en taal te begrijpen, zijn docenten zich gaan afvragen of een computer de beoordeling zou kunnen overnemen. De hoop is dat een machine de opname kan beluisteren, de vereiste vragen kan afvinken en de student in een fractie van de tijd kan beoordelen die een mens nodig heeft, waardoor er meer middelen vrijkomen voor het lesgeven.

Een team van onderzoekers aan de University of Texas Medical Branch in Galveston zette zich met een specifiek doel in om dit idee te testen: te zien of kunstmatige intelligentie de objectieve onderdelen van een medisch interview nauwkeurig kon beoordelen. Ze richtten zich op een examen voor eerstejaars geneeskundestudenten waarbij 234 studenten betrokken waren. Tijdens dit examen werden studenten opgenomen terwijl ze een gestandaardiseerde patiënt interviewden, en menselijke acteurs hadden hen al beoordeeld op twaalf specifieke checklist-items, zoals het vragen naar de locatie van de pijn, de ernst van de symptomen of de familiegeschiedenis van de patiënt. De onderzoekers namen de videoregistraties van deze ontmoetingen en zetten deze om in teksttranscripten. Vervolgens voedden ze deze transcripten aan een softwareplatform dat is uitgerust met kunstmatige intelligentie, waarbij ze het programmeerden met prompts die ontworpen zijn om naar diezelfde twaalf checklist-items te zoeken. De computer kreeg de opdracht om zich als een beoordelaar te gedragen, waarbij voor elk item dat het in de tekst detecteerde een punt toekende. Het team vergeleek vervolgens de door de computer gegenereerde scores met de scores die de menselijke acteurs hadden gegeven, op zoek naar verschillen en probeerde te begrijpen waarom deze optraden.

De resultaten toonden aan dat de kunstmatige intelligentie een capabele, zij het niet perfecte, assistent was. Toen de onderzoekers de cijfers van de computer met die van de menselijke beoordelaars vergeleken, vonden ze een matig niveau van overeenstemming. De gemiddelde totaalscore gegeven door de computer was bijna identiek aan het gemiddelde gegeven door de mensen, waarbij de computer een gemiddelde van 11,51 punten van de mogelijke 12 toekende, terwijl de mensen 11,60 toekenden. Wat betreने tijd betreft, was het verschil groot. Het menselijke beoordelingsproces, dat ook de training van de acteurs en het beoordelen van de examens omvatte, duurde ongeveer 56 uur voor deze groep studenten. De computer analyseerde, eenmaal ingesteld, alle 234 interviews en genereerde scores in minder dan drie uur. Dit suggereigt dat voor de specifieke taak van het afvinken van feitelijke vragen in een medisch interview, de machine het zware werk met opmerkelijke snelheid en een hoge mate van consistentie kan doen.

De studie onthulde echter ook precies waar de machine struikelde. Van de bijna 2.800 individuele beoordelingsbeslissingen waren er 83 gevallen waarin de computer en de menselijke acteur van mening verschilden. Wanneer de onderzoekers deze fouten nauwkeurig bekeken, vonden ze vier hoofdoorzaken voor de discrepantie. Ten eerste is de computer volledig afhankelijk van de kwaliteit van de tekst die hij leest. Als de audio-opname zacht was, als twee mensen tegelijkertijd spraken, of als achtergrondgeluid het gesprek onderbrak, kan de transcriptiesoftware een woord missen of verkeerd verstaan. Bijvoorbeeld, als een student vroeg of de pijn "uitstraalde" naar een ander deel van het lichaam, maar de computer transcribeerde het als "resoneerde", zou de AI de juiste medische term niet herkennen en de vraag als ontbrekend markeren.

Ten tweede worstelt de computer met de manier waarop mensen daadwerkelijk spreken. Studenten formuleren hun vragen vaak op unieke of indirecte manieren die een menselijke acteur direct kan begrijpen, maar een computer kan dit missen als hij op zoek is naar een specifieke set woorden. Als een student vroeg: "Blijft de pijn op één plek?", in plaats van de verwachte "Straalt de pijn uit?", zou een mens krediet kunnen geven voor het begrijpen van het concept, maar de computer, die strikte regels volgt, zou dat mogelijk niet doen. Ten derde kan de computer geen nonverbale signalen zien of horen. In een echt interview kan een patiënt knikken of naar de buik wijzen om een vraag te beantwoorden, en een menselijke acteur zou de student hiervoor krediet geven. Omdat de computer alleen het teksttranscript leest, kan hij de knik of het wijzen niet zien, en markeert hij de vraag dus als onbeantwoord. Ten slotte waren er verschillen in oordeel. Soms gaf de menselijke acteur krediet voor een impliciete betekenis die de student bedoelde, terwijl de computer vereiste dat de student precies de woorden uit de checklist uitsprak.

De onderzoekers concludeerden dat hoewel kunstmatige intelligentie een krachtig hulpmiddel is voor het versnellen van de beoordeling van gestructureerde, objectieve checklists, het nog niet klaar is om menselijk oordeel volledig te vervangen. De computer is uitstekend in het vinden van specifieke woorden in een transcript, maar het mist het vermogen om context, toon of de subtiele intentie achter de vraag van een student te begrijpen. De studie suggereert dat het beste gebruik van deze technologie een ondersteuningstool is. Het kan de eerste ronde van de beoordeling afhandelen, waardoor docenten tientallen uren besparen, maar een mens moet de resultaten nog steeds beoordelen om de fouten te corrigeren die voortkomen uit slechte audio, unieke formuleringen of nonverbale communicatie. Totdat de technologie in staat is om de volledige nuance van een menselijk gesprek, inclusief wat onuitgesproken blijft, betrouwbaar te interpreteren, moet het laatste woord bij het beoordelen van de klinische vaardigheden van een student bij een persoon blijven liggen. De toekomst van de beoordeling in de medische opleiding kan een partnerschap inhouden waarbij de machine het volume afhandelt en de mens het oordeel velt, om ervoor te zorgen dat studenten eerlijk en efficiënt worden beoordeeld.