Optimizing AI Onboarding in Radiology: Impact of Training Case Number Using Multiple Sclerosis Lesions on 3D FLAIR, a pilot study
Deze pilotstudie met dertien radiologie-specialisten toont aan dat onboarding met drie representatieve casussen van multiple sclerose op 3D FLAIR MRI het gebruikersvertrouwen en de autonomie aanzienlijk verhoogt en de behoefte aan ondersteuning vermindert, wat een superieure balans biedt tussen efficiëntie en effectiviteit vergeleken met training met minder casussen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille, gedimde kamers waar radiologen hersenscans onderzoeken, is een nieuw soort partner begonnen te verschijnen. Decennialang hebben deze specialisten vertrouwd op hun eigen getrainde ogen om minuscule, subtiele tekenen van ziekte te ontdekken binnen de complexe architectuur van het menselijk brein. Nu biedt kunstmatige intelligentie hulp aan, als een tweede paar ogen dat snel gebieden van zorg kan markeren, zoals de laesies veroorzaakt door multiple sclerose. Toch is het introduceren van een krachtig nieuw hulpmiddel in een medische workflow met hoge inzet niet zo eenvoudig als het omzetten van een schakelaar. De uitdaging ligt niet alleen in de technologie zelf, maar in hoe mensen leren er vertrouwen aan te schenken en ermee samen te werken. Als een arts niet op de juiste manier wordt geïntroduceerd voor de software, kan hij de nuttige suggesties negeren of, omgekeerd, er te blindelings op vertrouwen, waardoor fouten mogelijk over het hoofd worden gezien. De kernvraag voor ziekenhuizen en trainingsprogramma's is hoe zij deze clinici kunnen leren het hulpmiddel effectief te gebruiken. Is een korte introductie voldoende, of moet de arts een verscheidenheid aan voorbeelden zien om echt te begrijpen hoe het systeem in verschillende situaties reageert?
Een recente pilotstudie uitgevoerd aan het Universiteitsziekenhuis van Zürich probeerde juist deze vraag te beantwoorden. De onderzoekers wilden weten of het aantal oefengevallen dat aan een arts wordt getoond tijdens de training belangrijker is dan de totale tijd die aan de training wordt besteed. Ze richtten zich op een specifieke softwaretool die ontworpen is om laesies te detecteren die geassocieerd zijn met multiple sclerose op een type hersenscan dat een 3D FLAIR MRI wordt genoemd. Om het antwoord te vinden, verzamelden ze dertien radiologie-clinici, variërend van zij die net aan het begin van hun carrière staan tot ervaren senior artsen. Deze vrijwilligers werden willekeurig verdeeld in drie groepen. Elke groep kreeg dezelfde instructie van tien minuten over hoe de software werkt, maar zij verschilden in het aantal patiëntengevallen dat zij beoordeelden tijdens het leren. Eén groep oefende met één geval, een andere met twee, en de derde met drie. Deze gevallen waren zorgvuldig gekozen om het volledige spectrum van de ziekte te vertegenwoordigen, van mild tot ernstig, om ervoor te zorgen dat de artsen een realistische variatie zagen van wat de software zou kunnen tegenkomen.
Na de trainingssessie gingen de clinici over naar een onafhankelijke testfase. Zonder verdere instructie kregen zij de opdracht om drie nieuwe, gestandaardiseerde patiëntengevallen te beoordelen met behulp van de software. Tijdens deze periode registreerden de onderzoekers zorgvuldig hoe lang de training duurde, hoeveel vragen de artsen stelden tijdens het leren, en hoeveel vragen zij moesten stellen terwijl zij zelfstandig aan het werk waren. Ze vroegen de artsen ook om hun eigen vertrouwen in het gebruik van het hulpmiddel te beoordelen op een schaal van één tot vijf. De resultaten toonden een duidelijk patroon. De groep die trainde met slechts één geval voltooide hun onboarding het snelst, in net meer dan twaalf minuten. Echter, toen zij onafhankelijk probeerden te werken, hadden zij de meeste moeite, waarbij ze gemiddeld meer dan vijf vragen per geval stelden en het laagste niveau van vertrouwen rapporteerden. De groep die trainde met twee gevallen deed er iets langer over om te leren, maar vertoonde nog steeds inconsistente resultaten, waarbij sommige artsen aanzienlijke hulp nodig hadden en anderen minder.
De groep die trainde met drie gevallen vertelde een ander verhaal. Hoewel hun initiële trainingssessie het langst duurde, namelijk zesentwintig minuten en achtendertig seconden, presteerden zij het best toen zij alleen werkten. Zij stelden de minste vragen tijdens hun onafhankelijke beoordeling, met een gemiddelde van drieënhalf vraag per geval, en zij rapporteerden de hoogste vertrouwensniveaus. De onderzoekers ontdekten dat de extra veertien minuten aan trainingstijd die door deze groep werd geïnvesteerd, zichzelf terugbetaalde door de artsen meer zelfredzaam en minder afhankelijk van ondersteuning te maken in een later stadium. Interessant genoeg toonde de studie aan dat de jaren aan voorafgaande ervaring van een arts niet voorspelde hoe goed zij zich aanpassen aan het nieuwe hulpmiddel. Zelfs de meest ervaren clinici hadden dezelfde gestructureerde blootstelling aan meerdere gevallen nodig als hun junior collega's om zich zelfverzekerd te voelen en efficiënt te kunnen werken.
De bevindingen suggereren dat voor kunstmatige intelligentietools om werkelijk nuttig te zijn in de geneeskunde, de manier waarop ze aan gebruikers worden geïntroduceerd diepgaand van belang is. Het is niet voldoende om een arts simpelweg één keer te laten zien hoe de software werkt; zij moeten een kleine, diverse set voorbeelden zien om een solide mentaal model op te bouwen van hoe het systeem zich gedraagt. De studie geeft aan dat een iets langere trainingssessie gericht op casusdiversiteit een meer bekwaam en zelfverzekerd gebruiker creëert dan een versnelde sessie gericht op snelheid. Hoewel dit een kleinschalige simulatie was en geen definitief bewijs van hoe het hulpmiddel in elk ziekenhuis werkt, wijzen de resultaten op een praktische oplossing: het investeren van iets meer tijd vooraf om artsen een aantal verschillende scenario's te tonen, kan leiden tot een soepeler, veiliger en effectiever gebruik van kunstmatige intelligentie in de toekomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.