Knowledge-grounded artificial intelligence guides personalized practice in medical examination preparation
Een prospectieve gerandomiseerde studie onder 500 medische bachelorstudenten toont aan dat een door experts gevalideerd, op kennis gebaseerd AI-systeem de gepersonaliseerde navigatie door de oefenstof en de nauwkeurigheid bij de nagesprekstest significant verbetert in vergelijking met standaard curriculum-gebalanceerde oefening tijdens de voorbereiding op het medisch examen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorm, complex onderwerp probeert te leren, zoals de hele geschiedenis van de wereld of elke regel in een gigantische videogame. Je hebt een enorme kaart van alles wat je moet weten, maar je hebt slechts een beperkte hoeveelheid tijd om te studeren. In het verleden, als je wilde studeren, heb je misschien willekeurig door een boek gebladerd of hoofdstukken in volgorde gelezen. Dit is als "shuffled practice" (gemengde oefening)—je ziet een beetje van alles, wat goed is voor een breed overzicht, maar het vertelt je niet specifiek waar jij slecht in bent.
Stel je nu een superintelligente robotleraar voor. Je zou kunnen denken dat de enige taak van deze robot is om je vragen te beantwoorden of uit te leggen waarom je iets fout hebt gedaan. Maar er is een groter probleem: de robot moet ook beslissen wat hij je hierna laat zien. Moet hij je meer laten zien van de dingen die je al weet? Of moet hij zich concentreren op de lastige onderdelen waar je steeds fouten in maakt? Dit is het lastige deel van "practice navigation" (oefennavigatie). Als de robot je willekeurige vragen laat zien, verspil je misschien tijd aan dingen die je al weet. Als hij zich alleen op je fouten richt, mis je misschien andere belangrijke zaken die je nog niet hebt gezien. Wetenschappers in het vakgebied van de medische educatie vragen zich af: Kunnen we een systeem bouwen dat kunstmatige intelligentie (AI) niet alleen gebruikt om met studenten te chatten, maar om als een GPS te fungeren, die hen door het best mogelijke pad leidt om alles te leren wat ze nodig hebben voor een groot examen?
Dit is precies wat een team van onderzoekers van universiteiten in China uit probeerde te testen. Ze bouwden een speciale studie-app voor medische studenten die zich voorbereiden op een enorm, moeilijk examen genaamd het "Western Medicine Comprehensive" examen. In plaats van een chatbot simpelweg te laten praten met de studenten, creëerden ze een "knowledge-grounded" (kennisgebaseerd) systeem. Denk aan dit systeem als een gigantische, door experts geverifieerde kaart van de medische wereld. Voordat de app zelfs begon, gebruikten echte artsen en docenten AI om de lijnen te trekken die examenvragen verbinden met specifieke medische feiten, en vervolgens controleerden de artsen elke verbinding handmatig om er zeker van te zijn dat deze 100% accuraat was. Deze kaart werd het "brein" van het systeem.
De onderzoekers nodigden vervolgens 500 medische studenten uit om een spel te spelen. Ze verdeelden de studenten in twee groepen. De eerste groep gebruikte het nieuwe AI-systeem. Dit systeem keek naar de antwoorden van elke student en gebruikte de expert-kaart om te beslissen: "Oké, je bent zwak in hartziekten, dus hier zijn wat vragen over het hart. Maar je hebt ook niet genoeg geoefend op nierziekten, die erg belangrijk zijn voor het examen, dus hier zijn ook wat vragen over de nieren." Het bracht een balans tussen het oplossen van zwaktes en het verken van nieuw, belangrijk terrein. De tweede groep gebruikte de ouderwetse methode: "curriculum-balanced shuffled practice" (curriculum-gebalanceerde gemengde oefening). Dit betekende dat ze vragen kregen in een willekeurige volgorde die alle onderwerpen gelijkmatig dekte, maar het systeem gaf niet om waar de student goed of slecht in was. Het was alsof je een kaartspel mengt en de kaarten uitdeelt zonder naar de hand van de speler te kijken.
Beide groepen bestudeerden gedurende dezelfde tijd en beantwoordden hetzelfde aantal vragen (750 oefenvragen). Het enige verschil was hoe de vragen werden gekozen. Achteraf nam iedereen een gloednieuwe, onafhankelijke test af om te zien wat ze daadwerkelijk hadden geleerd.
De resultaten waren vrij duidelijk. De studenten die de AI GPS-methode gebruikten, oefenden niet alleen meer; ze oefenden anders. Ongeveer de helft van hun oefenvragen (49,6%) was specifiek gericht op de zaken waar ze moeite mee hadden of die ze nog niet genoeg hadden gezien. In tegenstelling hiertoe kregen de studenten in de willekeurige groep slechts ongeveer een kwart (24,8%) van hun vragen gericht op hun zwakke plekken; de rest was gewoon willekeurig.
Vanwege deze slimmere navigatie presteerde de AI-groep beter op de uiteindelijke test. Hun gemiddelde score was 70,2%, terwijl de willekeurige groep gemiddeld 65,1% scoorde. Dat klinkt misschien niet als een enorm gat, maar in de wereld van medische examens betekent dat verschil dat de AI-groep ongeveer 7 of 8 vragen meer goed had uit 150. De onderzoekers suggereren dat dit bewijst dat AI in het onderwijs niet alleen een chatbot moet zijn die vragen beantwoordt. Haar echte superkracht kan zijn om een gids te zijn, die studenten door een enorme kennisruimte leidt om de perfecte mix te vinden van het oplossen van fouten en het leren van nieuwe, hoogwaardige stof.
De auteurs waarschuwen echter dat dit een suggestie is gebaseerd op deze specifieke studie, en geen magische oplossing voor elke situatie. Ze merkten op dat het systeem goed werkte voor studenten die dit specifieke examen voor het eerst bestudeerden. Ze wezen er ook op dat de AI de studenten niet alleen dwong om hun fouten keer op keer te herhalen; het hield het leren fris door nieuwe, belangrijke onderwerpen toe te voegen. Hoewel het systeem studenten op alle niveaus hielp (lage, middelbare en hoge presteerders), vonden de onderzoekers geen groot verschil in hoeveel elke groep er baat bij had, wat betekent dat de "GPS"-aanpak iedereen leek te helpen, niet alleen de worstelende studenten.
Kortom, dit artikel suggereert dat wanneer we AI willen gebruiken om mensen te helpen moeilijke dingen te leren, we de AI niet alleen moeten laten praten. We moeten de AI laten een geverifieerde kaart bouwen en die kaart vervolgens gebruiken om de reis van de leerling te begeleiden, waarbij een balans wordt gezocht tussen de noodzaak om zwakke plekken te verbeteren en de noodzaak om het hele plaatje te zien. Het is een herinnering aan het feit dat weten waar je naartoe moet gaan soms net zo belangrijk is als het weten van het antwoord.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.