FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records
Dit artikel introduceert FoMoH, een uitgebreide benchmark van 14 klinisch relevante taken en meer dan 6 miljoen patiënten die de geavanceerde gestructureerde EHR-foundationmodellen evalueert, waarbij wordt onthuld dat hoewel ze traditionele baselines overtreffen in discriminatie en eerlijkheid bij beperkte data, ze nog steeds aanzienlijke uitdagingen ervaren op het gebied van kalibratie, situaties met een lage prevalentie en cross-institutionele transporteerbaarheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een computer probeert te leren hoe hij een arts moet zijn. Lange tijd was de enige manier om dit te doen de computer duizenden specifieke voorbeelden te laten zien voor elke afzonderlijke taak: "Dit is hoe een gebroken arm eruitziet," "Dit is hoe koorts eruitziet," "Dit is hoe een hartaanval eruitziet." Dit is als het trainen van een hond om een specifieke bal te halen; als je wilt dat hij een stok haalt, moet je weer helemaal opnieuw beginnen. Deze methode is traag, duur en de computer raakt vaak in de war als hij een patiënt ziet waar hij niet eerder op heeft geoefend.
Onlangs zijn wetenschappers begonnen met een nieuwe truc genaamd "Foundation Models" (fundamentele modellen). Denk aan deze modellen als superintelligente studenten die elk medisch tekstboek in de bibliotheek hebben gelezen voordat ze ooit een patiënt ontmoeten. Ze zijn nog niet specifiek verteld hoe ze een gebroken arm moeten diagnosticeren, maar omdat ze de algemene medische taal begrijpen, kunnen ze die specifieke vaardigheid zeer snel leren met slechts een paar voorbeelden. De grote vraag die iedereen stelt is: werken deze superstudenten echt beter dan de oude manier? Kunnen ze omgaan met de rommelige, chaotische realiteit van een ziekenhuis, en zijn ze eerlijk tegenover alle soorten patiënten? Dit artikel probeert het antwoord te vinden door deze modellen een rigoureuze, real-life test te onderwerpen.
Het Grote Ziekenhuisexamen: De Superstudenten Testen
De auteurs van dit artikel besloten te stoppen met gissen en te beginnen met testen. Ze bouwden een massief "examen" voor zes van de meest geavanceerde medische Foundation Models. In plaats van alleen te vragen: "Heb je het juiste antwoord gegeven?", vroegen ze een veel diepere set vragen: "Heb je het juiste antwoord gegeven en weet je hoe zeker je bent?" en "Heb je rijke en arme patiënten, of verschillende raciale groepen, eerlijk behandeld?"
Ze testten deze modellen op meer dan 6 miljoen patiënten uit twee belangrijke bronnen: het Columbia University Irving Medical Center en een publieke dataset genaamd MIMIC-IV. Het examen bestond uit 14 verschillende klinische taken, variërend van het voorspellen of een patiënt in het ziekenhuis zal overlijden tot het diagnosticeren van chronische aandoeningen zoals diabetes of schizofrenie.
Hier zijn de resultaten, onderverdeeld in het goede, het slechte en de lastige onderdelen.
Het Goede Nieuws: De "Few-Shot" Superkracht
De meest opwindende bevinding is dat deze Foundation Models inderdaad magisch zijn wanneer data schaars is. Stel je voor dat je een arts bent in een kleine kliniek waar je slechts 100 gevallen van een zeldzame ziekte hebt gezien. Een traditioneel computermodel zou waarschijnlijk falen omdat het niet genoeg voorbeelden heeft gezien om te leren. Maar de Foundation Models, die tijdens hun voorbereiding miljoenen dossiers hebben "gelezen", konden nog steeds verrassend goede gissingen doen.
In deze situaties met "weinig data" versloegen de best presterende modellen de traditionele methoden bij het onderscheiden van zieke en gezonde patiënten. Ze leken ook meer eerlijk te zijn. Omdat ze leerden van een enorme en diverse groep mensen, raakten ze minder in de war door verschillende groepen mensen (zoals verschillende rassen of de frequentie van ziekenhuisbezoeken) dan de oudere, gespecialiseerde modellen dat deden. Het is alsof de superstudent, die iedereen in de bibliotheek heeft ontmoet, minder snel aannames doet over een vreemde dan de student die alleen met zijn eigen vrienden heeft gestudeerd.
Het Slechte Nieuws: Het "Zekerheidsprobleem"
Er is echter een addertje onder het gras. Hoewel deze modellen goed waren in zeggen "Deze patiënt is ziek", waren ze soms slecht in zeggen "Ik ben er zeker van dat deze patiënt ziek is."
In de geneeskunde is weten hoe waarschijnlijk iets is, net zo belangrijk als weten wat er gaat gebeuren. Als een model zegt dat een patiënt 90% kans heeft om te overlijden, moet de arts weten of dat getal wel accuraat is. De paper vond dat deze Foundation Models onder beperkte data vaak slecht gekalibreerd waren. Ze kunnen weliswaar correct raden, maar hun zekerheidsgetallen kloppen niet. Het is als een weerman die altijd regen voorspelt; hij kan er de helft van de tijd naast zitten, maar als hij zegt "100% kans op regen" terwijl het eigenlijk zonnig is, is hij niet betrouwbaar. De studie suggereert dat hoewel deze modellen geweldig zijn in het herkennen van patronen, ze nog niet echt hebben geleerd om hun eigen zekerheid nauwkeurig te meten.
Het Lastige Deel: De "Zeldzame Ziekte" Blinde Vlek
De modellen hadden ook moeite met zeer zeldzame aandoeningen. Als een ziekte bij minder dan 1% van de patiënten voorkomt, misten de Foundation Models vaak de plank. De auteurs suggereren dat de modellen tijdens hun enorme training de zeldzame gebeurtenissen misschien hebben "genegeerd" omdat ze te druk waren met het leren van de algemene zaken. Het is als een student die een examen bestudeert door een miljoen pagina's geschiedenis te lezen, maar de ene pagina over een kleine, obscure gebeurtenis overslaat die toevallig wel op het examen verschijnt. Wanneer de onderzoekers probeerden de modellen te "fine-tunen" (de specifieke antwoorden aan te leren) met meer data, werden de modellen niet altijd beter; soms werden ze zelfs slechter, waarschijnlijk omdat ze in de war raakten door het kleine aantal voorbeelden.
De Laatste Hindernis: Het "Nieuwe Stad"-Probleem
Ten slotte testten de onderzoekers of deze modellen konden reizen. Als een model getraind is op patiënten in New York (Columbia), kan het dan werken op patiënten in Californië (Stanford)? Het antwoord was een teleurstellende nee.
Wanneer ze een model dat in Stanford was getraind testten bij Columbia, presteerde het slechter dan een model dat lokaal was getraind. De auteurs leggen uit dat ziekenhuizen als verschillende steden zijn met verschillende dialecten. Het ene ziekenhuis legt gegevens anders vast, of heeft patiënten met andere gewoonten. De "superstudent" die in de ene stad is opgeleid, begreep het jargon van de andere stad niet. Dit betekent dat je op dit moment niet zomaar een medische AI kunt downloaden en verwachten dat deze overal werkt; het moet nog steeds worden hertraind voor elk specifiek ziekenhuis.
De Conclusie
Dit artikel zegt niet dat Foundation Models nog de toekomst van de geneeskunde zijn, maar het bewijst dat ze veel potentieel hebben. Ze zijn fantastisch in het snel leren wanneer data moeilijk te vinden is en zijn verrassend eerlijk naar verschillende groepen mensen toe. Echter, ze worstelen nog steeds met zeldzame ziekten, ze zijn niet altijd eerlijk over hoe zeker ze zijn, en ze kunnen niet gemakkelijk tussen verschillende ziekenhuizen schakelen.
De auteurs concluderen dat we, voordat we deze modellen het heft in handen laten nemen, hun "zekerheidsmeter" moeten repareren, ze aandacht moeten leren schenken aan zeldzame condities, en moeten uitzoeken hoe we ze de unieke "dialecten" van elk ziekenhuis kunnen laten begrijpen. Tot die tijd zijn het krachtige hulpmiddelen, maar ze hebben een menselijke arts nodig om hun werk te controleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.