Large Language Models as Unified Multimodal Learners for Clinical Prediction
Dit artikel toont aan dat het omzetten van diverse modaliteiten van elektronische patiëntendossiers naar een enkele natuurlijke taalsequentie en het end-to-end finetunen van een voorgetraind groot taalmodel klinische voorspellingsprestaties bereikt die gelijk zijn aan of de gespecialiseerde multimodale architecturen en ingezette gradient boosting-systemen overtreffen, waardoor de noodzaak voor complexe, taakspecifieke fusieontwerpen wordt geëlimineerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van medische gegevens voor als een enorme, chaotische bibliotheek. Op de ene plank staan nette, georganiseerde grootboeken vol met getallen: hartslagen, bloeddruk, laboratoriumuitslagen en de leeftijd van patiënten. Op een andere plank liggen rommelige, handgeschreven dagboeken geschreven door artsen, vol verhalen, observaties en beschrijvingen van hoe een patiënt zich voelt. Decennialang moesten computers die gezondheidsuitkomsten probeerden te voorspellen twee verschillende bibliothecarissen inhuren: één die alleen getallen begreep en een ander die alleen verhalen begreep. Deze bibliothecarissen werkten in aparte kamers, probeerden hun bevindingen samen te vatten, waarna een derde persoon die samenvattingen vervolgens op een ongemakkelijke manier aan elkaar moest naaien om een beslissing te kunnen nemen. Het was traag, ingewikkeld, en voor elke nieuwe medische vraag moest er een volledig nieuw bibliotheeksysteem vanaf nul worden gebouwd.
Maak kennis met het Large Language Model (LLM). Zie deze als superintelligente, gulzige lezers die bijna elk boek in de bibliotheek hebben verslonden. Ze zijn zo goed in het begrijpen van menselijke taal dat ze een verhaal kunnen lezen en direct de betekenis van een getal begrijpen als dat in woorden is uitgeschreven. De grote vraag die onderzoekers zich hebben gesteld is: Kunnen we simpelweg alle data — de nette grootboeken en de rommelige dagboeken — aan deze ene superlezer geven, alles vertalen naar één enkel, eenvoudig verhaal, en het de antwoorden laten uitzoeken? Als dit werkt, zouden we niet voor elk nieuw medisch probleem een complex, op maat gemaakt bibliotheeksysteem hoeven te bouwen. We zouden gewoon één universele vertaler kunnen gebruiken.
Dit artikel, getiteld "Large Language Models as Unified Multimodal Learners for Clinical Prediction", duikt direct in dat idee. Het onderzoeksteam, een groep uit Duitse AI- en medische centra, heeft getest of ze al die verschillende soorten patiëntgegevens — vitale functies, laboratoriumuitslagen en aantekeningen van artsen — simpelweg konden omzetten in één enkele, lange zin of paragraaf. In plaats van speciale, ingewikkelde computerarchitecturen te gebruiken die ontworpen zijn om getallen en tekst samen te voegen, hebben ze deze "superverhaal" simpelweg in standaard, vooraf getrainde AI-modellen gevoerd (zoals Llama, Gemma en anderen) en de modellen gevraagd om te voorspellen wat er met de patiënt zou gebeuren.
De resultaten waren verrassend effectief. Het team testte deze "één-verhaal"-benadering op drie zeer verschillende medische uitdagingen: het voorspellen of een patiënt zou overlijden op de intensive care, het raden of een niertransplantatie zou mislukken, en het bepalen hoe urgent een bezoek aan de spoedeisende hulp was. In elk geval presteerde de eenvoudige methode van het omzetten van data naar tekst en het laten lezen van de AI net zo goed als, of zelfs beter dan, de complexe, op maat gemaakte systemen die artsen momenteel gebruiken. Sterker nog, voor de voorspelling van niertransplantaties versloeg hun nieuwe methode het specifieke computerprogramma dat momenteel in een echt Duits ziekenhuis wordt gebruikt.
Het artikel suggereert dat we niet voor elk medisch puzzelstukje een nieuwe, fancy machine hoeven uit te vinden. In plaats daarvan kunnen we alles vertalen naar een taal die de AI al vloeiend spreekt. Hoewel de auteurs opmerken dat het omzetten van enorme hoeveelheden data in tekst de "verhaal" soms erg lang kan maken (wat lastig kan zijn voor de AI om in één keer te lezen), suggereren hun bevindingen dat deze verenigde, tekstgebaseerde benadering een krachtige, eenvoudigere manier is om computers het volledige beeld van de gezondheid van een patiënt te laten begrijpen. Het is een verschuiving van het bouwen van op maat gemaakte tools voor elke taak naar het gebruik van één ongelooflijk veelzijdige tool die ze allemaal aankan.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.