Tokenization Tradeoffs in Structured EHR Foundation Models
Dit onderzoek toont aan dat het gebruik van gecombineerde gebeurtenis- en positiestijdkodingen bij het tokeniseren van gestructureerde elektronische patiëntendossiers de prestaties en rekenefficiëntie van foundation modellen aanzienlijk verbetert, waarbij dit voordeel zich ook generaliseert naar volwassen populaties ondanks institutionele verschillen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente arts wilt bouwen die alle medische dossiers van duizenden kinderen kan lezen om ziektes te voorspellen. Dit is wat de onderzoekers hebben gedaan met hun "Foundation Model" (een basis-AI-model) voor elektronische patiëntendossiers.
Maar hier is het probleem: computers begrijpen geen zinnen zoals wij. Ze hebben de informatie opgesplitst in kleine stukjes, genaamd tokens (zoals letters of woorden). De grote vraag in dit onderzoek was: Hoe splitsen we die medische gegevens het beste op in die stukjes?
Stel je voor dat je een recept voor een taart moet doorgeven aan een robot.
- Optie A: Je zegt: "Neem eieren, voeg suiker toe, voeg bloem toe." (Elk ingrediënt is een apart stukje).
- Optie B: Je zegt: "Neem een 'Eier-suiker-bloem-mengsel'." (Je koppelt de ingrediënten direct aan elkaar in één woord).
De onderzoekers hebben uitgezocht welke methode de AI het slimste maakt. Hier is wat ze ontdekten, vertaald naar alledaagse taal:
1. De "Koppeling" is de sleutel (Event Encoding)
Stel je voor dat je een medische meting hebt: "Bloedsuiker is hoog".
- De slechte manier (Factorized): De AI krijgt twee losse kaartjes: één met "Bloedsuiker" en één met "Hoog". De AI moet dan zelf in zijn hoofd leren dat deze twee kaartjes bij elkaar horen. Dit is als een kind dat moet leren dat "rood" en "stopbord" bij elkaar horen, terwijl het al duizenden andere rode dingen heeft gezien. Het kost de AI veel tijd en hersenkracht om dit te snappen.
- De goede manier (Joint): De AI krijgt één kaartje met daarop alvast "Hoog-bloedsuiker" geschreven. De koppeling is al gemaakt voordat de AI überhaupt begint te leren.
Het resultaat: De AI die de "koppeling" alvast zag (Optie B), werd niet alleen slimmer, maar leerde ook 39% sneller en kostte minder rekenkracht. Het is alsof je een gereedschapskist geeft waar de hamer al aan de steel zit, in plaats van dat de leerling zelf de steel moet zoeken en de kop moet vastdraaien.
2. Tijd: Een klok of een horloge? (Time Encoding)
Medische gegevens hebben ook tijd nodig. Hoe ver weg was die vorige afspraak?
- De slechte manier (Time-Tokens): De AI krijgt extra kaartjes tussen de medische gegevens: "5 minuten", "1 uur", "1 dag". Dit maakt de lijst met kaartjes erg lang en rommelig. De AI raakt de draad kwijt in die extra kaartjes.
- De goede manier (Time-Positions): De AI krijgt geen extra kaartjes voor tijd. In plaats daarvan krijgt elk medisch kaartje een "positie" op een lijn, net zoals een horloge. De AI weet gewoon: "Dit gebeurde op positie 100, dat op positie 105".
Het resultaat: De AI die de tijd "in het horloge" had (zonder extra kaartjes) deed het beter. Het extra kaartjes-systeem maakte de AI juist traag en verward.
3. De "Workflow" (Het proces)
Soms is het belangrijk om te weten of een bloedtest besteld is, afgenomen is, of gereed is.
- Het resultaat: Het tonen van dit volledige proces hielp de AI om beter te presteren in het ziekenhuis waar ze getraind was. Maar... toen ze de AI naar een ander ziekenhuis (voor volwassenen) stuurden, hielp dit niet meer. Het bleek dat elk ziekenhuis zijn eigen manier van werken heeft. Wat in het ene ziekenhuis logisch is, is in het andere misschien anders.
De Grootste Les: "Lokale Binding"
De onderzoekers ontdekten dat het grootste geheim zit in lokale binding.
Stel je voor dat je een puzzel maakt.
- Bij de "slechte" methode moet de AI duizenden puzzelstukjes zien voordat hij begrijpt dat het stukje "Bloed" en het stukje "Hoge waarde" samen een zinvolle zin vormen.
- Bij de "goede" methode zijn die stukjes al aan elkaar gelijmd voordat ze de puzzel krijgen.
Omdat medische data veel kleiner is dan de data waarmee taal-AI's (zoals ChatGPT) worden getraind, heeft de medische AI niet genoeg tijd om die koppelingen zelf te leren. Daarom is het slim om die koppelingen van tevoren te maken.
Conclusie voor de gewone mens
Als je een AI wilt bouwen die medische dossiers leest:
- Koppel gegevens direct: Geef de AI niet losse woorden, maar complete concepten (bijv. "Hoge bloedsuiker" als één woord).
- Gebruik geen extra tijd-kaartjes: Laat de AI de tijd voelen door de volgorde, niet door extra woorden toe te voegen.
- Wees voorzichtig met processtappen: Wat in het ene ziekenhuis werkt, werkt niet per se in het andere.
Door deze kleine aanpassingen in hoe de data wordt "ingepakt" (tokenisatie), wordt de AI niet alleen slimmer, maar ook veel zuiniger en sneller. Het is een slimme manier om de AI te helpen zonder dat je hem duizenden keren meer moet laten oefenen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.