Stel je voor dat je een mysterie probeert op te lossen, maar de aanwijzingen zijn verspreid over honderd verschillende notebooks, die elk jaren later door verschillende detectives zijn geschreven. Sommige aanwijzingen zijn overduidelijk, sommige zijn verborgen in het midden van een slordige pagina, en sommige vragen kunnen simpelweg niet beantwoord worden omdat de notebooks het antwoord niet bevatten. Dit is de dagelijkse realiteit voor artsen die patiënten behandelen met complexe, langdurige medische geschiedenissen. Ze moeten zich kunnen herinneren wat er vijf jaar geleden tijdens een ziekenhuisbezoek is gebeurd om een symptoom van vandaag te begrijpen, terwijl ze ook moeten weten wanneer ze moeten zeggen: "Ik weet het niet," als de dossiers zwijgen.

Maak kennis met Large Language Models (LLM's), de superintelligente AI-chatbots die onlangs beroemd zijn geworden omdat ze hele boeken kunnen lezen en vragen daarover kunnen beantwoorden. Wetenschappers zijn enthousiast om te zien of deze AI's hetzelfde kunnen doen voor artsen: het volledige levensverhaal van een patiënt kunnen lezen, de verbanden leggen tussen bezoeken die jaren uit elkaar liggen, en nauwkeurig medisch advies kunnen geven. Maar er is een addertje onder het gras. De meeste AI-tests van vandaag zijn als korte meerkeuzevragen: korte, eenvoudige vragen gebaseerd op één enkele paragraaf. Ze testen niet of een AI een echte medische marathon aankan, waarbij het antwoord begraven kan liggen in een gesprek van drie jaar geleden, of of de AI weet wanneer hij moet toegeven dat hij het niet weet.

Hier komt een nieuwe studie genaamd MedLoCoMo kijken. De onderzoekers hebben een enorme, uitdagende test gebouwd die specifiek is ontworpen om te zien of AI de rommelige, langdurige realiteit van patiëntenzorg aankan. Ze vroegen de AI niet alleen om een kort tekstfragment te lezen; ze voerden het de equivalent van een roman van 74.000 woorden voor elke patiënt, verspreid over tientallen ziekenhuisbezoeken. De resultaten waren een flinke reality check. Hoewel de AI-modellen erg goed waren in het beantwoorden van vragen over een enkel bezoek, hadden ze grote moeite wanneer ze de verbanden tussen verschillende bezoeken moesten leggen. Zelfs de slimste modellen, en zelfs die met speciale medische training, vonden het moeilijk om de "oude aanwijzingen" te onthouden die nodig waren om het "nieuwe mysterie" op te lossen. De studie suggereert dat het simpelweg slimmer maken van AI of het geven van een groter geheugen nog niet genoeg is; de AI moet nog steeds leren hoe hij de het verleden van een patiënt echt met het heden kan verbinden zonder de draad kwijt te raken.

Het Verhaal van MedLoCoMo: Een Test van het Medisch Geheugen

Beschouw de medische geschiedenis van een patiënt niet als een enkel dagboek, maar als een enorme, meervoudige tv-serie. Elke keer dat een patiënt naar het ziekenhuis gaat, is dat een nieuwe "seizoen" vol met nieuwe afleveringen (artsbezoeken), plotwendingen (diagnoses) en karakterontwikkeling (veranderende gezondheidstoestanden). Om de huidige aflevering te begrijpen, moet je vaak weten wat er gebeurde in Seizoen 1, Seizoen 3, of zelfs Seizoen 5.

De onderzoekers achter MedLoCoMo (wat staat voor Medical Long-Context Memory) wilden zien of AI de ultieme "superfan" van deze medische tv-series kon zijn. Ze bouwden een benchmark — een gestandaardiseerde test — met behulp van geanonimiseerde gegevens uit de MIMIC-IV database. Ze pakten niet zomaar willekeurige aantekeningen; ze construeerden zorgvuldig 100 unieke patiëntentijdlijnen. Elke tijdlijn is een lang gesprek dat gemiddeld 1.669,8 beurten (heen-en-weer uitwisselingen) bevat, zich uitstrekt over 29,7 sessies (ziekenhuisbezoeken) en een enorme hoeveelheid van 74.512,2 tokens (tekstblokken) per gesprek bevat. Sommige van deze verhalen zijn zo lang dat ze meer dan 1 even de 150.000 tokens bereiken!

De Drie Soorten Uitdagingen

Om de test eerlijk en grondig te maken, creëerden de onderzoekers drie verschillende soorten vragen, zoals levels in een videogame:

1. De "Single-Season" Uitdaging: Deze vragen gaan over iets dat tijdens slechts één ziekenhuisbezoek is gebeurd. Het is alsoك vragen: "Wat zei de dokter in Aflevering 5 van Seizoen 2?" Dit test of de AI een specifieke feit kan vinden in een lang document.
2. De "Multi-Season" Uitdaging: Dit zijn de moeilijke vragen. Ze vragen de AI om verbanden te leggen tussen verschillende bezoeken. Bijvoorbeeld: "De patiënt had in 2014 een hartprobleem en in 2016 een longprobleem; hoe hangen deze samen met de huidige kortademigheid?" Dit test of de AI het verleden kan onthouden en met het heden kan verbinden.
3. De "Trick Question" Uitdaging: Soms lijkt een vraag alsof er een antwoord op zou moeten zijn, maar de medische dossiers bevatten die informatie niet. Dit zijn "adversarial" vragen. Een goede AI zou moeten weten wanneer hij "Ik weet het niet" moet zeggen, in plaats van een nepantwoord te verzinnen. Dit wordt "abstention" genoemd.

Wat de AI Wel (en Niet) Kreeg

De onderzoekers testten veel verschillende AI-modellen, waaronder algemene modellen (zoals GPT-5.1 en Qwen) en modellen die specif kind specifiek zijn getraind op medische gegevens (zoals MedGemma). Dit is wat ze vonden:

• De "Lokale" Expert: Wanneer de vragen over een enkel ziekenhuisbezoek gingen, deed de AI het vrij goed. De AI kon de juiste feiten vinden in de "huidige seizoen" van het verhaal.
• De "Langetermijn" Strijd: Zodra de vragen vereisten om informatie over meerdere bezoeken heen te verbinden (cross-admission), daalde de prestatie van de AI aanzienlijk. Zelfs de grootste, slimste modellen hadden moeite met het verbinden van het verleden aan het heden. Het is alsof de AI wel de plot van de huidige aflevering kon onthouden, maar de hele backstory van de serie was vergeten.
• Specialisatie Redde de Dag Niet: Je zou denken dat een model dat specifiek op medische tekstboeken is getraind, beter zou zijn in dit werk. Verrassend genoeg presteerden de medisch gespecialiseerde modellen niet consequent beter dan de algemene modellen. Ze liepen net zo goed zo de lange tijdlijnen in.
• De "Ik weet het niet"-factor: Sommige modellen werden erg goed in het zeggen van "Ik weet het niet" wanneer het antwoord niet in de dossiers stond. Dat is goed! Maar de onderzoekers merkten op dat een model een hoge score kon halen door simpelweg op alles met "Ik weet het niet" te antwoorden, zelfs als het de vragen die het wél kende, niet echt kon beantwoorden. Daarom keken ze naar zowel de "ik weet het niet"-ratio als de werkelijke kwaliteit van de antwoorden.

Het Geheugeneperiment

Omdat de verhalen zo lang waren, testten de onderzoekers ook of het geven van een "extern geheugen" aan de AI (zoals een notitieblok waarin de AI kan schrijven en later naar kan terugkijken) zou helpen. Ze probeerden verschillende geheugentools uit, zoals een eenvoudige zoekmachine (BM2K) en complexere geheugensystemen.

De resultaten waren gemengd. De geheugentools hielpen de AI om nauwkeuriger "Ik weet het niet" te zeggen wanneer het antwoord ontbrak. Echter, ze losten het probleem van het leggen van verbanden tussen verschillende ziekenhuisbezoeken niet magisch op. Het blijkt dat het hebben van een groter geheugen of een betere zoektool niet hetzelfde is als het vermogen om te redeneren door de tijd heen. De AI bleef moeite hebben met het uitzoeken welke oude aanwijzing relevant was voor het nieuwe probleem.

De Conclusie

De MedLoCoMo-studie suggereert dat hoewel AI beter wordt in het lezen van lange teksten, er nog een lange weg te gaan is voordat het kan fungeren als een arts die echt het levensverhaal van een patiënt begrijpt. Het gaat niet alleen om het hebben van een groter brein of een langer geheugen; het gaat erom te leren hoe je de geschiedenis van een patiënt tot één samenhangend verhaal weeft.

De onderzoekers benadrukken dat dit een test is voor onderzoek, en nog geen instrument voor echt medisch advies. De gesprekken en vragen zijn door AI gegenereerd op basis van echte medische dossiers, maar ze zijn synthetisch. Het doel is om wetenschappers te helpen betere systemen te bouren die op een dag artsen kunnen helpen om het complexe verloop van hun patiënten bij te houden zonder een stap te missen. Voor nu is de AI een zeer intelligente student die een hoofdstuk kan lezen, maar nog moet leren hoe hij het hele boek schrijft.